在蜘蛛池入口頁的搭建中，有人會把目标 URL 放進表單里，比如隐藏字段、按钮的 value，或者用表單的 action 指向目标地址，希望搜尋蜘蛛在抓取时顺手把目标 URL 也發現。這個做法到底有没有用，需要先看搜尋蜘蛛怎么處理表單。
搜尋蜘蛛會主動提交表單吗
主流的搜尋蜘蛛在抓取網頁时，主要跟随頁面中已经存在的連結，也就是 a 标簽的 href 這類静態可见的連結。對于表單，蜘蛛一般不會像真人用戶那样填寫輸入框、点击提交按钮。尤其是 POST 表單，蜘蛛基本不會主動提交，因為提交動作可能改變服務端資料，搜尋引擎没有理由去触發它。
GET 表單和 POST 表單的区別
- GET 表單：提交後參數會拼在 URL 後面。蜘蛛在解析頁面时，有时能從表單的 action 和輸入框的 name 推断出可能的 URL 结构，但這不等于它會真正去請求。它可能把 action 当作一個候選地址，但内部的參數组合通常不會被主動构造。
- POST 表單：參數放在請求体里，不會出現在 URL 中。蜘蛛通常不會提交，因此表單里的目标 URL 很难通過這種方式被發現。
表單里的目标 URL 可能被發現的几種情况
並不是所有表單里的 URL 都完全没有机會，但机會通常来自表單之外的因素：
- 表單的 action 属性本身就是一個普通 URL，蜘蛛解析 HTML 时可能把它当作一個連結候選，但這取决于搜尋引擎的實現，並不稳定。
- 表單附近如果有可点击的 a 标簽 指向同一個目标，蜘蛛會優先跟随這個 a 标簽，而不是走表單。
- 頁面里同时存在 sitemap、RSS 或站内連結，目标 URL 可能從這些渠道被發現，和表單没有直接關系。
- 表單被 JavaScript 動態生成或提交，蜘蛛如果不执行脚本，连表單结构都看不到；即使执行脚本，也未必會触發提交。
為什么不要把表單当作主要的發現路径
把目标 URL 藏在表單里，等于把發現路径交给一個蜘蛛不常走、也不稳定的入口。蜘蛛池入口頁本身的作用是给搜尋蜘蛛提供可抓取的連結，如果連結不是标准的 可点击超連結，發現效率就會打折扣。更實际的問题是，你無法通過日誌准确判断蜘蛛是否因為表單而發現了目标 URL，這會让後續的运营分析變得模糊。
表單适合收集用戶輸入，不适合作為搜尋蜘蛛發現 URL 的主要通道。想让目标 URL 被稳定發現，優先使用普通的 a 标簽，並保證入口頁可正常訪問。
更稳妥的做法
- 把目标 URL 寫成标准的 <a href='...'>锚文本</a>，放在入口頁正文中，而不是只放在表單按钮或隐藏字段里。
- 如果必须用表單做交互，至少保證 action 指向真實可訪問的 URL，並在頁面其他位置用 a 标簽重复暴露一次。
- 入口頁不要依赖 POST 或 JavaScript 提交来传递目标 URL，這類路径對搜尋蜘蛛不友好。
- 用日誌观察蜘蛛對入口頁和目标 URL 的抓取情况，如果目标 URL 長期没有抓取记錄，就检查連結是不是只存在于表單中。
總结来说，搜尋蜘蛛一般不會主動提交表單，把目标 URL 放在表單里並不是一個可靠的 URL 發現方式。蜘蛛池入口頁要做的，是让目标 URL 以清晰、静態、可跟随的超連結形式出現，這样才能减少發現過程中的不确定性。