做蜘蛛池投放时，很多人把注意力放在 URL 清單、域名资源和投放节奏上，却忽略了一個基础前提：目标 URL 是否允许被抓取。robots.txt 就是這道门。门没開，蜘蛛池再活跃，蜘蛛也進不来，URL 發現自然無從谈起。
robots.txt 管的是抓取，不是收錄
先厘清一個容易混淆的点。robots.txt 是抓取协议，它告诉蜘蛛哪些路径可以抓、哪些不可以。它不直接控制索引。一個 URL 被 Disallow，蜘蛛通常不會去抓取頁面内容，但它仍可能因為外部連結等原因出現在索引里，只是缺少内容摘要。反過来，noindex 才是索引层面的指令，需要蜘蛛先抓到頁面才能看到。
對蜘蛛池来说，目标是让搜尋蜘蛛發現並抓取 URL。如果目标路径在 robots.txt 里被禁止，抓取請求會在入口被拦下，投放就變成了空轉。所以投放前確認 robots 狀態，是比堆量更優先的事。
投放前要核對的几個 robots 狀態
- 文件本身可訪問：根目錄的 robots.txt 返回 200，内容能正常讀取。如果返回 404，蜘蛛會按無限制處理；如果返回 500 或跳轉到登入頁，行為就不确定了，最好先修好。
- 目标路径是否被 Disallow：把要投放的 URL 路径和 Disallow 規則逐條比對。注意通配符和结尾符号的寫法，例如 Disallow 規則以 /search 结尾和以 /search/ 结尾，覆盖范围可能不同。
- 是否有针對 UA 的分组：有些站点會寫 User-agent: Baiduspider 單獨放行或限制。要確認你希望触達的蜘蛛在哪個分组里，以及该分组下的規則。
- Crawl-delay 是否過長：部分蜘蛛會參考這個值。如果設定得很大，抓取节奏會被拉長，URL 發現變慢。蜘蛛池能触發請求，但最终抓取速度仍受站点声明影响。
- 子域和目錄分別检查：robots.txt 只對目前主机生效。站点有多個子域时，要逐個確認，不要只看主域。
常见誤区
围绕 robots.txt 和蜘蛛池，有几個反复出現的理解偏差，值得單獨拎出来说。
- 誤区一：以為 Disallow 等于不收錄。 前面说過，Disallow 阻止的是抓取。對新 URL 来说，抓取是發現的前提，所以影响很大；但對已有索引，它不等于刪除。要区分自己的目的到底是控制抓取，還是控制索引。
- 誤区二：指望蜘蛛池绕過 robots。 正規的 URL 發現工具不會去鼓励绕過抓取协议。即使短時間有請求，也不稳定，還可能带来風險。遵守規則，把可抓取范围理清楚，才是可持續的做法。
- 誤区三：改了 robots 就等蜘蛛自己回来。 搜尋引擎會定期回訪 robots.txt，但节奏不确定。如果希望尽快恢复抓取，需要配合新的抓取触發，比如重新投放可抓取的入口 URL，或者更新 sitemap。
- 誤区四：一邊全站 Disallow，一邊投蜘蛛池。 這是逻辑矛盾。既然不想被爬，就不要把 URL 送進發現工具；既然希望被發現，就要给出可抓取的路径。
與蜘蛛池配合的几條建议
- 投放前用命令行或在线工具拉一次 robots.txt，確認狀態碼和内容，別只看缓存。
- 把投放清單里的 URL 逐個過一遍 Disallow 規則，尤其是带參數、带目錄层級的地址。
- 多子域站点分開核對，避免主域放行、子域拦截的情况。
- 需要發現的頁面保持可抓取，同时用 sitemap 和内部連結做补充，让蜘蛛有更多進入路径。
- 确實不想被抓的路径，從投放清單里移除，不要混在一起。
- 改動 robots.txt 後，记錄改動時間和内容，方便後續和日誌观察對照。
robots.txt 是 URL 發現鏈路的第一道门。门關着，後面的域名、IP 和投放节奏都使不上劲。投放前花几分钟確認邊界，比事後翻日誌排查省事得多。
蜘蛛池解决的是让蜘蛛知道有哪些 URL 的問题，而 robots.txt 决定蜘蛛愿不愿意、能不能進来。两者配合，發現效率才有基础。先把邊界理清，再谈投放量，顺序別反了。