做蜘蛛池投放时，很多人把注意力放在 URL 清单、域名资源和投放节奏上，却忽略了一个基础前提：目标 URL 是否允许被抓取。robots.txt 就是这道门。门没开，蜘蛛池再活跃，蜘蛛也进不来，URL 发现自然无从谈起。
robots.txt 管的是抓取，不是收录
先厘清一个容易混淆的点。robots.txt 是抓取协议，它告诉蜘蛛哪些路径可以抓、哪些不可以。它不直接控制索引。一个 URL 被 Disallow，蜘蛛通常不会去抓取页面内容，但它仍可能因为外部链接等原因出现在索引里，只是缺少内容摘要。反过来，noindex 才是索引层面的指令，需要蜘蛛先抓到页面才能看到。
对蜘蛛池来说，目标是让搜索蜘蛛发现并抓取 URL。如果目标路径在 robots.txt 里被禁止，抓取请求会在入口被拦下，投放就变成了空转。所以投放前确认 robots 状态，是比堆量更优先的事。
投放前要核对的几个 robots 状态
- 文件本身可访问：根目录的 robots.txt 返回 200，内容能正常读取。如果返回 404，蜘蛛会按无限制处理；如果返回 500 或跳转到登录页，行为就不确定了，最好先修好。
- 目标路径是否被 Disallow：把要投放的 URL 路径和 Disallow 规则逐条比对。注意通配符和结尾符号的写法，例如 Disallow 规则以 /search 结尾和以 /search/ 结尾，覆盖范围可能不同。
- 是否有针对 UA 的分组：有些站点会写 User-agent: Baiduspider 单独放行或限制。要确认你希望触达的蜘蛛在哪个分组里，以及该分组下的规则。
- Crawl-delay 是否过长：部分蜘蛛会参考这个值。如果设置得很大，抓取节奏会被拉长，URL 发现变慢。蜘蛛池能触发请求，但最终抓取速度仍受站点声明影响。
- 子域和目录分别检查：robots.txt 只对当前主机生效。站点有多个子域时，要逐个确认，不要只看主域。
常见误区
围绕 robots.txt 和蜘蛛池，有几个反复出现的理解偏差，值得单独拎出来说。
- 误区一：以为 Disallow 等于不收录。 前面说过，Disallow 阻止的是抓取。对新 URL 来说，抓取是发现的前提，所以影响很大；但对已有索引，它不等于删除。要区分自己的目的到底是控制抓取，还是控制索引。
- 误区二：指望蜘蛛池绕过 robots。 正规的 URL 发现工具不会去鼓励绕过抓取协议。即使短时间有请求，也不稳定，还可能带来风险。遵守规则，把可抓取范围理清楚，才是可持续的做法。
- 误区三：改了 robots 就等蜘蛛自己回来。 搜索引擎会定期回访 robots.txt，但节奏不确定。如果希望尽快恢复抓取，需要配合新的抓取触发，比如重新投放可抓取的入口 URL，或者更新 sitemap。
- 误区四：一边全站 Disallow，一边投蜘蛛池。 这是逻辑矛盾。既然不想被爬，就不要把 URL 送进发现工具；既然希望被发现，就要给出可抓取的路径。
与蜘蛛池配合的几条建议
- 投放前用命令行或在线工具拉一次 robots.txt，确认状态码和内容，别只看缓存。
- 把投放清单里的 URL 逐个过一遍 Disallow 规则，尤其是带参数、带目录层级的地址。
- 多子域站点分开核对，避免主域放行、子域拦截的情况。
- 需要发现的页面保持可抓取，同时用 sitemap 和内部链接做补充，让蜘蛛有更多进入路径。
- 确实不想被抓的路径，从投放清单里移除，不要混在一起。
- 改动 robots.txt 后，记录改动时间和内容，方便后续和日志观察对照。
robots.txt 是 URL 发现链路的第一道门。门关着，后面的域名、IP 和投放节奏都使不上劲。投放前花几分钟确认边界，比事后翻日志排查省事得多。
蜘蛛池解决的是让蜘蛛知道有哪些 URL 的问题，而 robots.txt 决定蜘蛛愿不愿意、能不能进来。两者配合，发现效率才有基础。先把边界理清，再谈投放量，顺序别反了。