很多人把“蜘蛛来过”和“蜘蛛能抓到”当成一回事。投放一批URL之后，日志里出现请求就说明有进展；但如果目标URL恰好被robots.txt挡住，日志里可能什么都看不到。这里把两件事拆开讲清楚。
发现和抓取是两件事
发现指的是蜘蛛从某个入口拿到了这个URL，入口可以是站内链接、sitemap、接口提交，也可以是蜘蛛池投放的外链。抓取指的是蜘蛛真的发起请求，把页面内容取回去。
robots.txt 的 Disallow 规则管的是第二件事，它拦不住“发现”。蜘蛛仍然可以在外链里看到你的URL，把它记进待抓列表，只是不去请求它。所以“被挡住等于完全没人知道”这个判断并不准确。
被 Disallow 的URL会怎样
- 新URL长期无法被抓取，内容进不了索引。
- 已经收录的页面通常保留之前的快照，不再更新。
- 某些情况下页面会以“仅有链接、没有摘要”的形式留在结果里，用户点进去仍然能访问。
换句话说，如果你投放URL的目的是让蜘蛛抓取、推动内容更新，而 robots.txt 又禁止抓取，那么这一步基本只完成了“通知”，后面的链路是断的。
noindex 和 Disallow 容易互相抵消
noindex 的写法是页面里的 meta robots，或者响应头里的 X-Robots-Tag，它必须先被蜘蛛抓到才能生效。如果 robots.txt 同时禁止抓取这个URL，蜘蛛读不到 noindex，页面反而可能一直留在索引里，只是不展示摘要。
常见的处理原则可以这样记：
- 希望页面完全不出现在结果里，优先用 noindex，并保持允许抓取。
- 不希望被抓取的内容（后台、接口、临时页），用 robots.txt 禁止，同时别指望它还能被正常收录。
- 想推动新URL收录，就必须让目标路径可以被抓取。
日志里看到请求，不一定是抓取成功
被 Disallow 的路径偶尔也会出现请求记录，来源可能是：不遵守 robots.txt 的采集程序、被误判的UA、或者页面内部资源产生的请求。判断时要看请求的 UA、时间、返回状态码，以及对方是否先取过 /robots.txt。把这些混在一起统计，很容易得出“蜘蛛抓了很多”的错误结论。
常见的几类配置失误
- 测试环境的 robots.txt 带着 Disallow 上线，整站被拦。
- 规则写得过宽，误伤了带参数的正常页面路径。
- 一边写 Disallow，一边写 noindex，两边都没达到目的。
- noindex 只写在 JS 渲染后才出现的内容里，实际返回的HTML里没有。
- X-Robots-Tag 只在部分状态码或部分路径下返回，漏掉了主页面。
排查顺序建议
- 直接访问站点的 /robots.txt，确认目标路径是否落在 Disallow 范围内。
- 用抓取测试工具模拟目标URL，看返回结果是“允许”还是“被屏蔽”。
- 抓包或看响应头，确认有没有 X-Robots-Tag。
- 查看HTML源码里的 meta robots，而不是渲染后的DOM。
- 在日志里按UA过滤，确认是否真的有对目标URL的请求，以及返回码是多少。
- 确认允许抓取之后，再通过站内链接、sitemap 和投放一起推动发现。
蜘蛛池能解决的是“让蜘蛛知道有这个URL”，能不能抓到、能不能放出来，取决于 robots.txt、状态码、页面内容和站点整体质量。投放前先确认目标URL是允许被抓取的，否则后面的动作大多是无效功。