很多人在做蜘蛛池投放时，注意力几乎都在外部：URL投到哪些渠道、一次投多少、投放频率怎么控制。但搜索蜘蛛真正进入一个站点时，最先接触的往往是站点自己的robots.txt。这个文件如果写得有问题，后面的投放动作可能一直在做无用功，而且很难从投放端看出原因。
robots.txt在URL发现链路里的位置
蜘蛛池解决的是让搜索蜘蛛知道有这么一个URL，robots.txt决定的是这个URL能不能被抓取。两者是先后关系：蜘蛛通过外链、站点地图或投放渠道发现地址后，抓取前会参考robots.txt的规则。规则不允许，蜘蛛通常会跳过这条URL，发现动作也就停在了发现这一步。
还要分清楚一点：robots.txt是抓取层面的约定，不是内容层面的控制。它管的是蜘蛛要不要来抓，不管页面抓回去之后会怎么处理。把这两件事混在一起，就容易做出互相抵消的配置。
容易被忽略的三类规则写法
全站拦截
Disallow: / 这类写法在测试环境很常见，正式上线时忘记删掉，就等于告诉所有搜索蜘蛛不要抓取任何页面。此时无论投放多少URL，蜘蛛拿到的都是一个它不会访问的地址。这种情况并不少见，尤其是在站点迁移或改版之后。
目录级与参数级拦截
比如对搜索页、分页参数、会话参数做拦截，这类规则本身有它的道理，但常常是历史遗留，写完之后没人再回头核对。投放之前确认一下目标URL是否落在这类规则里，是成本很低、收益却很明显的一步。
规则之间的冲突
多个User-agent段落之间的优先级关系、通配符的位置、结尾是否加斜杠，这些细节凑在一起时，规则会变得连自己也读不明白。规则越复杂，误伤本该被发现的URL的概率就越高。
几个常见的误区
- 把robots.txt当成隐藏手段。拦截抓取不等于页面不被索引，来自外部的链接锚文本仍可能让地址出现在结果里，只是缺少摘要信息。
- 既拦截抓取又指望noindex生效。被拦住的页面，蜘蛛读不到页面里的noindex，这两个动作放在一起，经常是互相抵消的。
- 只检查首页。robots.txt是按路径生效的，首页放行不代表栏目页、详情页放行。
- 投放之后才回头看规则。URL一旦被投出去，再改配置，之前那批抓取机会基本已经消耗掉了。
投放前可以逐条走一遍的检查清单
- 直接访问域名下的 /robots.txt，确认返回200，而不是404、500或者跳转。
- 用目标URL的关键路径去比对规则，确认没有被Disallow命中。
- 确认目标URL本身返回200，没有中途跳转到其他地址。
- 确认页面没有设置noindex，或者这个设置是你有意保留的。
- 如果站点有站点地图，确认它已经在robots.txt里被声明，并且路径可访问。
- 如果站点用了CDN或防火墙，确认它们没有把搜索蜘蛛拦在外面。
让规则和投放目标保持一致
站点结构和内容策略会变，robots.txt却常常几年不动。比较稳妥的做法是把它当成一个需要定期核对的配置项：栏目调整、模板上线、测试环境转正式环境之后，都顺手看一遍。投放前做一次小范围确认，比事后逐个排查原因要省力得多。
投出去的是地址，能不能抓、抓到了怎么处理，仍然由站点自己决定。规则和投放目标对不上时，再大的投放量也很难转化成有效的抓取。
蜘蛛池只是URL发现环节里的一种工具，它不会绕过站点的抓取规则，也不会替你解决配置层面的问题。把robots.txt这类基础项理顺，投放动作才有可比较、可复盘的基础。