搭蜘蛛池时，很多人把精力放在域名、IP、模板和跳转链路上，却忽略了一个成本极低、影响又很直接的配置项：robots。入口页的 robots.txt 和 meta robots 决定了蜘蛛能不能抓、抓到之后怎么处理。配错了，轻则蜘蛛进不来，重则入口页被当成无用页面处理，前面做的工作白费一半。
先分清两件事：能不能抓 vs 怎么处理
- robots.txt：放在站点根目录的爬虫协议文件，控制蜘蛛能否访问某个路径。它代表的是“抓取许可”，不等于收录。
- meta robots 或 X-Robots-Tag：页面级指令，控制被抓到之后如何处理，比如是否索引、是否跟随链接。
入口页的核心任务是让蜘蛛发现入口、再沿出站链接走到目标站。所以正常状态下应该是“允许抓取 + 允许索引 + 允许跟随链接”三件事同时成立。任何一项被关掉，都要有明确理由，而不是顺手复制别人的配置。
三种常见配置与适用场景
1. 全部放行（默认选择）
robots.txt 不写 Disallow 规则，页面也不加 noindex。入口页本来就是给蜘蛛看的，没有隐藏的必要。绝大多数情况下这就够了，简单、可预期、不容易出错。
2. 只屏蔽无关目录
如果入口站同时挂着后台、日志、临时上传、测试目录，用 Disallow 把这些路径挡掉，入口页所在路径保持放行。注意 Disallow 是前缀匹配：写 /admin 会连带影响 /admin2、/administrator 这类路径，写成 /admin/ 更稳妥。规则越少越容易核对，堆几十条规则反而容易误伤自己。
3. 页面级 noindex, follow
少数场景会用到：入口页模板相似度高、不想让它长期留在索引里，只想让它承担一次“中转”作用。这时可以给页面加 noindex, follow——不索引自己，但保留出站链接的发现路径。
有个前提要记住：noindex 是页面级指令，蜘蛛必须真正抓到页面才能看到。如果 robots.txt 里已经 Disallow 了这条路径，蜘蛛拿不到页面，也就读不到 noindex，页面可能仍以无描述的形式留在索引中。这两个指令同时用，往往得到和预期相反的结果。
容易踩的几个坑
- 全站 Disallow: /：测试环境的规则忘了下线，蜘蛛一封到底，入口页等于不存在。
- robots.txt 返回 5xx：蜘蛛通常会暂时放缓或停止抓取该站，等恢复后再来。频繁出现 5xx，抓取频率会受到明显影响。
- robots.txt 返回 404：效果等同于全部放行。这本身不算问题，但如果你以为它挡住了什么，就会做出错误判断。
- noindex 与 Disallow 同时用：指令互相打架，结果常常是页面既不索引、链接也走不通。
- 只检查入口页，不检查目标站：入口页全放行，目标站却挂着 noindex 或整站屏蔽，蜘蛛来了也留不下有价值的东西。
实操建议
- 入口页默认全放行，只在确实不需要抓取的目录上写 Disallow，并定期核对规则是否还有效。
- 保证 robots.txt 稳定返回 200，内容简短清晰，路径前缀写完整，不要用通配符堆出难以验证的规则。
- 需要弱化入口页在索引中的存在感时，优先用页面级 noindex, follow，而不是用它去替代 robots.txt。
- 改完配置后，用抓取工具或服务器访问日志确认真实访问情况，不要只看配置文件。
- 把入口页与目标站的 robots 策略分开列成清单，逐项确认，避免一边放行一边拦截。
robots 只是一个开关，它决定蜘蛛能不能看到入口页，不决定入口页有没有价值。真正影响 URL 发现效果的是入口页本身的可访问性、更新节奏和链接结构。