robots.txt 是放在站点根目录下的一个纯文本文件，用来告诉爬虫哪些路径可以抓、哪些不要抓。放到蜘蛛池场景里，它同时管着两件事：搜索蜘蛛能不能进来读入口页，以及读完入口页之后能不能顺着链接去发现目标 URL。写得对，它是一道护栏；写错，就是一道隐形的墙，而且这道墙在日志里往往表现为“蜘蛛压根没来过”，很容易被误判成入口页本身没生效。
robots.txt 只管路径，管不了单条链接
先明确一个边界：robots.txt 按路径前缀匹配，不能针对某一个具体 URL 单独放行或禁止。所以指望用 robots.txt 去控制“哪些目标链接可以被发现”并不现实。它真正约束的范围是入口页自身的路径，以及入口页里链接指向的路径——如果目标 URL 和入口页同域，它同样受这份文件约束；如果目标 URL 在别的域名下，那就要看对方域名自己的 robots.txt 怎么写。
三种常见写法与对应后果
- 允许全部：User-agent 写通配符，配合 Allow 根路径。最省事，入口页和站内链接都能被抓。
- 只放开入口页目录：只允许某个目录，其余全部禁止。入口页能被抓，但同域下的目标 URL 可能一起被挡住。
- 全局禁止：禁止根路径下的所有内容。入口页本身就不会被抓，后面所有环节都无从谈起。
几个容易踩的坑
通配符写得太宽
用通配符屏蔽所有带参数的 URL 是很常见的一刀切写法。入口页里的链接经常带跟踪参数或做过 URL 重写，一旦被这条规则覆盖，蜘蛛就算来了也读不到链接指向的路径。写规则之前，先把自己站上真实存在的 URL 形态列一遍，再决定通配符的范围。
多子域只配了一份
robots.txt 只对当前域名生效，子域要各自放一份。如果入口页跑在多个子域上，而只配了主域的文件，子域下没有这个文件时爬虫通常按“全部允许”处理，看起来是通的；但如果你误以为主域那份会覆盖子域，配置思路就容易错乱。建议把每个对外提供入口页的域名单独检查一遍，别靠推测。
文件本身访问异常
robots.txt 返回 404 时，爬虫一般按全部允许处理；返回 5xx 或超时，不同爬虫的策略不一致，有的会短期降低甚至暂停抓取。最稳的做法是让它稳定返回 200，内容简短，不要做重定向，也不要依赖后端动态拼装。
把它当成隐藏目录清单
有些人习惯把不想公开的路径一条条禁止出来，等于主动告诉别人这里有什么。在蜘蛛池场景里，更值得注意的是别把入口页路径写得过于特殊、容易被反向推测出规律。
改完规则之后怎么自查
- 直接访问域名加根路径下的 robots.txt，确认状态码是 200，内容里没有意料之外的禁止规则。
- 拿入口页的完整 URL 去对照规则，看是否落在被禁止的路径前缀里。
- 在抓取日志里过滤搜索蜘蛛的 UA，看它在入口页路径上的请求量是否正常；如果一条都没有，先怀疑 robots.txt 和服务器层拦截，而不是链接写法。
- 观察一段时间，再看目标 URL 是否出现被抓取的记录。注意，被抓取和进索引是两件事。
- 每次改动都留个记录，出问题时能快速回滚到上一版。
robots.txt 是门槛，不是开关。它只能决定蜘蛛“能不能读”，读完之后是否继续发现目标 URL，还取决于入口页的结构、链接本身是否可访问，以及抓取预算的分配。
小结
在蜘蛛池里写 robots.txt，原则就几条：路径范围尽量小、不要用宽泛通配符误伤目标 URL、每个子域单独配置、文件本身保持稳定可访问。把它当成一层基础设置，而不是优化手段。真出问题时，按“文件状态 → 路径规则 → 日志验证”的顺序排查，通常比反复调整链接结构更快找到原因。