在蜘蛛池的搭建里，robots.txt 往往是最容易被跳过的一个文件。它不像入口页模板、IP 分布那样直接影响蜘蛛能不能找到链接，但它决定了蜘蛛第一次进站后，哪些目录能走、哪些不能走。写错一行，可能出现入口页正常、内页却始终抓不到的情况。
robots.txt 能管什么，管不了什么
先说边界：robots.txt 只是抓取层面的建议，它不是访问控制，也不是索引开关。搜索引擎可以遵守，也可能在某些情况下忽略；而一个 URL 即使被 Disallow，只要别处有链接指向它，仍有可能出现在索引里，只是缺少正常的摘要。
所以对蜘蛛池来说，robots.txt 的正确期待是：控制抓取路径和抓取量，而不是“我不想让它出现，所以屏蔽掉”。
蜘蛛池里常见的三种配置思路
1. 基本全放行，只挡后台
入口页、列表页、内容页全部允许，仅屏蔽后台、测试目录、日志目录等无关路径。这种写法最常见，适合结构清楚、页面数量可控的站点。要注意别顺手把 /api/、/search/ 这类会产生无限组合的路径放进来。
2. 屏蔽参数与无限路径
带参数的筛选、排序、分页组合会生成大量近似页面，蜘蛛一旦陷进去，抓取预算很快被消耗。用 Disallow 把明显的组合参数挡掉，通常比事后补救省事。
3. 只放行指定目录
先全站 Disallow，再逐条 Allow 需要被抓的目录。这种方式可控性最强，但要小心写法与顺序，漏掉一条就会让整块路径失效。
入口页与目标页的关系
一个常被混淆的点：蜘蛛池入口页上的链接，指向的是别人的站。你只能控制自己站点的 robots.txt，不能替目标站决定什么。如果目标页本身在自己的 robots.txt 里被屏蔽，你的入口页再干净也没用；反过来，你自己的入口页被屏蔽，蜘蛛就断了往下走的路径。
规则冲突时按什么顺序判断
当 robots.txt、meta robots、HTTP 响应头、canonical 同时出现时，可以按下面的顺序看：
- 先看 HTTP 响应状态，404 或 5xx 的页面谈规则意义不大；
- 再看 X-Robots-Tag 响应头，它和 meta 标签效力接近，但对非 HTML 文件同样生效；
- 然后是页面里的 meta robots，注意 noindex 与 nofollow 是两个独立开关；
- 最后是 robots.txt，它只影响抓取，不影响已被抓取内容的后续处理；
- canonical 是另一种信号，用于合并重复页，不能替代上面的屏蔽手段。
容易踩的几个坑
- 用 robots.txt 屏蔽 CSS 和 JS 文件，导致页面渲染不完整，蜘蛛看到的和用户看到的不是一回事；
- 把入口页本身 Disallow，结果蜘蛛进不来，后面的链接自然也不会被抓；
- 以为写了 Disallow 页面就不会被索引，实际上还需要 noindex 配合；
- 站点有多个子域或端口，只在主域放了一份 robots.txt，其他子域等于没有；
- 测试环境直接复制了生产环境的 robots.txt，全站放行，被蜘蛛批量抓走一堆测试内容。
判断标准其实很简单：你希望蜘蛛走到哪一层、走多少条，就把不在这条路径上的分支挡掉。挡多了会断链，挡少了会稀释抓取。
写完之后的验证
- 直接用浏览器访问 /robots.txt，确认返回 200 且内容完整，没有语法错误；
- 用搜索引擎官方提供的 robots 测试工具检查具体 URL 的判定结果；
- 在抓取日志里核对被拦路径是否真的没有出现，或出现频率是否下降；
- 改动后保留一份旧文件备份，出现异常可以快速回退。
robots.txt 不复杂，但它是蜘蛛进入站点后的第一道路标。把它和入口页结构、抓取日志放在一起看，才能判断蜘蛛是“不想来”还是“走不进来”。调整时一次改一项，观察几天再动下一次，比一次性大改更容易看清因果。