很多蜘蛛池的问题，不是出在入口页结构和链接上，而是出在更靠前的一步：蜘蛛还没开始抓，就被 robots 规则挡在门外。robots.txt 和页面里的 meta robots 是蜘蛛进入站点的第一道门，设置错了，后面所有优化都等于零。
robots.txt 是“抓取许可”，不是“收录控制”
robots.txt 告诉蜘蛛哪些路径可以抓、哪些不能抓。它只影响抓取，不直接决定收录。蜘蛛池入口页通常需要被蜘蛛发现和访问，所以入口页本身、以及通往目标页的链接路径，一般要放行。
有些运营者把 robots.txt 当收录开关用，想屏蔽某个页面就写 Disallow，结果蜘蛛根本进不来，页面自然不会出现在后续的抓取里。要控制收录，应该用 meta robots 的 noindex，或者 canonical 指向别的页面。
入口页常见该放行的东西
- 入口页本身：如果入口页就是给蜘蛛看的第一层，不要 Disallow 掉它的路径。
- 目标页路径：蜘蛛需要通过入口页上的链接走到目标页，目标页所在目录若被整体屏蔽，入口页再多也到不了终点。
- CSS、JS 等静态资源：搜索引擎需要渲染页面，屏蔽 CSS/JS 可能导致蜘蛛看到的页面和用户看到的不一样，影响判断。
- sitemap 文件：如果用了 sitemap，不要把它屏蔽掉，否则蜘蛛读取不到。
哪些情况可以拦
- 后台、登录、搜索结果参数页等不需要蜘蛛抓取的路径。
- 大量重复的筛选参数，可以用 robots.txt 屏蔽参数，减少抓取浪费。但要注意别把入口页需要的参数一并屏蔽。
- 明显无意义的临时目录、测试目录。
三种常见误伤
1. 全站 Disallow
改 robots.txt 时手误写成 Disallow: /，蜘蛛会直接放弃整站。更麻烦的是，搜索引擎已经抓过的旧页面可能还在，新页面却进不来，日志里蜘蛛来访会明显减少。
2. 屏蔽了静态资源
有些站点为了省流量，把 /css/、/js/ 目录整段屏蔽。蜘蛛渲染页面时样式和脚本缺失，可能把入口页当成空白页或结构混乱的页面，降低抓取意愿。
3. meta robots 写反
入口页模板里若带着 noindex, nofollow，蜘蛛虽然能抓，但不会顺着链接继续走，也不会把页面放进索引。蜘蛛池入口页尤其要检查模板默认值，别让“不放链接”变成“不跟链接”。
meta robots 和 robots.txt 的分工
简单记：robots.txt 管“能不能抓”，meta robots 管“抓了之后怎么处理”。如果希望页面被抓取、但不被收录，用 meta noindex；如果希望蜘蛛不要沿着页面上的链接继续走，用 nofollow。但蜘蛛池入口页的核心任务就是让蜘蛛顺着链接走到目标页，所以 nofollow 要慎用。
一个可用的判断顺序：先确认蜘蛛能抓到入口页，再确认蜘蛛能顺着链接走到目标页，最后才考虑哪些页面需要 noindex。顺序反了，容易在第一步就把路堵死。
怎么验证没有误伤
- 直接访问 /robots.txt，确认返回 200，内容不是全站 Disallow。
- 用搜索引擎提供的 robots 测试工具，输入入口页 URL，看是否被允许抓取。
- 查看页面源代码，确认 meta robots 不是 noindex, nofollow，尤其是模板生成的入口页。
- 观察服务器日志中蜘蛛对入口页的访问量。如果长期为零，先查 robots，再查防火墙和 CDN。
给蜘蛛池运营者的建议
robots 规则越简单越好。入口页尽量放行，目标页路径不要整体屏蔽，静态资源放行。需要控制收录的页面，用 meta robots 单独处理，不要用 robots.txt 一刀切。每次改完 robots.txt，先在测试工具里验证，再看日志变化。蜘蛛池的很多“没反应”，根源不在池子本身，而在第一道门就没打开。