蜘蛛池入口页承担的任务很直接：让搜索蜘蛛能走进来，顺着链接发现更多 URL。但很多人把精力放在内容和内链上，却忽略了一个最前面的关卡——robots 规则。一旦规则写错，蜘蛛可能连门都进不来，后面做再多也白费。
robots.txt 管抓取，meta robots 管索引
先把分工理清。robots.txt 是放在域名根目录的文本文件，告诉蜘蛛哪些路径可以抓、哪些不要抓。它管的是“抓取”这个动作。meta robots 是写在页面 HTML 里的标签，比如 <meta name="robots" content="noindex,follow">，它管的是“索引”和“链接跟踪”。两者不是一回事，也不能互相替代。
还有一个容易被漏掉的是 HTTP 响应头里的 X-Robots-Tag。它能在服务器层面给整站或某类文件下发索引指令，效果类似 meta robots，但不需要改页面代码。如果服务器配置里残留了 X-Robots-Tag: noindex，页面内容再正常，蜘蛛也可能不把它放进索引。
常见误区：这些设置容易把蜘蛛挡在门外
- 用 Disallow 屏蔽全站，又指望蜘蛛来抓。 robots.txt 里写 Disallow: / 等于告诉蜘蛛整站别来。蜘蛛池入口页本身就是为了被抓取，这种设置属于自断通路。
- noindex 和 nofollow 一起用。 如果入口页只是中转站，noindex 可以理解，但再叠加 nofollow，页面上的链接就不会被跟踪，入口页的引导作用基本消失。
- robots.txt 本身返回 404 或 500。 蜘蛛拿不到规则文件时，行为并不稳定。有的会暂时放行，有的会减少抓取。更稳妥的做法是让 robots.txt 稳定返回 200，内容明确。
- User-agent 写错或大小写不匹配。 不同蜘蛛对 User-agent 的匹配规则不完全一样。写错名称，规则可能不生效，也可能被误读。
- 只写 Disallow 忘了 Allow。 如果前面用宽泛规则封了目录，后面又希望放行某个子路径，需要用 Allow 明确写出来，并注意顺序和最长匹配原则。
- 屏蔽 CSS 和 JS 后抱怨页面读不懂。 入口页结构通常不复杂，但如果蜘蛛需要渲染才能看到链接，屏蔽静态资源可能影响它识别页面内容。
按目的选择：放行、限制还是只让爬不让索引
蜘蛛池入口页不一定要追求自身排名，它的价值在于被发现和传递链接。所以规则要围绕目的来定。
- 希望入口页被索引并作为发现节点： robots.txt 允许抓取，meta robots 保持 index,follow，X-Robots-Tag 不要加 noindex。
- 只把入口页当中转，不参与排名： 可以用 noindex,follow，让蜘蛛抓取页面并跟踪链接，但不把入口页本身放进索引。注意，这种方式下链接价值的传递可能打折扣，需要观察日志再判断。
- 某些目录不想被频繁抓取： 用 robots.txt 做路径级限制，而不是整站屏蔽。限制后仍要保留一条清晰的爬行通路，避免蜘蛛在门口反复试探。
验证与调整建议
规则改完不要只靠猜。可以在服务器日志里观察主流蜘蛛对入口页的访问状态，看它们是拿到 200 还是被 403、404 挡住。也可以借助各搜索引擎提供的 robots 测试工具，检查某条 URL 最终生效的抓取和索引指令。
蜘蛛池入口页的 robots 规则不需要复杂，但需要一致：想让它来，就明确放行；想限制，就限制在路径级别，别把整站锁死。
最后提醒一点，robots 规则只是入口页能被发现的前提之一，它不保证收录，也不保证排名。把规则写对，是为了不让蜘蛛在第一道门就被挡回去，后面的抓取预算、内链结构和更新节奏才有发挥空间。