在蜘蛛池里，入口页承担的是“被蜘蛛发现”的角色，而不是最终希望被用户看到的页面。因此，很多运营者会面临一个矛盾：既希望搜索引擎蜘蛛来抓取入口页，顺着链接走到目标 URL，又不希望入口页本身出现在搜索结果里。这个矛盾通常靠 robots.txt 和 meta robots 来解决，但两者的作用范围并不一样。
robots.txt 管的是抓取，不是索引
robots.txt 是放在域名根目录下的协议文件，用来告诉蜘蛛哪些路径可以抓、哪些路径不要抓。它只能控制“抓取”这个动作，不能直接控制“索引”。也就是说，如果你用 robots.txt 禁止蜘蛛抓取入口页，蜘蛛就不会读取入口页的 HTML，自然也就看不到页面里的链接，入口页的跳转作用基本失效。
更麻烦的是，被 robots.txt 屏蔽的 URL 如果被其他来源提及，搜索引擎仍可能将其索引为“无描述”的结果。所以，单纯用 robots.txt 来阻止入口页被索引，并不是一个精准的做法。
meta robots 管的是索引和链接跟随
如果你希望蜘蛛正常抓取入口页，但不要把它放进索引，通常会在入口页的 <head> 里加上 meta robots 标签。常见写法是：
- noindex, follow：不索引当前页，但允许蜘蛛跟随页面上的链接。这是蜘蛛池入口页最常用的组合。
- noindex, nofollow：不索引当前页，也不跟随链接。若入口页里全是目标链接，这种写法会让蜘蛛走到这里就停下，不建议轻易使用。
- index, follow：允许索引并跟随链接。只有当入口页本身有足够内容、且你确实希望它被收录时才考虑。
需要注意，meta robots 的写法要用英文逗号分隔，大小写不敏感，但拼写错误会让指令失效。比如写成 no index 中间加空格，或者把 follow 拼错，都可能被忽略。
HTTP 头里的 X-Robots-Tag
有些入口页不是 HTML，比如 PDF、图片或 JS 文件，没法在页面里写 meta 标签。这时可以通过 HTTP 响应头里的 X-Robots-Tag 来传递 noindex 或 nofollow 指令。它的效果与 meta robots 类似，但对非 HTML 资源更友好。如果你在服务器或 CDN 上统一配置，也能减少逐页修改的麻烦。
目标 URL 自身不能被屏蔽
蜘蛛池的作用是把蜘蛛引到目标 URL，因此目标 URL 必须允许抓取。如果目标站自己的 robots.txt 屏蔽了蜘蛛，或者目标页带有 noindex，那么蜘蛛即使从入口页爬过去，也不会抓取或索引目标内容。这种情况在排查时容易被忽略：入口页配置没问题，日志里也有蜘蛛来访，但目标页始终没有动静，原因可能在目标站自身。
几个常见误区
- 用 robots.txt 屏蔽入口页，指望它不被索引。结果往往是蜘蛛不来抓，链接也传不出去，入口页还可能以其他方式出现在索引里。
- 以为 noindex 会阻止链接传递。实际上 noindex 只针对当前页的索引，follow 仍然可以让蜘蛛跟随链接。如果还加了 nofollow，才会切断链接路径。
- 入口页返回 200 但内容为空。蜘蛛仍然会抓取，只是没有足够信息判断页面价值，可能减少后续回访。空页面加上 noindex follow 可以用，但长期看对抓取频率没有帮助。
- 忘记检查目标页的 meta 和 robots。入口页正常，目标页却被屏蔽，等于白做。
上线后怎么验证
配置完成后，可以从几个方面观察：
- 用搜索引擎的 robots.txt 测试工具，确认入口页路径没有被禁止抓取。
- 查看服务器日志，看蜘蛛是否真的抓取了入口页，状态码是不是 200。
- 用 site: 查询入口页域名，看是否有大量页面被索引。这只是参考，不同搜索引擎结果会有差异。
- 观察目标 URL 的抓取日志，看蜘蛛是否从入口页跟了过去。
robots.txt 决定蜘蛛能不能来，meta robots 决定来了之后索引不索引。把这两件事分开看，入口页的配置会清晰很多。
总的来说，蜘蛛池入口页比较稳妥的配置是：robots.txt 允许抓取，页面用 noindex, follow。如果入口页内容有一定厚度，也可以评估是否保留 index，但要接受被索引后可能带来的管理成本。目标 URL 则要确保自身可抓取、可索引。具体怎么选，取决于你希望蜘蛛在这条链路上停留多久、走到哪里。