在蜘蛛池里，入口頁承担的是“被蜘蛛發現”的角色，而不是最终希望被用戶看到的頁面。因此，很多运营者會面临一個矛盾：既希望搜尋引擎蜘蛛来抓取入口頁，顺着連結走到目标 URL，又不希望入口頁本身出現在搜尋结果里。這個矛盾通常靠 robots.txt 和 meta robots 来解决，但两者的作用范围並不一样。
robots.txt 管的是抓取，不是索引
robots.txt 是放在域名根目錄下的协议文件，用来告诉蜘蛛哪些路径可以抓、哪些路径不要抓。它只能控制“抓取”這個動作，不能直接控制“索引”。也就是说，如果你用 robots.txt 禁止蜘蛛抓取入口頁，蜘蛛就不會讀取入口頁的 HTML，自然也就看不到頁面里的連結，入口頁的跳轉作用基本失效。
更麻烦的是，被 robots.txt 屏蔽的 URL 如果被其他来源提及，搜尋引擎仍可能將其索引為“無描述”的结果。所以，單纯用 robots.txt 来阻止入口頁被索引，並不是一個精准的做法。
meta robots 管的是索引和連結跟随
如果你希望蜘蛛正常抓取入口頁，但不要把它放進索引，通常會在入口頁的 <head> 里加上 meta robots 标簽。常见寫法是：
- noindex, follow：不索引目前頁，但允许蜘蛛跟随頁面上的連結。這是蜘蛛池入口頁最常用的组合。
- noindex, nofollow：不索引目前頁，也不跟随連結。若入口頁里全是目标連結，這種寫法會让蜘蛛走到這里就停下，不建议轻易使用。
- index, follow：允许索引並跟随連結。只有当入口頁本身有足够内容、且你确實希望它被收錄时才考虑。
需要注意，meta robots 的寫法要用英文逗号分隔，大小寫不敏感，但拼寫错誤會让指令失效。比如寫成 no index 中間加空格，或者把 follow 拼错，都可能被忽略。
HTTP 头里的 X-Robots-Tag
有些入口頁不是 HTML，比如 PDF、图片或 JS 文件，没法在頁面里寫 meta 标簽。這时可以通過 HTTP 响應头里的 X-Robots-Tag 来传递 noindex 或 nofollow 指令。它的效果與 meta robots 類似，但對非 HTML 资源更友好。如果你在服務器或 CDN 上统一配置，也能减少逐頁修改的麻烦。
目标 URL 自身不能被屏蔽
蜘蛛池的作用是把蜘蛛引到目标 URL，因此目标 URL 必须允许抓取。如果目标站自己的 robots.txt 屏蔽了蜘蛛，或者目标頁带有 noindex，那么蜘蛛即使從入口頁爬過去，也不會抓取或索引目标内容。這種情况在排查时容易被忽略：入口頁配置没問题，日誌里也有蜘蛛来訪，但目标頁始终没有動静，原因可能在目标站自身。
几個常见誤区
- 用 robots.txt 屏蔽入口頁，指望它不被索引。结果往往是蜘蛛不来抓，連結也传不出去，入口頁還可能以其他方式出現在索引里。
- 以為 noindex 會阻止連結传递。實际上 noindex 只针對目前頁的索引，follow 仍然可以让蜘蛛跟随連結。如果還加了 nofollow，才會切断連結路径。
- 入口頁返回 200 但内容為空。蜘蛛仍然會抓取，只是没有足够信息判断頁面價值，可能减少後續回訪。空頁面加上 noindex follow 可以用，但長期看對抓取频率没有帮助。
- 忘记检查目标頁的 meta 和 robots。入口頁正常，目标頁却被屏蔽，等于白做。
上线後怎么驗證
配置完成後，可以從几個方面观察：
- 用搜尋引擎的 robots.txt 測試工具，確認入口頁路径没有被禁止抓取。
- 查看服務器日誌，看蜘蛛是否真的抓取了入口頁，狀態碼是不是 200。
- 用 site: 查询入口頁域名，看是否有大量頁面被索引。這只是參考，不同搜尋引擎结果會有差异。
- 观察目标 URL 的抓取日誌，看蜘蛛是否從入口頁跟了過去。
robots.txt 决定蜘蛛能不能来，meta robots 决定来了之後索引不索引。把這两件事分開看，入口頁的配置會清晰很多。
總的来说，蜘蛛池入口頁比較稳妥的配置是：robots.txt 允许抓取，頁面用 noindex, follow。如果入口頁内容有一定厚度，也可以评估是否保留 index，但要接受被索引後可能带来的管理成本。目标 URL 則要确保自身可抓取、可索引。具体怎么選，取决于你希望蜘蛛在這條鏈路上停留多久、走到哪里。