為什么入口頁會被自己挡住
蜘蛛池入口頁的核心任務是让蜘蛛發現、抓取，並顺着連結繼續走。但很多入口頁上线後一直没有動静，排查服務器、DNS、CDN 都正常，問题却出在頁面源碼或者响應头里的一行指令。meta robots 和 X-Robots-Tag 都是给蜘蛛看的“交通标志”，一旦寫错，蜘蛛可能连頁面内容都不讀，更不會跟踪里面的連結。
這類問题比較隐蔽，因為浏览器訪問完全正常，人工检查也看不出異常，只有蜘蛛在解析时才會遵守。下面按常见指令、優先級和排查步骤来說明。
常见 meta robots 指令與容易踩的坑
meta robots 寫在 HTML 的 head 里，格式是 <meta name="robots" content="...">。蜘蛛池入口頁最常用到下面几個值：
- noindex：不要索引本頁。入口頁如果被 noindex，蜘蛛可能仍然抓取，但通常不會把它当作可收錄的入口，也不會分配太多抓取预算。
- nofollow：不跟踪頁面上的連結。對蜘蛛池来说這是最致命的一項，因為入口頁的價值之一就是把蜘蛛引向目标 URL，nofollow 會让這條路径断掉。
- noarchive：不保留快照。對抓取本身影响不大，但會改變蜘蛛對頁面價值的判断，入口頁一般不需要加。
- nosnippet：不生成摘要。同样不直接阻止抓取，但入口頁通常不需要限制展示。
- none：等價于 noindex, nofollow，誤用後入口頁基本失去作用。
還有一種情况是模板里自带 noindex，比如從測試环境複製過来的頁面、CMS 的“未發布”狀態，或者 SEO 插件預設勾選了“禁止索引”。入口頁數量一多，這類問题會成批出現。
X-Robots-Tag 與 meta 的区別
X-Robots-Tag 是 HTTP 响應头，寫法和 meta 類似，但作用范围更广。它可以针對非 HTML 资源（比如 PDF、图片、视频）設定指令，也可以在服務器、CDN 或反向代理层统一添加。
两者冲突时，蜘蛛一般會采纳更嚴格的那個。例如 meta 寫的是 index, follow，但响應头带 X-Robots-Tag: noindex，頁面仍然可能不被索引。反過来，响應头放行、meta 禁止，也一样會被挡住。排查时需要同时看 HTML 源碼和 HTTP 响應头，不能只看其中一個。
另外，X-Robots-Tag 可能不是你手動加的。部分 CDN、WAF、安全插件，甚至某些爬虫防護策略會在响應里自動注入 noindex，用来防止内容被外部抓取。蜘蛛池入口頁如果经過多层中間件，最好用 curl 或浏览器開發者工具確認最终响應头。
上线前的自查步骤
- 用 curl -I 查看响應头，確認没有意外的 X-Robots-Tag。
- 查看頁面源碼 head 区域，確認 meta robots 没有 noindex、nofollow 或 none。
- 检查模板、CMS 設定和 SEO 插件，避免預設值誤伤。
- 如果使用了反向代理或 CDN，確認中間层没有注入拦截指令。
- 抓取一段時間的服務器日誌，看蜘蛛是否只請求了入口頁却没有繼續訪問内鏈，這往往是 nofollow 在起作用。
這些检查不需要复杂工具，几分钟就能完成，但能避免入口頁長期空轉。
配置建议
蜘蛛池入口頁通常希望被蜘蛛發現並跟踪連結，所以大多數情况下應该保持預設的 index, follow，不要随意加限制。如果某個入口頁确實需要临时屏蔽，建议單獨處理，不要用全局模板一刀切。改動後观察日誌里的蜘蛛行為變化，確認指令生效，再决定是否保留。
meta robots 和 X-Robots-Tag 只是抓取环节的一部分。蜘蛛是否持續来訪，還取决于入口頁的更新、連結结构和服務器稳定性，不要指望改一行标簽就解决所有問题。