做蜘蛛池和站点运营时，经常有人問：入口頁要不要加 noindex？加了之後，挂在里面的目标 URL 是不是就没人發現了？先说结论：noindex 管的是“這一頁要不要進索引”，不等同于“搜尋蜘蛛要不要顺着連結往下抓”。這两件事由不同机制控制，混在一起想，很容易做出反向操作。
noindex 是索引指令，不是抓取指令
noindex 的作用是告诉搜尋引擎：不要把這一頁放進索引。而搜尋引擎要执行這條指令，前提是先抓到這一頁、讀到 meta 标簽或 HTTP 响應头。也就是说，蜘蛛必须先按常規流程把入口頁抓下来。頁面既然已经被抓下来了，HTML 里的連結就進入了正常的解析环节——除非你另外用 nofollow 或 robots.txt 把它挡住。
為什么有人觉得“加了 noindex 連結就废了”
這個说法通常来自两件事被混為一谈：抓取發現和權重传递。
發現层面：連結照常被跟踪
主流搜尋引擎的口径是，noindex 頁面上的連結仍然會被跟踪和發現。也就是说，入口頁加 noindex，目标 URL 依然有机會被搜尋蜘蛛顺着抓一遍，進入“已發現”狀態。
權重层面：別指望它和正常頁面一样
搜尋引擎多次表示，noindex 頁面上的連結在排序信号上會被打折甚至忽略。所以如果你的目的是靠入口頁给目标 URL 传一点權重，那加 noindex 基本是反向操作。入口頁适合承担“让蜘蛛發現 URL”的任務，不适合同时承担“传递權重”的期待。
meta 标簽和 X-Robots-Tag 的差別
两者都能下發 noindex。区別是 HTTP 头在頁面還没被解析时就能讀到，對 PDF、图片這類非 HTML 资源更适用。但無论用哪種方式，只要頁面本身返回 200 且允许抓取，里面連結的解析流程不變。
noindex 和 nofollow 一起加會怎样
- 只加 noindex：頁面不進索引，連結仍可能被跟踪，目标 URL 有机會被發現。
- 只加 nofollow：頁面可以正常收錄，但連結不被跟随，靠這一頁几乎發現不了目标 URL。
- 两個都加：頁面不收錄、連結也不跟随，這一頁對目标 URL 基本只剩占位作用。
- robots.txt 屏蔽 + noindex：两者互相打架。被屏蔽的頁面蜘蛛抓不到，也就讀不到 noindex，常见结果是頁面仍以“僅 URL”形式出現在索引里。
几種常见配置该怎么選
- 想让目标 URL 被更快發現、又不想入口頁占索引位：入口頁加 noindex，不要加 nofollow，同时確認 robots.txt 允许抓取。
- 入口頁本身是有價值的聚合頁：不加 noindex，让它正常參與索引，連結也正常跟随。
- 入口頁只是自己看的測試頁：直接用 robots.txt 或密碼保護挡住，別指望它做發現。
- 想靠入口頁传權重：不要加 noindex，把精力放回頁面内容和連結相關性上。
自查：怎么確認蜘蛛确實跟到了
- 看服務器日誌：入口頁被某個搜尋蜘蛛抓取後，同一 UA 有没有在相近時間訪問目标 URL。
- 看目标 URL 的狀態：只發現不抓取、抓取了不索引，是两種不同的問题，要分開排查。
- 用搜尋引擎官方的 URL 检查或覆盖率报告交叉驗證，確認指令被正确讀取。
- 小范围測試：拿一個不影响主站的頁面改配置，观察几天日誌再决定是否全站調整。
把“發現”和“收錄”拆開看：發現靠連結和提交，收錄靠内容质量和站点整体表現。noindex 只影响後者，不要指望它顺便改變前者。