做 URL 發現的时候，经常會遇到一種情况：准备拿来跑的目标頁，查看源碼發現 head 里寫着 noindex。這时候很多人的第一反應是——那還跑入口頁干嘛，反正蜘蛛都不收錄了。這個判断其實只對了一半。想把問题想清楚，得先把抓取和索引拆開看。
抓取和索引是两件事
搜尋蜘蛛訪問一個 URL 的過程是：發起請求、拿到响應、解析 HTML、從里面提取新的連結繼續排队。這些動作都属于抓取。而索引是後面的事：搜尋引擎根據頁面内容、质量、重复度等做判断，决定要不要把它放進可检索的结果里。
noindex 属于索引指令，不是抓取指令。頁面带了 noindex，蜘蛛照样會来抓、照样會讀 HTML、照样會顺着里面的連結往下走，它只是在下一步被排除在索引之外。所以“目标 URL 有 noindex”和“蜘蛛不會来”是两碼事。
noindex 的几種常见寫法
- HTML 里的 meta robots 标簽，例如 noindex 或 noindex,follow
- 响應头里的 X-Robots-Tag，不少下载類、附件類 URL 用的是這種
- CMS 模板或插件自動注入，導致整站或整類頁面都被加上
- 通過 JavaScript 動態插入，這種不一定能被稳定讀到
几種寫法同时出現时，一般以更嚴格的那條為准。排查时只盯着源碼里的 meta 标簽，很容易漏掉响應头里的指令。
這種情况下，入口頁繼續跑還有意义
- 驗證鏈路是否通：日誌里能不能看到蜘蛛来、来了返回什么狀態碼。如果连抓取都没有，問题大概率在可達性上，比如 robots.txt 屏蔽、DNS 解析異常、响應超时，跟 noindex 没關系。
- 發現頁面里的其他連結：如果一個 noindex 頁面里還鏈向其他正常頁面，蜘蛛抓到它之後還會繼續往下走，這條内鏈路径是有效的。
- 临时保護後的恢复：有些站点上线前會加 noindex 防止被提前收錄，撤掉之後，之前已经建立的抓取路径能省掉一部分重新發現的等待。
- 观察抓取节奏：看日誌能知道蜘蛛多久来一次、每次抓多少，判断是不是被其他低质量 URL 占掉了額度。
這几種情况就真的没必要跑
- robots.txt 里對整站寫了 Disallow。這时候蜘蛛根本不會發起請求，入口頁放再多連結也没用。
- 目标頁面本身就是私密頁、後台頁，本来就不希望被任何人看到，那讨论發現效率没有意义。
- 整站長期 noindex，且没有其他可索引的頁面。抓取發生了也产生不了任何可检索的结果。
排查时容易踩的几個坑
- 只看了首頁模板，忘了内頁模板里還带着 noindex。
- 只查了 meta 标簽，没查响應头里的 X-Robots-Tag。
- 分頁、带參數的頁面被規則自動加了 noindex，自己却不知道。
- 測試环境的 noindex 上线时忘了撤，白白等了好几周。
- 頁面同时寫了 noindex 和指向自己的 canonical，两個信号互相打架。
遇到抓取異常，先用响應头、狀態碼、日誌這三样確認事實，再决定要不要加入口頁或重新提交。顺序反過来，很容易做一堆無效動作。
更稳妥的做法
如果你只是想让搜尋引擎更快發現新 URL，優先把站内連結结构、sitemap、URL 提交這几件事做扎實。入口頁這類手段本身有争议，過度制造入口、刻意控制抓取频率，很可能被判定為操纵行為，風險要自己承担。真要用，也建议控制規模，並持續看日誌驗證效果。
至于带 noindex 的目标 URL，先確認它是不是你真正想推的頁面。如果是，先解决 noindex；如果不是，就別在它身上浪費抓取次數。