在蜘蛛池或站群入口頁的配置中，很多人會用 meta robots 控制頁面是否被索引。常见寫法有 noindex、nofollow，或者两者同时出現。問题在于：這些指令對“搜尋蜘蛛發現入口頁里的目标 URL”究竟有什么影响？不少运营者把 noindex 和 nofollow 混為一谈，结果入口頁虽然能被抓取，目标 URL 却迟迟没有發現记錄。
先分清 noindex 和 nofollow 的作用對象
meta robots 寫在 HTML 的 head 区域，也可以放在 HTTP 响應头 X-Robots-Tag 里。它們的作用對象不同：
- noindex：告诉搜尋蜘蛛不要把目前頁面放入索引。它主要影响“頁面本身是否出現在搜尋结果中”。
- nofollow：告诉搜尋蜘蛛不要追踪目前頁面上的連結。它影响的是“頁内連結是否被繼續發現和抓取”。
所以，如果入口頁只寫了 noindex，但允许 follow，搜尋蜘蛛仍然可以抓取入口頁，並顺着里面的連結發現目标 URL。入口頁自己不被索引，並不等于連結不會被跟進。
meta nofollow 會直接卡住目标 URL 的發現
当入口頁的 meta robots 寫成 noindex, nofollow 或單獨的 nofollow 时，搜尋蜘蛛虽然可能抓取這個入口頁，但會收到“不要繼續追踪頁内連結”的提示。對于依赖入口頁传递發現路径的蜘蛛池来说，這往往意味着目标 URL 很难被自然發現。
注意：nofollow 通常被视為一種提示，不同搜尋引擎的执行细节不完全一致，但把入口頁整体标成 nofollow，會增加目标 URL 不被跟進的風險。
如果你希望入口頁不被收錄，同时又要让目标 URL 有机會被發現，更稳妥的寫法是 noindex, follow，而不是 noindex, nofollow。
常见誤区與检查顺序
- 只看 robots.txt，不看 meta robots。 robots.txt 禁止抓取會直接阻止搜尋蜘蛛获取入口頁内容，而 meta nofollow 是在抓取之後才起作用的指令。两者要分開检查。
- 把 noindex 当成“不传递權重”。 noindex 主要管索引，不必然切断連結發現。真正影响連結跟進的是 nofollow 或連結上的 rel="nofollow"。
- 忽略 HTTP 头里的 X-Robots-Tag。 有些站点通過服務器配置輸出 X-Robots-Tag: nofollow。它在 HTML 里看不到，但搜尋蜘蛛同样能讀到。
- 入口頁模板批量带了 nofollow。 站群或蜘蛛池程序如果模板统一輸出 meta robots="noindex,nofollow"，所有入口頁的目标 URL 發現都會受影响。
怎么排查入口頁是否影响了目标 URL 發現
可以按下面几步做基础检查：
- 查看入口頁 HTML 的 head 中是否有 <meta name="robots" content="...">，確認里面有没有 nofollow。
- 查看 HTTP 响應头是否带有 X-Robots-Tag，確認是否包含 nofollow 或 noindex。
- 如果入口頁連結本身還加了 rel="nofollow"，即使頁面級 meta 允许 follow，連結也可能不被跟進。
- 對比入口頁的搜尋蜘蛛訪問日誌和目标 URL 的抓取记錄，看蜘蛛是否在抓取入口頁後繼續請求了目标 URL。
如果確認是 meta nofollow 導致的，調整入口頁模板，保留 follow，只對入口頁做 noindex，通常更符合“入口頁不收錄、目标 URL 可被發現”的常见需求。調整後仍需观察日誌和抓取记錄，搜尋蜘蛛重新抓取和跟進需要時間。
最後提醒：meta robots 只是影响發現和抓取的一個环节，目标 URL 能否被收錄還取决于内容质量、站点结构、服務器响應等多種因素。不要因為改了 noindex/nofollow 就期待立刻出現收錄變化。