给蜘蛛池入口頁的連結加上 rel=nofollow，是不少站長的习惯做法：既想让搜尋蜘蛛顺着入口頁爬到目标 URL，又不想让入口頁把權重導出去。但這一步加上之後，很多人會發現日誌里的抓取记錄變得看不懂——目标 URL 有时被抓，有时完全不出現。nofollow 不是開關，它更像一個提示，而且不同搜尋引擎對提示的采纳程度差別很大。
先把發現和抓取分開看
一個 URL 從入口頁到最终被抓，要经過两個环节：
- 發現：搜尋蜘蛛讀取入口頁 HTML，從超連結里提取出目标 URL，放進待抓队列。
- 抓取：蜘蛛根據队列里的 URL 發出請求，拿到目标站点的响應。
nofollow 主要影响的是第二個环节的意愿，但它並不等于刪除連結。蜘蛛解析 HTML 时，連結本身仍然是一段可提取的地址，很多引擎仍會把這個 URL 记下来，只是降低優先級或不做權重传递。所以嚴格说，加了 nofollow 後 URL 仍可能被發現，只是抓取不被保證。
不同搜尋引擎的差別
- Google：2019 年起把 nofollow 明确為一種提示（hint），可能忽略、也可能跟随。用于發現 URL 的情况仍然常见，但優先級與權重传递會受影响。
- Bing：同样把 nofollow 视為信号而非硬性指令，實际抓取行為還與站点整体质量、連結所在上下文有關。
- 百度：官方對 nofollow 的支持一直比較含糊，實践中不少站点反馈加了 nofollow 的連結依然會被抓取。把它当成阻止抓取的手段，風險很大。
也就是说，如果你的目标是让蜘蛛發現並抓取目标 URL，入口頁連結加 nofollow 是在给自己增加不确定性，而不是一個稳定的控制手段。
加了 nofollow 後常见的两種誤判
- 目标 URL 没被抓，就归因于 nofollow。更常见的原因其實是對應蜘蛛根本没来、入口頁本身没被抓，或者目标站响應太慢、返回 5xx。
- 目标 URL 被抓了，就認為 nofollow 没用。可能只是蜘蛛把這行 HTML 按普通連結解析了，並不代表連結關系按你预期走。
什么时候才值得用 nofollow
nofollow 更适合用在你不希望蜘蛛浪費時間、也不希望形成連結關系的地方，例如：
- 入口頁上的站外广告位、合作互換連結；
- 用戶可自行提交的评论区、留言板連結；
- 與主题無關、只想收集 URL 的临时跳轉頁。
如果目的就是让目标 URL 被稳定發現，入口頁上的這條連結最好不要随手加 nofollow。想控制權重传递，可以在連結上做更明确的關系标注；想彻底阻止抓取，則應使用 robots.txt 或目标頁的 meta robots，同时注意 noindex 是允许抓取但不索引，與 robots.txt 的 disallow 是两回事。
排查时按這個顺序走
- 查看入口頁源碼，確認 nofollow 是否真的輸出、有没有被模板或脚本覆盖改寫。
- 對比服務器日誌里搜尋蜘蛛 IP 的請求记錄，看是只抓入口頁没抓目标，還是连入口頁都很少来。
- 單獨检查目标 URL 的可訪問性、响應碼、robots.txt 與 meta robots 設定。
- 如果想測試 nofollow 的影响，做小范围對照更靠谱：同一個目标 URL 分別放在带 nofollow 和不带 nofollow 的入口頁上，观察一段時間的日誌，而不是凭單次抓取下结论。
一句话總结：nofollow 影响的是連結關系和抓取意愿，不是 URL 能否被發現。入口頁連結加不加它，取决于你想要的是發現，還是控制權重；想靠它精确控制搜尋蜘蛛的行為，通常達不到预期。