在搭建蜘蛛池入口頁时,很多人會纠结一個問题:連結要不要加 rel="nofollow"。加了怕搜尋蜘蛛不去抓目标 URL,不加又担心被当成刻意堆連結。這里把几種常见情况分開说清楚。
nofollow 現在更像提示,不是刹车
早期 nofollow 基本等于告诉搜尋引擎“別跟這個連結”。但從 2019 年前後開始,Google 明确把它改成一種提示(hint),Bing 也采用類似的處理思路:搜尋引擎會把它作為參考,而不是硬性指令。
- 連結仍可能被搜尋蜘蛛抓取,尤其当目标 URL 在別處也出現過时。
- 它主要影响的是權重传递和信任信号,而不是“能不能被發現”。
- 不同引擎、不同版本的策略並不一致,所以不能把它当成可靠的開關。
结论:加了 nofollow 不等于目标 URL 一定不會被抓,但也不代表抓取行為完全不受影响。把它理解成“降低優先級”更接近現實。
真正阻断抓取的是 robots.txt,不是 nofollow
如果目的是不让搜尋蜘蛛訪問某個 URL,robots.txt 的 Disallow 才是硬性限制。两者作用点不同:
- robots.txt:阻止抓取,連結可以被發現但不會被訪問。
- nofollow:允许抓取,只是表示“這個連結不是我推荐的”。
- noindex:允许抓取,但要求不要把頁面放進索引结果。
實际运营里,入口頁如果直接用 robots.txt 屏蔽整個目錄,里面所有目标 URL 的發現都會一起受影响,這個代價比给單條連結加 nofollow 大得多。
入口頁連結整頁 nofollow 會怎样
最常见的情况是入口頁本身内容很少,几乎全是外鏈,于是整頁連結都加 nofollow。通常會出現這些現象:
- 搜尋蜘蛛依然可能抓取入口頁,偶尔也會跟過去几個連結,但抓取频率和深入程度往往下降。
- 入口頁作為“發現入口”的價值被削弱,目标 URL 更依赖 sitemap、其他頁面或外部連結被發現。
- 如果某個目标 URL 只在這個入口頁出現過,被發現的概率會明顯變低。
所以,如果入口頁存在的唯一目的就是让搜尋蜘蛛發現目标 URL,整頁 nofollow 基本是自相矛盾的。
比 nofollow 更值得留意的几個细节
- 連結能否被正常解析:用 a 标簽寫 href,比 JS 拼接、纯文本 URL 更容易被發現。
- 入口頁有没有基本内容:全是連結的頁面容易被当成低质量頁面,抓取预算會被压缩。
- 目标站响應狀態:即使搜尋蜘蛛跟過去了,目标 URL 返回 404 或 5xx,這一轮抓取也没有意义。
- 入口站整体抓取情况:入口站本身很少被訪問,無论加不加 nofollow,抓取频率都不會高。
實用建议
如果只是不想给某個連結传递權重,但又需要它承担發現目标 URL 的作用,可以這样處理:
- 入口頁正文里的核心連結保持正常可跟随,不加 nofollow。
- 侧栏、頁脚、广告位等重复出現的連結按需處理,不必一刀切。
- 不要指望用 nofollow 来“隐藏”連結,搜尋引擎分析連結不只看這一個属性。
- 定期看服務器日誌,確認入口頁和目标 URL 是否真的被訪問過,用資料判断,而不是靠猜测。
總的来说,nofollow 更像一個弱提示,它會影响搜尋蜘蛛對連結的重视程度,但通常不會完全切断發現路径。要评估效果,還是以日誌里的實际抓取记錄為准。