做蜘蛛池入口頁时,经常有人問:連結上加了 nofollow,搜尋蜘蛛是不是就不跟了?這個問题没有一句话的答案,它取决于 nofollow 加在哪一层,以及搜尋引擎具体怎么處理它。
nofollow 原本管的是什么
nofollow 最早是给“非自然連結”打标记用的,意思是“這個連結不是我推荐的,別把權重算過去”。也就是说,它主要影响權重传递,而不是直接决定“能不能被抓到”。這一点在入口頁场景里非常關键:你要的是目标 URL 被發現,而不是權重。
两種寫法,影响完全不同
頁面級:head 里的 meta robots nofollow
寫在入口頁的 head 中,等于告诉搜尋引擎“本頁所有連結都別跟”。這種情况下,搜尋蜘蛛可能仍會抓取入口頁本身,但不保證會沿着里面的連結繼續走。對蜘蛛池来说,這基本等于自断鏈路,除非你還有其他入口頁在承担同样的任務。
連結級:單個 a 标簽上的 rel=nofollow
只给個別連結加,理论上其他連結不受影响。入口頁上那些你不想被跟的連結,比如後台地址、临时跳轉、日誌頁,可以單獨加。但如果把目标 URL 也加上 nofollow,就等于把入口頁最核心的作用削掉了一半。
加了 nofollow 就一定不抓吗
不一定。搜尋引擎對 nofollow 的處理更接近“提示”而非“硬性命令”,不同引擎、不同时期的實現都有差异。實践中能观察到:加了 nofollow 的連結被抓取的概率确實會下降,下降幅度並不稳定,但通常不會直接降到零。
反過来说,也不能因為“偶尔還能被抓”就把 nofollow 当無物。蜘蛛池的價值在于稳定、持續地让搜尋引擎發現目标 URL,用這種“可能抓、可能不抓”的方式去赌,性價比很低。
入口頁常见的几種誤用
- 整頁 nofollow:入口頁唯一的任務就是暴露連結,整頁加 nofollow 等于把任務目标取消了。
- 给全部目标連結加 nofollow:表面上是控制權重流向,實际上是降低 URL 被發現的机會。
- 只给外鏈加,忘了站内頁面:如果目标 URL 和入口頁在同一站点下,nofollow 會拦住本该顺畅的爬取路径。
- 以為 nofollow 能防爬:它拦不住蜘蛛来抓,也不解决内容质量問题,只是减少一部分传播。
實际该怎么設定
- 入口頁上指向目标 URL 的連結,預設不加 nofollow。
- 确實不想被跟的連結,比如測試頁、带敏感參數的頁面、無意义的跳轉,單獨加 rel=nofollow。
- 不要用頁面級 meta nofollow 来省事,它對整個入口頁的連結發現都是负面信号。
- 如果确實要限制某個目錄被抓,用 robots.txt 更直接,而不是靠 nofollow 绕。
- 調整後观察服務器日誌里搜尋蜘蛛的抓取量變化,再决定是否繼續改,不要凭感觉一次性把全部入口頁都動一遍。
nofollow 管的是“我不推荐這個連結”,不是“別来抓這個連結”。分不清這两件事,是蜘蛛池入口頁最常见的失誤之一。
最後提醒:無论加不加 nofollow,都不能保證目标 URL 一定被抓取或被收錄。入口頁能做的只是把發現路径铺顺,剩下的取决于目标頁本身的质量、站点整体状况以及搜尋引擎自己的調度策略。