入口頁通常是用模板批量生成的,模板里往往有一處统一的外鏈属性設定。有人习惯给所有目标連結加上 rel="nofollow",也有人担心加了之後搜尋蜘蛛就不去碰了。要把這件事说清楚,得把它拆成三個层面:這個属性本身表達什么、搜尋蜘蛛怎么處理它、以及最後目标 URL 有没有真的被抓到。
先把结论说在前面
nofollow 不是屏蔽開關。它不會像 robots.txt 里的 Disallow 那样禁止抓取,也不像 noindex 那样影响頁面是否進入索引。連結加了這個属性,頁面本身還是可以被訪問、被解析,連結地址也仍然有被發現的机會。它改變的更多是搜尋引擎對這個連結的“態度權重”,而不是“能不能看见”。
nofollow 表達的是不背书,不是別来抓
- 它最初的用途是告诉搜尋引擎:這個連結不是本站主動推荐或背书的,常见于评论、用戶投稿、广告位。
- 主流搜尋引擎現在普遍把它当作一種提示来對待,具体怎么采信、采信到什么程度,並不完全公開。
- 它和 robots.txt、noindex、X-Robots-Tag 這些“禁止類”手段不是一個层級的東西,混在一起理解容易走偏。
- 一個 URL 能不能被程序看见,主要取决于它所在的頁面有没有被抓取、被抓取的频率有多高、頁面里的連結是不是能被正常解析出来。
發現、抓取、收錄是三件事
很多人把這三件事合並成一句“被抓到了”,于是判断就乱了。發現是程序在某個頁面里看到了這個地址;抓取是它真的去請求了這個地址並拿到响應;收錄是抓取之後经過處理進入索引並可能出現在结果里。nofollow 主要影响的是中間那层传递,它對“發現”這一环的干扰,遠比很多人想象得小。反過来说,就算連結没加 nofollow,也不代表這個 URL 一定會被抓、一定會被收錄。
入口頁加了 nofollow,常见會出現几種情况
- 連結仍被解析出来,目标 URL 出現在抓取日誌里,只是频率和優先級可能受影响。
- 如果同一個目标 URL 在別的地方也以普通連結出現,那么它被發現的主要来源可能就變成了別處。
- 如果入口頁本身抓取频率很低,那加不加這個属性,差別本来就看不出来,瓶颈在入口頁自己身上。
- 如果入口頁數量很大、連結很集中,属性上的细微差別更容易在日誌里体現出节奏變化。
什么时候可以考虑加,什么时候没必要
- 連結来自用戶可編輯区域、广告位、付費位置时,按規范加 nofollow 是合理做法,這是在說明關系,不是在藏東西。
- 連結是你自己站点结构里主動给出的導航或内容引用,通常不加更符合语义。
- 如果你的目的只是“不想让某個地址被抓”,那應该用 robots.txt 或頁面級禁止手段,加 nofollow 達不到這個效果。
- 如果你的目的是“希望這個地址被更多看到”,那么把精力放在入口頁的可訪問性、更新频率、連結位置的可见性上,收益通常比纠结属性更直接。
怎么自己驗證一遍
- 對比入口頁的抓取记錄和目标 URL 的訪問记錄,看两者時間上是否接近,間隔是否稳定。
- 在入口頁里放一個已知地址做對照,一组加 nofollow、一组不加,观察日誌里两者出現频率有没有明顯差异。
- 把同一批目标 URL 同时通過站点地图或其他正常連結暴露一次,看發現渠道是不是被單一入口頁绑定。
- 用站長平台的抓取統計和 URL 检查工具交叉印證,不要只凭一次日誌下结论。
需要提醒的是:nofollow 不适合当作隐藏連結或隐藏頁面的手段,也不该被当成控制抓取的開關。想控制抓取,用 robots.txt;想控制收錄,用 noindex;想表達關系,才轮到 nofollow。
小结
入口頁的連結加不加 nofollow,影响的更多是搜尋引擎怎么理解這個連結的關系,而不是它能不能看见這個地址。真正决定目标 URL 命运的,是入口頁本身有没有被稳定抓取、連結能不能被正常解析、以及同一批地址是否還有別的發現渠道。把這几件事盯住,比反复調整一個属性更有意义。