在蜘蛛池入口頁里,经常能看到有人给外鏈统一加上 rel=“nofollow”。加的理由大多是怕被判断成作弊,或者不想把權重传出去。但很多人並不清楚:加了 nofollow 之後,搜尋蜘蛛到底還能不能發現這些目标 URL?简單说,大多數情况下仍然能發現,但接下来會不會抓取、會不會传递信号,就不一定了。
nofollow 管的是信号,不是“看不看得见”
nofollow 是寫在 a 标簽上的一個属性,含义是:這個連結不算投票,不要传递權重。搜尋引擎解析頁面时,第一步是把 HTML 里所有 href 抽出来,這一步和有没有 nofollow 關系不大——連結只要寫在 HTML 里,就形成了一個可被發現的 URL 字符串。
Google 在 2019 年把 nofollow 從“指令”改成了“提示”,也就是说它會结合上下文自行决定怎么處理。百度對 nofollow 的支持一向比較有限,官方也多次說明這個属性並不是嚴格指令。所以指望靠一個属性去精确控制搜尋蜘蛛的行為,本身就是不太可靠的思路。
發現、抓取、收錄是三件不同的事
發現:基本不受影响
連結出現在 HTML 源碼里,就會進入 URL 抽取环节。哪怕整頁連結都带 nofollow,搜尋蜘蛛依然能看到這些地址,只是它给這些 URL 排的優先級可能更低。
抓取:受影响,但不等于零
带 nofollow 的連結,搜尋引擎通常仍可能抓取,只是會把它当作參考信号,而不是必须跟着走的路径。如果入口頁上绝大多數連結都是 nofollow,爬虫分配给這個頁面的抓取预算很可能被压缩,回訪频率也會下降,間接影响目标 URL 被發現的效率。
權重與信任:影响最直接
真正被 nofollow 削掉的,是連結的推荐意义。如果你的目的只是让目标 URL 被看到,nofollow 的代價有限;如果還想让它获得正常的連結信号,那 nofollow 基本就把這條路堵上了。
什么情况下不建议加 nofollow
- 目标 URL 是自己运营的站点,希望被正常抓取和评估,加 nofollow 属于自我削弱。
- 入口頁本身就是為發現 URL 而存在,全站 nofollow 會让頁面價值進一步降低。
- 連結是可控的、内容相關的,没有理由把它排除在信号之外。
什么情况下可以加
- 連結指向不明来源的广告位、付費位置,属于行业惯例需要标注的场景。
- 頁面中确實存在大量不受控的第三方内容,只想展示不想背书。
- 短期測試:想對比加與不加时連結被抓取的比例差异,可以小范围试驗。
更實际的做法
- 先想清楚目的:是要被發現,還是要被正常评估。两個目标對應的做法完全不同。
- 不要整頁统一加 nofollow,按連結性质区分處理,可控連結就让它正常传递信号。
- 與其纠结 nofollow,不如改善入口頁本身:連結是否在 HTML 里可解析、頁面是否容易被訪問、是否存在大段脚本阻塞内容。
- 控制單頁連結數量,避免让爬虫在大量低價值連結里分散预算。
怎么確認到底有没有被抓
方法很朴素:看服務器訪問日誌里是否有搜尋蜘蛛的 UA 請求目标 URL,以及在搜尋平台的站長工具中观察連結报告和抓取統計。日誌里出現請求,只能說明抓取發生過,不代表一定收錄;日誌里長期没有請求,才說明發現或抓取环节出了問题。
结论:nofollow 主要影响的是信号传递和抓取優先級,而不是让搜尋蜘蛛“看不见”連結。把它当成開關来用,往往會誤判效果;把它当成提示来用,才比較接近實际。