把目标連結寫進入口頁,是 URL 發現里最常见的一步。但不少人在編輯器里會顺手勾上 nofollow,理由通常是“怕分散權重”或者“怕被当成連結农场”。于是就出現一個問题:加了 nofollow 的連結,搜尋蜘蛛還會不會跟過去抓目标 URL?
先分清 nofollow 作用在哪一层
nofollow 是寫在 a 标簽上的属性,作用對象是“這一條連結”,不是整張頁面。它和頁面級的 meta robots noindex 完全是两回事。noindex 是让搜尋引擎不要把這張頁面收進索引;nofollow 只是表達“我不為這條連結的指向背书”。
換句话说,入口頁本身能不能被抓取、被索引,基本不受影响,變化只發生在這一條連結上。
它到底影响了什么
- 影响的是信号传递,也就是這條連結算不算一張推荐票。
- 它不等于“禁止抓取”。主流搜尋引擎早已不把它当硬指令,而是当成一種提示来處理。
- 被發現和被抓取是两件事。連結被标成 nofollow,不代表那個 URL 從此不會進入待抓队列。
那搜尋蜘蛛還會不會抓
會,但不是一定會。常见情况大致是這样:
- 如果目标 URL 只靠這條 nofollow 連結才能被發現,被抓的概率會明顯下降,因為它失去了一個明确的推荐信号,優先級容易被压低。
- 如果目标 URL 同时還有 sitemap、外鏈、其它入口頁的正常連結指向,那抓取主要来自這些渠道,這條 nofollow 連結的影响就有限。
- 如果目标 URL 本来就在索引里,搜尋引擎會按自己的更新节奏来抓,與這條連結是否 nofollow 關系不大。
所以更准确的说法是:nofollow 不會让搜尋蜘蛛“看不见”,但會让它“没那么想去看”。
几種常见寫法的實际表現
- rel=nofollow:最常见,表示不背书。抓取仍可能發生,但發現的推力變弱。
- rel=sponsored:用于付費、广告類連結,性质接近 nofollow。
- rel=ugc:用戶生成内容里的連結,同样属于不背书信号。
- 不加任何属性:最直接的“這里有一個值得看的 URL”。
如果你的入口頁本来就是為了让目标 URL 更快被發現,這三種属性相当于一邊铺路,一邊立牌子说這條路不用看。
什么时候该用,什么时候別用
该用的场景:頁面里有用戶留言、广告位、不可控的第三方連結,你确實不想為它們背书,這时候用 nofollow 是合理的。
不该用的场景:你专门做入口頁、就是為了给目标 URL 多加一條發現路径。此时再加 nofollow,只會削弱這條路径的作用。
一個简單的判断标准:這條連結的存在目的,是“让搜尋蜘蛛發現目标 URL”,還是“告诉搜尋引擎我不為它负责”。如果是前者,就不要用 nofollow。
怎么確認自己的入口頁有没有這個問题
- 打開入口頁查看源代碼,搜尋 nofollow、sponsored、ugc 這几個词。
- 如果是模板批量生成的,要检查模板本身,而不是只看某一個頁面。
- 確認目标 URL 是否還有其它發現渠道:sitemap、站内連結、其它入口頁。
- 观察抓取日誌,看目标 URL 是否長期没有记錄。如果長期没有,先把正常連結和 sitemap 补上,再對比後續變化。
最後提醒一句:nofollow 只是众多影响因素之一。日誌里没有抓取记錄,往往還有別的断点,別把問题全归到這一個属性上。逐項排查,比一次性改一堆設定更容易看清效果。