在蜘蛛池入口頁上布連結时,经常有人纠结要不要给連結加 rel="nofollow"。有人担心加了之後搜尋蜘蛛就不来了,也有人觉得不加會分散權重。這两種担心其實混了两件事:URL 發現和權重传递。
nofollow 原本在说什么
nofollow 最早的语义是「這個連結不是我推荐的」,它针對的是權重和信任的传递,而不是「這個地址不存在」。連結依然是一個可解析的 href,搜尋蜘蛛在解析 HTML 时照样能看到目标地址。
後来主流搜尋引擎陆續把 nofollow 從「指令」改成了「提示」。也就是说,搜尋引擎可以采纳,也可以不采纳,具体行為由各家自己决定,並且可能随時間調整。所以它並不是一把能彻底關掉連結的開關。
發現和传递是两回事
對 URL 發現的影响
從解析层面看,一個带 nofollow 的普通 a 标簽,和普通連結在 HTML 里没有本质区別,蜘蛛抓取入口頁时同样能拿到 href 里的地址。是否繼續請求這個地址,取决于搜尋引擎的策略、頁面的抓取预算,以及目标地址本身的表現。
對權重和收錄的影响
即使搜尋蜘蛛顺着連結訪問了目标URL,也不代表這個頁面就會被收錄或获得排名。抓取、收錄、排序是三個獨立环节,nofollow 更多作用于後两者。把「蜘蛛来没来」当成「能不能收錄」的同义词,是最常见的誤判。
不同搜尋引擎的處理差异
Google 對 nofollow 的態度是当作提示,所以它仍可能用于發現新地址;Bing 的表述接近,但细节有差別;百度對 nofollow 的支持一直比較含糊,公開文档不多,實际表現也不稳定。如果蜘蛛池入口頁的目的就是让搜尋蜘蛛看到目标URL,就不要把结果押在對某一家解释的猜测上。
蜘蛛池入口頁的實际寫法建议
- 如果目的只是让蜘蛛發現目标URL,用不加 nofollow 的普通連結最省事,语义也最清楚。
- 如果入口頁上同时還挂着大量不想被跟的站外連結,可以只给那些加 nofollow,把注意力集中到目标URL上。
- 不要一邊给目标URL的連結加 nofollow,一邊期待它被抓取,這是在跟自己的目的較劲。
- 锚文本寫具体一些,別整頁都是「点击這里」「查看更多」。
- 不必為了 nofollow 特意改成按钮、JS 跳轉或图片連結,那只會多出一层解析环节,反而增加不确定性。
怎么核對搜尋蜘蛛到底来没来
看入口頁的服務器日誌或 CDN 日誌,過滤常见搜尋蜘蛛的 UA,確認它是否請求過入口頁,以及有没有繼續請求目标URL。要注意 UA 可以伪造,重要结论最好配合反向 DNS 或 IP 归属做校驗。
如果日誌里入口頁被訪問過,但目标URL一直没動静,先检查目标URL自身返回的狀態碼、响應時間,以及是否被 robots.txt 或登入墙挡住,再回头怀疑連結寫法。
nofollow 影响的是「我推荐不推荐」,不是「這里有没有連結」。把這两件事分開看,很多纠结自然就消失了。
几個容易踩的坑
- 把 nofollow 和 noindex 混為一谈——noindex 管的是頁面本身能否進入索引。
- 图省事给整個入口頁的連結统一加 nofollow,连目标URL一起带上。
- 以為加了 nofollow 就等于「隐身」,入口頁不會被抓、連結也不會被看到。
- 把某一次观察到的结果,当成永久不變的規律。
最後提醒一点:蜘蛛池能影响的只是被發現的机會,它决定不了目标URL會不會被收錄、排名如何。目标站自身的内容质量、服務器稳定性、robots 與站点结构設定,才是更值得花時間的地方。