先说一個容易被混淆的前提
在蜘蛛池入口頁里，發現（Discovery）和權重传递（Signal）是两件分開的事。發現指的是搜尋蜘蛛顺着連結找到那個 URL 並把它放進待抓取队列；權重传递指的是這條連結算不算一次推荐。rel="nofollow" 從设計之初针對的都是後面這一层，它並不是一個「禁止蜘蛛訪問」的開關。
所以入口頁里的目标 URL 加了 nofollow，通常不會让蜘蛛完全看不见它，但很可能让這條連結在權重計算上打折扣。這两件事被混為一谈，是入口頁最常见的誤解。
主流搜尋引擎對 nofollow 的實际態度
Google 從 2019 年起把 nofollow 從「指令」降級為「提示（hint）」，同时引入了 sponsored 和 ugc 两個属性。官方說明里提到，加了 nofollow 的連結仍然可能被抓取，用于發現新 URL。換句话说，發現大概率還在，權重传递不保證。
Bing
Bing 同样把 nofollow 视為提示，會结合連結上下文和頁面整体情况判断，仍然可能爬取该連結，只是不把它当作推荐信号。
百度
百度對 nofollow 的公開說明一直比較模糊，歷史上更倾向于把它理解為「不传递權重」。但爬虫是否訪問、多久訪問一次，還要看頁面质量、站点整体表現和抓取配額。把它当成「蜘蛛禁止通行」的标识来用，往往會落空。
把 nofollow 当作屏蔽蜘蛛的工具，是蜘蛛池入口頁里代價最高的一種誤用。
哪些情况下 nofollow 确實會削弱 URL 發現
- 頁面級 nofollow：在 meta robots 里寫 nofollow，作用在整個頁面上，頁面上所有連結的跟随提示都被削弱，影响遠大于單條連結。
- 連結位置本来就差：比如全部堆在頁脚、重复導航或大段無關文本里，蜘蛛原本就倾向于跳過，再加 nofollow，被放弃的概率明顯上升。
- 入口頁整体抓取配額偏低：配額本来就少的时候，蜘蛛只會挑一部分連結抓，nofollow 會让它更早出局。
- 連結由 JS 渲染：渲染本身就存在不确定性，再叠加 nofollow，等于双重削弱。
入口頁里几種常见寫法的区別
- 單條連結寫 rel="nofollow"：提示不传递權重，但仍可能被發現。
- 寫 rel="sponsored"：用于付費或广告性质的連結，同属提示類。
- 寫 rel="ugc"：用于用戶生成内容里的連結，比如评论区。
- 整頁 meta robots 寫 nofollow：影响面最大，入口頁一般不建议這么用。
注意這几個属性都不是「抓取開關」。真正想让某個 URL 不被抓，工具是 robots.txt 或頁面級 noindex，而且這两個的适用场景也完全不同。
如果目标是让蜘蛛發現，该怎么處理
- 入口頁的核心任務是把蜘蛛引到目标 URL 上，所以希望被發現的連結不要统一加 nofollow，至少保留一部分普通連結。
- 只是不想传递權重，可以局部加 nofollow，但要接受「權重信号弱、發現仍然可能發生」這個结果。
- 連結位置尽量分散，不要全部集中在頁脚或同一段重复文本里，蜘蛛覆盖面會更完整。
- 入口頁本身要能正常打開、响應別太慢，否則 nofollow 還没起作用，蜘蛛就已经走了。
怎么驗證蜘蛛到底有没有来
- 查服務器訪問日誌，按爬虫 UA 過滤，確認目标 URL 有没有被訪問過的记錄。
- 看站長平台的連結报告，nofollow 連結通常會被單獨列出，可以對比「被發現的連結」和「被跟随的連結」两组資料。
- 如果只有入口頁被抓、目标 URL 完全没有訪問痕迹，問题多半不在 nofollow，而在抓取配額、响應速度或連結位置。
最後提醒一句：日誌和工具能證明的只是「蜘蛛到訪過」，它和「被收錄」之間還有一段距离。發現只是第一步，收錄與否還要看内容本身、站点整体表現和竞争情况，没有任何一個属性設定能保證结果。