在蜘蛛池投放和入口頁布置里，rel="nofollow" 是最容易被誤用的属性之一。很多人听说 nofollow 可以“控制權重流向”，就顺手给入口頁里的目标連結加上，随後又開始担心：搜尋蜘蛛是不是就不會發現這些 URL 了？要回答這個問题，需要先把“發現 URL”和“传递權重”這两件事分開看。
nofollow 声明的到底是什么
nofollow 最早的作用是告诉搜尋引擎：這個連結不是編輯推荐，別把它当成投票。它约束的是權重和信任的传递，而不是“禁止訪問”。換句话说，加了 nofollow 的連結，目标地址依然寫在 HTML 里，爬虫解析頁面时照样能讀到 href 的值。
所以從技術角度看，nofollow 不等于 noindex，也不等于 robots.txt 屏蔽。它通常不會阻止連結被發現，只是降低了對该連結的抓取意愿和信号传递。
主流搜尋引擎現在的實际處理
Google 在 2019 年把 nofollow 從“指令”降級為“提示”，意思是它不再保證一定不跟進，只是作為一個參考信号。Bing 的说法也接近。也就是说，即便加了 nofollow，Google 仍然可能抓取该 URL，尤其是在它從別的地方也看到過這個地址的时候。
但這種“可能”不能当成确定性来依赖。實际观察中，被 nofollow 的連結，抓取優先級通常低于普通可跟随連結，首次發現時間可能被拉長，抓取频次也可能更低。對于主要靠入口頁做 URL 發現的投放来说，這個差別並不小。
容易被忽略的几種“削弱發現”寫法
除了單條連結的 nofollow，入口頁里還有一些寫法會让搜尋蜘蛛對目标 URL 的兴趣下降，而且经常和 nofollow 同时出現：
- rel="nofollow sponsored" 或 "ugc"：语义更明确的标记，同样属于提示性质，權重传递基本不計入。
- 連結外层包一层 JS 跳轉：href 寫成 javascript:void(0)，真實地址放在 onclick 里，爬虫可能讀不到目标 URL。
- 用 meta robots nofollow 控制整頁：整頁所有出鏈都被标记，影响范围比單條連結大得多。
- X-Robots-Tag: nofollow：通過 HTTP 响應头下發，覆盖范围和優先級都容易被忽略。
其中整頁 nofollow 最需要小心，一條設定會同时影响頁面上所有目标連結的發現優先級，排查时很容易漏掉。
投放时怎么處理更稳妥
- 面向 URL 發現的入口頁，不要加 nofollow。既然目的就是让爬虫讀到並跟進目标地址，就没必要人為設定阻力。
- 检查是否存在全局規則。模板、CMS 插件、CDN 配置都可能自動给外鏈加 nofollow，改完單頁後還要確認没有被整体覆盖。
- 把 nofollow 用在真正需要的地方。比如用戶留言、广告位、不可控的第三方連結，而不是自己的目标 URL。
- 多通道並行。入口頁連結、sitemap、主動提交各管一段，不要把所有希望压在一個属性上。
一個常见的誤区是：给連結加 nofollow 来“控制爬虫只抓我想抓的頁面”。實际结果往往相反——你既没控制住抓取，又降低了目标 URL 被發現的概率。
结论
加了 nofollow 的連結，搜尋蜘蛛依然可能讀到並抓取目标 URL，但被發現的速度和優先級通常會打折扣。如果入口頁的作用就是做 URL 發現，正确做法是保持連結干净可跟随，把 nofollow 留给真正不需要传递信号的场景。同时也要记住，属性設定只是影响抓取的一個因素，目标 URL 最终能否被收錄，還要看頁面本身的内容质量和站点整体表現。