先说结论：nofollow 是提示，不是绝對禁令
不少人在搭建蜘蛛池入口頁时，會给外鏈统一加上 rel="nofollow"，理由是不想把權重分出去。但随之而来的疑問是：加了 nofollow，搜尋蜘蛛還會不會顺着這條連結去抓目标 URL？
這里要拆成两层看。第一层是“能不能發現”，第二层是“會不會抓取”。nofollow 主要影响的是權重传递和連結關系的認定，並不是在物理上切断爬虫的行走路径。主流搜尋引擎對 nofollow 的處理，已经從早期的硬性指令逐步演變為“提示”，也就是说，它有可能仍然抓取這條連結指向的頁面，也有可能不抓，取决于该 URL 本身的重要程度、歷史抓取记錄以及站点整体质量。
不同搜尋引擎的處理並不一致
Google 從 2019 年起把 nofollow、ugc、sponsored 统一归為提示信号，官方說明里也提到，這類連結通常不會作為發現新 URL 的主要途径，但在判断某個頁面值不值得抓取时仍可能跟進。相比之下，百度等搜尋引擎對 nofollow 的處理相對保守，很多时候确實會直接跳過。
這意味着：如果蜘蛛池的唯一目的就是让搜尋蜘蛛發現目标 URL，那么给入口頁連結加 nofollow，等于在削弱發現路径。這不會带来惩罚，但大概率是白投一场。
哪些 nofollow 會真的挡住抓取
要注意区分几種寫法，它們的力度完全不同：
- 連結級 rel="nofollow"：作用范围最小，只针對單條連結，通常只是减少權重传递。
- 頁面級 meta robots="nofollow"：作用于整頁所有連結，相当于告诉搜尋引擎“這頁上的連結都別跟”，入口頁一旦這么寫，整頁投放基本失效。
- HTTP 响應头 X-Robots-Tag: nofollow：常见于 PDF、图片等非 HTML 资源，容易被忽略，但效果與頁面級一致。
- robots.txt 的 disallow：這才是真正意义上的物理拦截，和 nofollow 是两碼事，很多投放失敗其實是踩了這一條。
投放前的自查清單
- 查看入口頁 HTML 源碼中每條目标連結，確認没有被模板批量加上 rel="nofollow"。
- 检查頁面 head 区域是否存在 meta robots nofollow，尤其是主题或 CMS 自動生成的預設值。
- 用响應头查看工具確認返回头里没有 X-Robots-Tag: nofollow。
- 核對 robots.txt 是否誤伤了入口頁或目标路径所在目錄。
- 確認連結是可直接抓取的 a 标簽 href，而不是依赖点击或 JS 执行才生成的地址。
如果你确實不想传递權重
一個折中做法是把入口頁和真正的權重頁面分開：入口頁承担 URL 發現职责，連結保持可跟随；需要控制權重流向的站内連結，再單獨加 nofollow 或 ugc。這样两件事就不會互相打架。
nofollow 不是隐身衣，它管不住抓取，只管得住權重。想让搜尋蜘蛛發現 URL，就別在發現路径上设绊子。
最後提醒一句，連結能否被抓取、抓取後是否被收錄，本来就是两件獨立的事。URL 被發現只是起点，頁面质量、站点整体信任度和抓取预算，才决定後面會發生什么。