在做蜘蛛池和 URL 发现时，入口页上的链接属性经常被顺手加上 rel=nofollow。有人以为这样能控制权重流向，也有人担心加了之后搜索蜘蛛干脆不来。这里按实际抓取逻辑拆开说清楚。
nofollow 表达的是不背书，不是不许抓
rel=nofollow 最初的含义是：这个链接不是站长主动推荐的，出了问题别算在页面头上。它从来没有被定义成搜索引擎禁止访问。所以从协议层面看，加了 nofollow 的链接，目标 URL 依然存在于 HTML 里，依然能被解析出来。
真正受影响的是链接的信任度和权重传递，而 URL 发现属于另一条链路：解析、入队、抓取。这两件事不是一回事，混在一起判断就容易得出错误结论。
各搜索引擎的实际处理并不一致
- Google：nofollow 现在被当作一种提示，链接仍可能被爬取，只是不用于排名信号。
- Bing、Yandex 等：历史上的处理更接近硬性忽略链接关系，但页面里出现的 URL 仍可能被提取后进入抓取队列。
- 国内搜索引擎：各家实现差别较大，公开说明有限，实操上更依赖服务器日志验证。
结论很简单：没有哪家会承诺带 nofollow 的链接一定不抓，也没有哪家承诺一定抓。这是一个概率和优先级问题，不是开关。
什么时候它照样会被抓
- 入口页是站点首页或抓取频率较高的页面，抓取预算充足，解析出的 URL 都会被排队。
- 目标 URL 已经在别处出现过，比如 sitemap、其他入口页或外链，这次只是重复发现。
- 搜索引擎为了判断链接质量，需要先抓一次目标页做校验。
什么时候影响比较明显
- 入口页本身抓取频率低，页面链接又多，爬虫会优先跟进可信任的链接。
- 全站入口页的目标链接统一加 nofollow，等于把主要的发现通道标记成低优先级。
- 单个页面里存在大量 nofollow 链接时，队列排序整体会被压低。
蜘蛛池场景下的现实建议
- 如果入口页的核心任务就是 URL 发现，不要在这批目标链接上批量加 nofollow，那是自己给自己降优先级。
- 如果确实需要控制部分导出链接，只在少数不相关的外链上加，不要全站统一处理。
- 用日志验证，而不是靠猜。对比加与不加的两组入口页，看目标 URL 首次被抓的时间差和抓取次数。
- 入口页数量、链接出现的位置、锚文本的多样性，这些因素对 URL 发现的影响通常比 nofollow 更大，正文内的链接通常比页脚更受关注。
几个常见误区
误区一：加了 nofollow 蜘蛛就不来了。多数情况下它还是会来，只是排序更靠后、间隔更长。
误区二：去掉 nofollow 收录就稳了。URL 发现只是第一步，能不能被收录还取决于内容质量、重复度和站点整体情况，中间没有必然关系。
误区三：nofollow 是个开关。它是提示，不同引擎给的权重不同，表现是渐进的，不是非黑即白。
判断 nofollow 有没有影响，最靠得住的证据是服务器日志里目标 URL 的首次抓取时间和抓取频率，而不是各种据说。
小结
带 rel=nofollow 的链接，目标 URL 通常仍有机会被搜索蜘蛛发现和抓取，但优先级可能被降低，在入口页链接数量大、站点抓取频率一般的情况下更明显。做蜘蛛池时，如果入口页承担的就是 URL 发现任务，就别在目标链接上批量加 nofollow；把精力放在入口页可达性、链接位置和日志验证上，得到的结果会更确定。