做蜘蛛池时经常有人问:入口页上的目标链接要不要加 nofollow?加了之后搜索蜘蛛还会不会跟过去?这个问题没有一句话的答案,因为 nofollow 管的是“权重和信任信号怎么传”,不是“能不能被发现”。这两件事经常被混在一起谈。
nofollow 到底约束了什么
rel="nofollow" 最早的含义是:这个链接不是我推荐的,别把权重算过去。它从来不是“禁止抓取”的开关,禁止抓取应该用 robots.txt 的 Disallow,或者 meta robots 里的 nofollow——这两个 nofollow 名字一样,作用完全不同,很容易搞混。
后来的变化更值得知道:Google 在 2019 年把 nofollow 从“指令”改成“提示”,Bing 也有类似处理。也就是说,爬虫看到 nofollow 链接时,仍然可能把它当成一条发现线索,只是不保证传递权重,也不保证一定去抓。
在蜘蛛池场景里,加 nofollow 值不值
蜘蛛池入口页通常只有一个目的:让搜索蜘蛛顺着链接发现目标 URL。这个场景本来就没打算传递权重,所以加 nofollow 等于主动放弃一项本来有用的东西。
- 链接被 nofollow 后,目标 URL 少了一条常规发现路径,只能靠 sitemap、主动提交或者别的入口页补上。
- 入口页如果大量链接都带 nofollow,可能被当作低质量链接页,抓取优先级下降。
- 入口页本来就多、链接本来就密,再叠一层 nofollow,整体效果往往更差。
用 nofollow 控制抓取预算,方向反了
还有一种做法:入口页里链接太多,怕抓不完,于是给一部分加 nofollow,想让搜索蜘蛛“集中抓重要的”。这个思路在搜索结果页、分页上有时能用,但在蜘蛛池入口页上不成立——入口页里并没有所谓“不重要”的链接,每一条目标 URL 都希望被发现。真想控制抓取预算,应该减少单个入口页的链接数量、拆成多个入口页,而不是靠 nofollow 挑挑拣拣。
什么情况下加 nofollow 才算合理
比较少见的场景是:入口页同时承载正常内容和其他站点的推广链接,为了避免整页看起来像链接农场,会给外部推广链接加 nofollow。这种处理是合理的。但如果加 nofollow 的对象恰好就是你想让搜索蜘蛛发现的目标 URL,那就自相矛盾了。
怎么验证实际影响
- 拿一小批入口页做对照:一部分目标链接加 nofollow,一部分不加,其他条件尽量保持一致。
- 连续观察两三周抓取日志,比较目标 URL 被发现的数量和时间差。
- 对比时把 sitemap、主动提交等渠道的干扰排除掉,否则数据没法归因。
日志里看到搜索蜘蛛访问了目标 URL,不等于它会被收录。抓取发现和进入索引是两件事,入口页能帮上的主要是前者。
小结
入口页上的目标链接,默认不加 nofollow 更符合蜘蛛池的用途;如果加了,搜索蜘蛛仍有可能抓取,但及时性和概率通常更差,而且不同搜索引擎处理方式不一样,结果不稳定。与其在 nofollow 上纠结,不如把精力放在入口页响应速度、单页链接数量控制、入口页的多样性,以及 sitemap 和主动提交的配合上。