常见问题

入口页链接加了 nofollow,搜索蜘蛛还会发现并抓取目标 URL 吗

在蜘蛛池入口页给外链加 nofollow 是很常见的操作,但它影响的主要是信号传递,而不是搜索蜘蛛“看不看得见”这个链接。本文拆开讲 nofollow 在 URL 发现、抓取、权重传递三个环节里各自的真实作用,说明百度与 Google 处理方式的差别,并给出什么时候该加、什么时候不该加,以及用日志和平台工具验证的简单方法。

常见问题

入口页链接加了 nofollow,搜索蜘蛛还会发现并抓取目标 URL 吗

在蜘蛛池入口页里,经常能看到有人给外链统一加上 rel=“nofollow”。加的理由大多是怕被判断成作弊,或者不想把权重传出去。但很多人并不清楚:加了 nofollow 之后,搜索蜘蛛到底还能不能发现这些目标 URL?简单说,大多数情况下仍然能发现,但接下来会不会抓取、会不会传递信号,就不一定了。

nofollow 管的是信号,不是“看不看得见”

nofollow 是写在 a 标签上的一个属性,含义是:这个链接不算投票,不要传递权重。搜索引擎解析页面时,第一步是把 HTML 里所有 href 抽出来,这一步和有没有 nofollow 关系不大——链接只要写在 HTML 里,就形成了一个可被发现的 URL 字符串。

Google 在 2019 年把 nofollow 从“指令”改成了“提示”,也就是说它会结合上下文自行决定怎么处理。百度对 nofollow 的支持一向比较有限,官方也多次说明这个属性并不是严格指令。所以指望靠一个属性去精确控制搜索蜘蛛的行为,本身就是不太可靠的思路。

发现、抓取、收录是三件不同的事

发现:基本不受影响

链接出现在 HTML 源码里,就会进入 URL 抽取环节。哪怕整页链接都带 nofollow,搜索蜘蛛依然能看到这些地址,只是它给这些 URL 排的优先级可能更低。

抓取:受影响,但不等于零

带 nofollow 的链接,搜索引擎通常仍可能抓取,只是会把它当作参考信号,而不是必须跟着走的路径。如果入口页上绝大多数链接都是 nofollow,爬虫分配给这个页面的抓取预算很可能被压缩,回访频率也会下降,间接影响目标 URL 被发现的效率。

权重与信任:影响最直接

真正被 nofollow 削掉的,是链接的推荐意义。如果你的目的只是让目标 URL 被看到,nofollow 的代价有限;如果还想让它获得正常的链接信号,那 nofollow 基本就把这条路堵上了。

什么情况下不建议加 nofollow

  • 目标 URL 是自己运营的站点,希望被正常抓取和评估,加 nofollow 属于自我削弱。
  • 入口页本身就是为发现 URL 而存在,全站 nofollow 会让页面价值进一步降低。
  • 链接是可控的、内容相关的,没有理由把它排除在信号之外。

什么情况下可以加

  • 链接指向不明来源的广告位、付费位置,属于行业惯例需要标注的场景。
  • 页面中确实存在大量不受控的第三方内容,只想展示不想背书。
  • 短期测试:想对比加与不加时链接被抓取的比例差异,可以小范围试验。

更实际的做法

  1. 先想清楚目的:是要被发现,还是要被正常评估。两个目标对应的做法完全不同。
  2. 不要整页统一加 nofollow,按链接性质区分处理,可控链接就让它正常传递信号。
  3. 与其纠结 nofollow,不如改善入口页本身:链接是否在 HTML 里可解析、页面是否容易被访问、是否存在大段脚本阻塞内容。
  4. 控制单页链接数量,避免让爬虫在大量低价值链接里分散预算。

怎么确认到底有没有被抓

方法很朴素:看服务器访问日志里是否有搜索蜘蛛的 UA 请求目标 URL,以及在搜索平台的站长工具中观察链接报告和抓取统计。日志里出现请求,只能说明抓取发生过,不代表一定收录;日志里长期没有请求,才说明发现或抓取环节出了问题。

结论:nofollow 主要影响的是信号传递和抓取优先级,而不是让搜索蜘蛛“看不见”链接。把它当成开关来用,往往会误判效果;把它当成提示来用,才比较接近实际。