常见问题

入口页的链接加了 nofollow,搜索蜘蛛还会去抓目标 URL 吗?

入口页的目标链接被加了 nofollow,搜索蜘蛛还会不会跟过去抓?本文先说明 nofollow 作用在链接层而不是页面层,再讲清它影响的是信号传递而非硬性禁止抓取,最后给出常见写法的实际表现、该用与不该用的场景,以及自查入口页的具体步骤。

常见问题

入口页的链接加了 nofollow,搜索蜘蛛还会去抓目标 URL 吗?

把目标链接写进入口页,是 URL 发现里最常见的一步。但不少人在编辑器里会顺手勾上 nofollow,理由通常是“怕分散权重”或者“怕被当成链接农场”。于是就出现一个问题:加了 nofollow 的链接,搜索蜘蛛还会不会跟过去抓目标 URL?

先分清 nofollow 作用在哪一层

nofollow 是写在 a 标签上的属性,作用对象是“这一条链接”,不是整张页面。它和页面级的 meta robots noindex 完全是两回事。noindex 是让搜索引擎不要把这张页面收进索引;nofollow 只是表达“我不为这条链接的指向背书”。

换句话说,入口页本身能不能被抓取、被索引,基本不受影响,变化只发生在这一条链接上。

它到底影响了什么

  • 影响的是信号传递,也就是这条链接算不算一张推荐票。
  • 它不等于“禁止抓取”。主流搜索引擎早已不把它当硬指令,而是当成一种提示来处理。
  • 被发现和被抓取是两件事。链接被标成 nofollow,不代表那个 URL 从此不会进入待抓队列。

那搜索蜘蛛还会不会抓

会,但不是一定会。常见情况大致是这样:

  1. 如果目标 URL 只靠这条 nofollow 链接才能被发现,被抓的概率会明显下降,因为它失去了一个明确的推荐信号,优先级容易被压低。
  2. 如果目标 URL 同时还有 sitemap、外链、其它入口页的正常链接指向,那抓取主要来自这些渠道,这条 nofollow 链接的影响就有限。
  3. 如果目标 URL 本来就在索引里,搜索引擎会按自己的更新节奏来抓,与这条链接是否 nofollow 关系不大。

所以更准确的说法是:nofollow 不会让搜索蜘蛛“看不见”,但会让它“没那么想去看”。

几种常见写法的实际表现

  • rel=nofollow:最常见,表示不背书。抓取仍可能发生,但发现的推力变弱。
  • rel=sponsored:用于付费、广告类链接,性质接近 nofollow。
  • rel=ugc:用户生成内容里的链接,同样属于不背书信号。
  • 不加任何属性:最直接的“这里有一个值得看的 URL”。

如果你的入口页本来就是为了让目标 URL 更快被发现,这三种属性相当于一边铺路,一边立牌子说这条路不用看。

什么时候该用,什么时候别用

该用的场景:页面里有用户留言、广告位、不可控的第三方链接,你确实不想为它们背书,这时候用 nofollow 是合理的。

不该用的场景:你专门做入口页、就是为了给目标 URL 多加一条发现路径。此时再加 nofollow,只会削弱这条路径的作用。

一个简单的判断标准:这条链接的存在目的,是“让搜索蜘蛛发现目标 URL”,还是“告诉搜索引擎我不为它负责”。如果是前者,就不要用 nofollow。

怎么确认自己的入口页有没有这个问题

  1. 打开入口页查看源代码,搜索 nofollow、sponsored、ugc 这几个词。
  2. 如果是模板批量生成的,要检查模板本身,而不是只看某一个页面。
  3. 确认目标 URL 是否还有其它发现渠道:sitemap、站内链接、其它入口页。
  4. 观察抓取日志,看目标 URL 是否长期没有记录。如果长期没有,先把正常链接和 sitemap 补上,再对比后续变化。

最后提醒一句:nofollow 只是众多影响因素之一。日志里没有抓取记录,往往还有别的断点,别把问题全归到这一个属性上。逐项排查,比一次性改一堆设置更容易看清效果。