搜索抓取

链接周围的文字:锚文本与上下文怎样影响蜘蛛对 URL 的理解和抓取

锚文本和链接周围的文字,是蜘蛛理解一个 URL 的重要线索。本文说明链接里包含哪些抓取信息、哪些锚文本写法信息量过低,以及如何通过链接位置、上下文和内链一致性,让蜘蛛更顺利地判断链接指向什么内容。

搜索抓取

链接周围的文字:锚文本与上下文怎样影响蜘蛛对 URL 的理解和抓取

很多站点在做内链时只关心“有没有链接”,很少关心链接怎么写。结果页面上堆着大量“点击这里”“了解更多”“查看详情”,蜘蛛能看到 URL,但对这个 URL 是什么、值不值得优先抓,几乎没有额外信息。锚文本和链接周围的文字,就是用来补上这层信息的。

蜘蛛从一个链接里能读到什么

一个普通的 a 标签,在抓取阶段会被拆成几部分信息:

  • 目标地址本身,也就是 href 指向的 URL;
  • 可点击的文字,也就是锚文本;
  • 链接所在句子的前后文,这是最容易被忽视的一部分;
  • 链接在页面里的位置,导航、正文、页脚传递的含义并不相同;
  • 同一个 URL 在站内被链接了多少次,用的是什么文字。

这些信息不会决定一个 URL 能否被发现,但会影响蜘蛛对它的描述,以及后续再抓取时的判断。

锚文本不会让 URL 被“抓得更多”,但能减少误判

需要说明的是,锚文本不是抓取开关。写得好,不会让蜘蛛立刻多抓几百个页面;写得糊,也不会让页面彻底消失。它真正的作用是降低歧义:当一个页面同时存在几十个指向不同栏目、不同参数地址的链接时,清楚的锚文本能帮助蜘蛛区分它们是不是同一类内容,减少重复抓取和路径缠绕。

几类常见但信息量很低的锚文本

  • 点击这里 / 了解更多:任何页面都能用,等于没写;
  • 链接 / 原文 / 出处:只说明这是引用,不说明内容;
  • 孤零零的页码数字:分页可以用,但不写清是什么列表,容易和其他页混淆;
  • 关键词堆砌:把三四个词硬塞进一句,读起来不像人话,上下文也会被拉乱;
  • 同一目标页几十种说法:说法太散,反而不容易收敛成一个清晰主题。

写得更有信息量的几个做法

  1. 让锚文本本身就是目标页的主题词,比如“服务器响应时间排查”而不是“这篇”;
  2. 同一目标页在不同位置可以用略有差异但语义一致的说法,不要偏离太远;
  3. 把链接放进相关段落里,让周围句子自带上下文,而不是单独一行挂着;
  4. 列表页、聚合页的锚文本带上范围或条件,比如“早期归档文章”;
  5. 尽量少用纯图片做链接,确需图片时补上可读的替代文字。

链接位置和上下文,同样影响抓取判断

正文中的一条链接,通常比页脚里挤在一起的几十条链接更容易被当作“这个页面想推荐的内容”。同一段话里的链接,蜘蛛可以借助句子判断两者的关系;而导航和页脚的链接,更多是站点结构的一部分。把重要入口放在正文里,是一种更自然的做法。

一条链接的价值,不在于它出现在多少个页面上,而在于它出现在什么语境里、用什么文字描述。

和内链结构、Sitemap 保持一致

如果 Sitemap 里列了某个栏目页,站内却没有任何文字链提到它,蜘蛛只能靠 Sitemap 知道地址,缺少上下文;反过来,站内到处链接某个页面,Sitemap 里却没有,也不利于梳理完整清单。比较稳妥的状态是:重要页面既有内链入口,也在 Sitemap 中出现,且锚文本能说明它是什么。

上线前可以顺手检查的几项

  1. 抽查正文链接,看有多少是“点击这里”这类无信息锚文本;
  2. 检查重要页面是否有正文级入口,而不是只出现在页脚;
  3. 确认同一个页面的锚文本说法大致统一;
  4. 检查链接周围是否有足够文字说明,而不是孤立一行;
  5. 把内链、导航和 Sitemap 三者的页面清单对照一遍,找出只有其中一方知道的地址。

这些改动不会立刻带来明显变化,但它让蜘蛛在有限的时间里更容易判断“这个地址是干什么的”,对长期的抓取效率是有帮助的。