搜索抓取

链接在页面里的位置与 URL 发现:导航、正文、页脚各管什么

同一个链接,放在主导航、正文还是页脚,被搜索蜘蛛发现的速度可能不一样。这篇文章讲清楚页面内不同位置的链接各起什么作用:导航负责搭骨架,正文负责带出新地址,侧栏和页脚只是补充。同时整理了折叠菜单、JS 导航这些容易被忽略的位置问题,以及用源码和日志验证链接是否真的被看到的方法。

搜索抓取

链接在页面里的位置与 URL 发现:导航、正文、页脚各管什么

做站内链接的时候,很多人只关心“有没有链”,不太关心“链在哪儿”。但实际上,链接在页面里出现的位置,会直接影响搜索蜘蛛先看到哪些 URL、多久看到一次、以及愿不愿意顺着继续往下走。

蜘蛛是按 HTML 顺序读页面的

搜索蜘蛛拿到一个页面的 HTML 之后,是从上往下解析的。靠前的链接会先进入待抓取队列,靠后的链接排在后面。这不是说页脚链接不会被发现,而是它的处理顺序通常更靠后,遇到抓取预算紧张的时候,被推迟的概率也更高。

所以同样的两个链接,放在主导航和放在页脚最底部,被发现的节奏可能差不少。

主导航:抓取路径的骨架

全站导航出现在每个页面的固定位置,蜘蛛走到任何一个页面都能看到同一组入口,这组链接实际上构成了抓取路径的主干。栏目页、分类页、重要聚合页放在这里最合适。

  • 数量控制在合理范围,避免导航里塞进几十个链接
  • 层级清晰,一级栏目下面再展开二级,不要把所有入口平铺
  • 保持稳定,频繁改动导航会让蜘蛛重新摸索路径

正文链接:新 URL 最自然的出场方式

正文里的链接带着上下文,蜘蛛能顺着周围的文字判断这个地址大概讲什么,和目标页面的相关性通常比导航链接更明确。新发布的页面第一次被发现,很多时候就是靠正文里的一条引用。

比较实用的做法是:在系列文章、相关阅读、上一页下一页这类位置,把新地址链出去。既对用户有用,也给了蜘蛛一条明确的通道。

侧栏和页脚:补充,不是主力

侧栏和页脚是全站出现的,适合放一些常用入口,比如热门内容、帮助中心、站点地图页面。它们的作用是让蜘蛛在任意页面都有机会回到这些位置,而不是靠它们去发现全部新页面。

如果页脚堆了几百条链接,效果往往适得其反:链接越多,单条链接分到的关注度越少,而且页脚链接本身位置靠后,优先级本来就不高。

几个容易被忽略的位置问题

  • 靠 JS 插入的导航:如果导航是运行时才生成的,源码里没有对应的 a 标签,蜘蛛很可能看不到
  • 折叠菜单和标签页:内容默认收起、需要点击才展开的,链接不一定在初始 HTML 里
  • 正文中间穿插大量无关链接:会分散注意力,也不利于蜘蛛判断页面主题
  • 同一地址在页面里链了很多次:链接次数多不等于权重高,适当重复就够

怎么验证位置有没有起作用

最简单的办法是查看网页源代码,确认链接是不是真的写在 HTML 里,而不是等脚本执行后才出现。再结合服务器日志,看蜘蛛实际先抓了哪些地址,和你预期的入口是否一致。

链接位置不会直接决定收录,但它决定了蜘蛛到达一个新地址的路径是否顺畅。把重要入口放在蜘蛛容易先看到的位置,是一种成本很低的做法。