蜘蛛进入一个站点后,除了 Sitemap 和外部链接,绝大多数新 URL 是顺着页面上的链接一层层走下去的。站内链接模块看起来很多,但真正承担“带路”职责的主要是三类:全局导航、面包屑和正文内链。它们出现的位置不同,能触达的页面范围也不同。如果混在一起看,很容易得出“内链已经做得很全”的错觉,实际却发现某些深层页几个月都没有被走到。
全局导航:覆盖面最广,信息量最薄
导航通常出现在每个页面的同一位置,因此它是站内被重复次数最多的链接模块。好处是稳定:只要页面被抓到,导航里的链接就一定会被读到,深层页也就多了一次被发现的机会。
问题在于,导航的容量有限。为了不让首屏变乱,很多站点会把导航压缩成若干个一级栏目,最多再挂几个二级入口。结果就是导航能覆盖到的 URL 层次偏浅,再往下的详情页、标签页、历史归档页,导航基本不参与。
另一个常见情况是导航里的链接指向的都是聚合页,聚合页本身内容稀薄,链接又少,蜘蛛走到这里就停住了。导航负责“铺面”,但不负责“往下钻”。
面包屑:给深层页补一条可回退的路
面包屑的价值常被低估。它出现在每个详情页上,天然连接了“当前页—上级分类—更上级分类—首页”这条链路。对蜘蛛来说,这意味着任何一个被抓到的深层页,都会把链接权重新送回它的上级分类页,让分类页有更多机会被重新抓取,从而继续发现新的详情页。
需要注意的是,面包屑的每一级最好都是真实可访问的链接,而不是纯文本。有些站点只把最后一级做成链接,前面几级用文字占位,这就等于把回退路径砍掉了一半,蜘蛛只能停在当前页。
另外,面包屑的层级不要为了好看而人为拉长。如果中间某级指向的是一个没有实际内容的占位页,蜘蛛走进去只会浪费一次抓取,对 URL 发现没有帮助。
正文内链:最容易被低估的发现通道
正文里的链接往往是发现新 URL 最有效的一类,因为它带着上下文。蜘蛛在判断一个链接是否值得跟进时,锚文本和周围文字是重要的参考。导航里写“更多”,正文里写“某型号电池的更换步骤”,后者显然指向更明确。
实际运营中,正文内链常见的两个极端:一是完全不加,文章写完就发,新页面只能等 Sitemap 或导航被重抓时才被发现;二是加得太随意,同一段里塞进五六个链接,锚文本全是“点击这里”,读起来磕绊,蜘蛛也拿不到有效信息。
更合理的做法是让正文内链承担“从老页到新页”的任务。新内容上线后,回到几篇主题相关、已经有稳定抓取记录的旧文里,补一条自然的内链。这条路径比等 Sitemap 重新被抓要直接得多。
三类链接怎么配合
- 导航负责站点主干,保证一级、二级栏目都能被稳定抓到,不追求覆盖全部 URL。
- 面包屑负责纵向连通,让每一个详情页都能回到分类,避免出现只有入口没有出口的断头路。
- 正文内链负责横向和新旧连接,把新上线的 URL 挂到已经活跃的页面上。
判断这三条路径是否走通,不用靠猜。直接在站内从首页出发,只用鼠标点击,看看能不能在三四次点击内到达你希望被发现的页面。如果连人工都要靠搜索框才能找到,蜘蛛走到的概率也不会高。
几个常被问到的问题
把链接全放进导航行不行
不行。导航能挂的链接数量受布局限制,全站几千个 URL 塞进去,既影响用户体验,也会让每个链接分到的关注被摊薄。导航适合放结构,不适合放清单。
面包屑要不要展示全部层级
按目录结构展示即可,不必把每个中间页都列出来。重点是每一级都真实可点,而不是层级堆得完整却断链。
正文内链加多少算合适
没有固定数字,判断标准是这条链接对读者有没有用。如果删掉它,读者会找不到相关信息,那它就值得留;如果只是为了堆数量,删掉反而更好。
链接不是越多越好,而是越连贯越好。蜘蛛能顺着一条清晰的路从入口走到深层页,比在几十个入口之间反复横跳更有意义。