先分清发现、抓取和收录
搜索引擎处理一个 URL,大致要经过三步:先通过某种路径发现它,再安排爬虫去抓取它,最后判断内容是否值得进入索引。内链主要影响的是第一步,并且会持续影响后续的回访频率。常见的情况是:页面并没有被屏蔽,服务器也正常,只是长期没人链过去,爬虫就很难稳定地遇到它。
外链、sitemap、日志回捞都能带来发现机会,但内链是站内最可控的一环。它不需要等别人给链接,改动当天就能生效。
链接深度:从首页点几下能到
链接深度指的是从首页出发,最少点几次能到达某个页面。深度越浅,页面被爬虫顺路访问的次数通常越多;越深,就越依赖上一级页面是否被抓取、是否更新。
深度多少算合适
- 重要栏目和核心页面,尽量控制在三次点击之内。
- 真正有独立价值的详情页,四到五次点击通常还能接受。
- 如果必须点七八次才能到达,且没有其他入口,这类页面被漏掉的概率会明显上升。
检查深度不要只凭感觉。可以用站内搜索、爬虫工具抓一遍链接结构,或者从服务器日志里挑几天数据,看爬虫实际访问了哪些层级、哪些目录长期没有足迹。日志反映的是真实抓取情况,比结构图更可靠。
锚文本:链接文字也在说明页面主题
锚文本是链接的可点击文字。它一方面告诉用户点下去会看到什么,另一方面也向搜索引擎提示目标页面的内容方向。
常见的问题写法包括:全站统一使用“点击这里”“了解更多”“详情”,或者把链接挂在纯图片、图标、按钮脚本上,导致没有可读文字。还有一种情况是同一批页面互相链来链去,只用“上一页”“下一页”这类无差别文字,目标页面之间很难被区分开。
更实用的做法是让链接文字简短描述目标页的主题,同一目标页在不同位置可以略有变化,但不要为了堆词把它写成一句完整的关键词长句。锚文本自然、多样、能读通,比整齐划一更有价值。
全站链接是把双刃剑
导航、侧栏和页脚的链接出现在每一个页面上,发现效率很高,但数量一旦失控,副作用也很直接。
- 页脚堆几十上百条链接,会让每个页面都“指向所有地方”,重点反而不突出。
- 把大量低价值页面塞进全站导航,会持续消耗抓取资源。
- 全站链接指向的页面若经常变动,容易让爬虫反复回访无实质变化的 URL。
比较稳妥的做法是:导航保留主要栏目,页脚只留少量必要入口,其余页面靠正文内的相关内容链接去被发现。重要页面可以从多个相关页面自然地被链到,而不是靠全站铺开。
新页面上线后,内链可以这样铺
- 在所属栏目列表或聚合页里给出入口,确保它至少有一条稳定路径。
- 从两三篇主题相近的旧文章正文里加一条指向它的链接。
- 如果页面属于系列内容,补齐前后篇互链。
- 确认新链接不是通过脚本渲染后才出现,避免抓取时看不到。
- 过几天看日志,确认爬虫是否已经访问过该 URL。
一份内链自查清单
- 核心页面是否能从首页三次点击内到达。
- 是否存在完全没有内链入口的页面。
- 是否有大量页面只靠“更多”“详情”这类通用锚文本被链接。
- 导航和页脚的链接数量是否过于庞大。
- 内链指向的 URL 是否与 canonical 声明一致,有无跳转链、参数链混用。
- 日志里是否有重要目录长期没有抓取记录。
内链能改善的是“被发现”和“被反复访问”的条件,它不保证一定被抓取,也不保证一定被收录。把链接结构理顺、让重要页面有清晰入口,是运营中相对确定、成本也较低的一步。