站内链接的深度，决定了搜索蜘蛛要经过多少次跳转才能到达一个页面。层级越深，抓取路径越长，能分到的抓取次数通常越少，页面更新后被重新访问的间隔也容易被拉长。这不是某个开关的问题，而是抓取资源在站内分配的结果。
深度为什么会造成入口衰减
从入口页面出发，蜘蛛需要沿着一层层链接走下去。每加深一层，可分配的抓取资源就被上一层分摊一次。同时，站内链接也是页面之间互相推荐的通道，深层页面如果只被一两个页面链接，收到的推荐就非常有限。
- 跳转次数多，单次抓取周期内难以覆盖到全部深层页面；
- 链接来源单一，页面一旦被删链就容易变成孤岛；
- 深层页面多为列表翻页的产物，内容和上一层高度相似；
- 目录命名混乱时，容易出现同内容多路径的重复入口。
先把内链深度量出来
整理之前先要有一个基线。比较实用的做法是，把首页当作第 0 层，沿着站内链接做一次广度优先遍历，记录每个 URL 到首页的最短跳转次数，并按层级汇总。
- 导出全站 URL 列表，去重后作为对照表；
- 从首页开始抓站内链接，记录每个 URL 的首次发现层级；
- 按 1 层、2 层、3 层、4 层及以上分组，统计各组 URL 的数量与占比；
- 再取一份搜索蜘蛛的抓取日志，统计实际被抓页面的层级分布。
把两份数据放在一起看，如果某个层级的 URL 占比很高，但日志里几乎没有对应记录，就说明这些页面处于抓取路径的末端，值得优先调整。
常见的几种衰减形态
目录层级堆叠
例如把栏目、品类、子品类、筛选条件全部写进路径，一个普通内容页要经过四五层目录。可以尝试缩短最终页面的路径，或者用更扁平的栏目结构来承载。
只靠页脚或侧栏批量链接
页脚的全站链接看起来覆盖面广，但位置固定、数量庞大，实际能传递的推荐有限。更稳的方式是在相关内容页里做上下文链接，让链接出现在正文附近。
翻页链中断
列表分页只提供“下一页”，不提供页码或其他跳转入口，旧的分页页面很快就没人再链过去。给列表补上页码，或让分页链保持可回退。
入口依赖交互
需要点击、加载、登录后才出现的链接，对蜘蛛来说约等于不存在。能直接输出的链接尽量直接输出。
整理内链结构的顺序
- 先修断链和重定向链，避免把抓取浪费在中间跳转上；
- 把重要页面提到两到三次跳转以内，能放进主导航或栏目首屏的不要藏在深处；
- 给深层页面补充上下文入口，优先选择内容相关、且本身被抓取较频繁的页面；
- 收敛重复路径，统一一种规范写法，减少同一内容的多入口；
- 最后处理分页与筛选链接，控制可抓取范围。
Sitemap 与内链的配合
Sitemap 可以补充内链覆盖不到的入口，但它不能替代内链。比较合理的分工是：内链负责主要抓取路径和页面之间的关系，Sitemap 用来补齐新页面、深层页面和更新较少的页面。两者指向的 URL 应当保持一致，避免同一页面出现两种写法。
观察调整后的变化
调整完成后，不需要每天盯着数字。可以按周统计各层级的抓取次数和下载字节，观察深层页面的抓取是否增加、状态码是否稳定。变化通常需要一段时间才会体现，期间保持结构稳定比继续改动更有价值。
内链深度只是影响抓取的一个因素，服务器响应、内容质量和更新频率同样起作用。本文提到的做法是排查方向，不构成对收录结果或抓取量的保证。