站点的抓取预算不是平台给固定配额，而是蜘蛛在单位时间内愿意花在某个站上的请求次数。页面深度，也就是从首页出发需要点击几次才能到达，会直接影响这些请求落在哪些 URL 上。当目录层级过深、列表页翻页过多时，预算会被大量中间层页面吃掉，真正需要更新的详情页反而迟迟排不上一次回访。
页面深度怎么定义和记录
通常把首页记为第 0 层，主导航指向的栏目页为第 1 层，栏目下的列表为第 2 层，详情页为第 3 层，再往下如标签页、归档页、相关推荐继续累加。
记录时不要只算静态目录层级，还要算“链接可达层级”。同一篇内容可能从首页推荐位一层可达，也可能只能从三级目录绕进去，取最短路径更接近蜘蛛实际的选择依据。
从日志量化深度分布
- 按 URL 路径规则给页型归类：栏目页、列表页（含分页）、详情页、标签聚合页；
- 统计每类 URL 的独立抓取次数与回访间隔，而不是只看总请求量；
- 借助 referrer 判断蜘蛛是从哪一层爬进来的，确认入口层级；
- 抽查深层详情页，看是否长期只有一次抓取、之后再无回访。
这一步的目的是找出预算被谁消耗。比较常见的结果是：列表页和分页 URL 占了总请求的一半以上，详情页只占很小一部分。
典型的预算错配
- 分页没有上限，翻页一直到底部，每页都生成独立 URL；
- 筛选与排序参数在列表页上叠加，入口数量成倍膨胀；
- 归档页、标签页、日历页把深层详情挤到队列后面；
- 首页与栏目页堆叠大量推荐位，同一批 URL 被反复抓取；
- 详情页之间只有“上一篇／下一篇”，缺少横向链接。
调整顺序
- 先收缩低价值入口：给分页设置合理上限，参数组合页用 robots 或 nofollow 收敛；
- 把重要详情页提到浅层：在首页或栏目页保留固定入口区块，并保持链接位置稳定；
- 在详情页之间补充相关链接，让蜘蛛不必每次回到列表页再出发；
- 核对 Sitemap 中的深层 URL 是否与站内可达路径一致，避免只提交却无内链支撑；
- 最后确认服务器稳定性，5xx 与超时会直接吃掉预算，深度优化做得再好也会被抵消。
内链位置对优先级的影响
同一层级的两个链接，位置不同效果也不同。正文首屏内的链接、列表页前几条的链接，通常比页脚、侧栏滚动区域的链接更容易被跟随。整理内链时可以先保证重点栏目在首屏有稳定入口，再考虑补充其他位置，而不是一次性把链接铺满全站。
抓取预算的调整属于长期观察项，改动后通常需要几周才能在日志上看到趋势变化，不建议用一两次抓取波动就下结论。
观察与验证
- 详情页从首次抓取到回访的间隔是否缩短；
- 列表页请求占比是否下降、详情页占比是否上升；
- 深层页面是否开始出现零星抓取，而不是长期只集中在头部内容；
- 调整期内服务器响应是否稳定，是否出现集中 5xx。
页面深度决定蜘蛛到达内容需要付出的成本，抓取预算决定它愿意付多少次。把层级压浅、把入口收敛、把低价值 URL 控制住，通常比反复提交 Sitemap 更有实际意义。需要说明的是，以上做法只是提高被发现和被回访的概率，并不构成收录或排名的保证。