站点里同时做了 Sitemap 提交和内链铺设，但抓取日志里翻来覆去还是那几个页面，新上线的长尾内容迟迟等不到访问，这是很常见的现象。原因往往不是蜘蛛不来了，而是可用的抓取次数被分散消耗在了重复、低价值的 URL 上。
先分清两件事：入口覆盖与抓取次数
Sitemap 提供的是候选 URL 清单，内链提供的是实际可到达的路径和相对权重信号。两者有重叠，但作用并不相同。提交 Sitemap 不等于蜘蛛会逐一访问，内链铺得密也不等于每一层都会被走到。真正影响页面能否被抓的，是它在站点可承受的抓取次数中的排序位置。
抓取次数不是某个固定配额数字，更像是描述在给定响应速度下能完成多少访问的一种说法。重点是把有限的抓取落在有价值的 URL 上。
三种常见的抓取分散情形
1. 同一内容存在多个 URL 形态
带参数、带大小写差异、带结尾斜杠变体的地址同时出现在 Sitemap 和内链里，会各自占用一次抓取机会。先做规范化，再统一出口，能减少一部分无效访问。
2. 低价值页面占据多数内链出口
标签页、筛选组合页、分页面的上一页下一页链在列表页上占了很多链接位置，深层正文页反而没有稳定入口。链接位是有限的，需要按价值排序。
3. Sitemap 里塞入大量低优先级 URL
把全站历史页、归档页一次性放进同一个 Sitemap，重要页面的信号容易被稀释。按栏目、按时效拆分，把更新频繁、需要尽快发现的页面单独成片，后续也更好核对。
核对顺序
- 从服务器日志取一段完整周期，建议至少 7 天，筛选出蜘蛛访问记录。
- 按目录聚合抓取次数，与各目录实际页面数做比例对照，找出抓得多但页数少、页数多却几乎不抓的两端。
- 检查这些被抓取的 URL 中，有多少是参数页、重复页、空状态页。
- 对比 Sitemap 中的 URL 数量与内链可到达的 URL 数量，寻找明显缺口或重叠。
- 确认这些页面的平均响应时间和错误比例，慢和报错会直接压低访问节奏。
内链侧的调整要点
- 把更新频繁的栏目放在浅层，固定入口位置，不依赖随机推荐模块。
- 列表页出口优先给正文页，筛选、排序类链接尽量收敛成可控参数。
- 检查导航与页脚是否长期指向同一批旧页面，避免占据全部出口。
- 分页较深的列表，考虑提供可直达的聚合入口，而不是只靠逐页翻。
Sitemap 侧的调整要点
- 只收录规范化后的可访问 URL，不含跳转地址和错误状态地址。
- lastmod 与页面实际更新时间保持一致，长期不变的内容不必频繁改时间戳。
- 单片控制在合理规模，分片入口彼此独立、路径清晰。
- 把 Sitemap 当作补充入口，而不是承接全部 URL 的堆放区。
观察哪些指标
建议每 1 到 2 周看一次趋势，而不是盯着单日数字：每日抓取次数、抓取在各目录的分布、新 URL 从上线到首次被抓的间隔、超时与 5xx 占比、平均响应时间。调整之后至少留出两个观察周期，再判断是否真的起了作用。
抓取预算的调整很少有一步到位的做法，更多是把明显的重复和低价值出口一点点收掉，让入口结构变得更清晰。当内链出口和 Sitemap 描述的是同一批有价值的 URL 时，抓取自然会更容易落在需要的位置上。