站点里同时做了 Sitemap 提交和内鏈铺设，但抓取日誌里翻来覆去還是那几個頁面，新上线的長尾内容迟迟等不到訪問，這是很常见的現象。原因往往不是蜘蛛不来了，而是可用的抓取次數被分散消耗在了重复、低價值的 URL 上。
先分清两件事：入口覆盖與抓取次數
Sitemap 提供的是候選 URL 清單，内鏈提供的是實际可到達的路径和相對權重信号。两者有重叠，但作用並不相同。提交 Sitemap 不等于蜘蛛會逐一訪問，内鏈铺得密也不等于每一层都會被走到。真正影响頁面能否被抓的，是它在站点可承受的抓取次數中的排序位置。
抓取次數不是某個固定配額數字，更像是描述在给定响應速度下能完成多少訪問的一種说法。重点是把有限的抓取落在有價值的 URL 上。
三種常见的抓取分散情形
1. 同一内容存在多個 URL 形態
带參數、带大小寫差异、带结尾斜杠變体的地址同时出現在 Sitemap 和内鏈里，會各自占用一次抓取机會。先做規范化，再统一出口，能减少一部分無效訪問。
2. 低價值頁面占據多數内鏈出口
标簽頁、篩選组合頁、分頁面的上一頁下一頁鏈在列表頁上占了很多連結位置，深层正文頁反而没有稳定入口。連結位是有限的，需要按價值排序。
3. Sitemap 里塞入大量低優先級 URL
把全站歷史頁、归档頁一次性放進同一個 Sitemap，重要頁面的信号容易被稀释。按栏目、按时效拆分，把更新频繁、需要尽快發現的頁面單獨成片，後續也更好核對。
核對顺序
- 從服務器日誌取一段完整周期，建议至少 7 天，篩選出蜘蛛訪問记錄。
- 按目錄聚合抓取次數，與各目錄實际頁面數做比例對照，找出抓得多但頁數少、頁數多却几乎不抓的两端。
- 检查這些被抓取的 URL 中，有多少是參數頁、重复頁、空狀態頁。
- 對比 Sitemap 中的 URL 數量與内鏈可到達的 URL 數量，寻找明顯缺口或重叠。
- 確認這些頁面的平均响應時間和错誤比例，慢和报错會直接压低訪問节奏。
内鏈侧的調整要点
- 把更新频繁的栏目放在浅层，固定入口位置，不依赖随机推荐模块。
- 列表頁出口優先给正文頁，篩選、排序類連結尽量收敛成可控參數。
- 检查導航與頁脚是否長期指向同一批舊頁面，避免占據全部出口。
- 分頁較深的列表，考虑提供可直達的聚合入口，而不是只靠逐頁翻。
Sitemap 侧的調整要点
- 只收錄規范化後的可訪問 URL，不含跳轉地址和错誤狀態地址。
- lastmod 與頁面實际更新時間保持一致，長期不變的内容不必频繁改時間戳。
- 單片控制在合理規模，分片入口彼此獨立、路径清晰。
- 把 Sitemap 当作补充入口，而不是承接全部 URL 的堆放区。
观察哪些指标
建议每 1 到 2 周看一次趋势，而不是盯着單日數字：每日抓取次數、抓取在各目錄的分布、新 URL 從上线到首次被抓的間隔、超时與 5xx 占比、平均响應時間。調整之後至少留出两個观察周期，再判断是否真的起了作用。
抓取预算的調整很少有一步到位的做法，更多是把明顯的重复和低價值出口一点点收掉，让入口结构變得更清晰。当内鏈出口和 Sitemap 描述的是同一批有價值的 URL 时，抓取自然會更容易落在需要的位置上。