站点規模上来之後，很多人會遇到同一種現象：服務器日誌里蜘蛛一直在訪問，但新發布的頁面迟迟不進索引。這时把問题归到“權重不够”往往没有帮助，更實际的切入点是抓取预算的分配——蜘蛛每天愿意花在你這站上的請求次數是有限的，這些次數被谁用掉了，直接决定了新 URL 什么时候能排到。
抓取预算不是配額，而是優先級的博弈
搜尋引擎不會给某個站点一個固定數字，它是根據站点規模、更新频率、响應速度、歷史抓取收益等動態調整的。你能控制的部分，主要是让每次抓取都落在有價值的 URL 上，而不是让蜘蛛在一堆低價值頁面里空轉。
先分清三類占用
- 無效占用：404、410、软 404、被屏蔽但連結仍大量存在的地址，蜘蛛反复撞墙。
- 低價值占用：站内搜尋頁、篩選參數组合頁、分頁深翻、重复的打印或排序版本。
- 有效占用：真正需要被收錄的詳情頁、栏目頁，以及承担連結分發作用的枢纽頁。
排查时不要只看請求總數，把日誌按這三類分组統計請求量，往往一眼就能看出問题出在哪一類。
分頁與篩選頁怎么處理
這類頁面没有统一答案。如果它們确實有獨立價值，比如形成有意义的聚合，可以保留並控制入口；如果只是為了浏览便利，屏蔽抓取或加 noindex 都可行，但要保證規范 URL 仍能被抓到，避免把整段内容一起挡掉。
核對顺序
- 確認 robots.txt 里没有因為屏蔽目錄而制造出大量被拦截的抓取請求。
- 看响應碼分布，把重定向鏈路過長、5xx 間歇出現的 URL 先收口。
- 检查内鏈是否把蜘蛛大量導向參數頁、排序頁和站内搜尋结果頁。
- 核對站点地图，只保留需要收錄的規范 URL，避免把低價值地址送進發現队列。
- 確認重要新頁面距离首頁的点击深度，是否比低價值頁面更深。
站点地图與提交接口的位置
站点地图的作用是加快發現，而不是提升優先級。它的價值在于告诉蜘蛛“這里有新東西”，但如果文件里塞满了重复地址和已下线地址，反而會消耗抓取次數。提交接口同理，适合用来通知真正新增或更新的頁面，不适合当作日常批量推送工具。
蜘蛛愿意来，不等于愿意把预算花在你希望被收錄的那批 URL 上。發現和抓取之間，還隔着一层優先級排序。
如果日誌顯示蜘蛛大部分時間都在訪問分頁和篩選頁，那么先收紧這些頁面的入口，比反复提交站点地图更有效。
判断是否好轉看什么
不要只看收錄總量。可以對比两個指标：一是新 URL 從上线到首次被抓取的平均間隔，二是日誌中有效 URL 的請求占比。
当有效占比上升、首次抓取間隔缩短时，說明预算分配在往好的方向走，收錄變化通常會滞後一段時間出現。
最後提醒一句，抓取预算的調整是渐進過程，做完收口後需要观察一段時間的日誌才能判断效果，短期内出現波動属于正常現象。