站点規模一大，运营常會遇到一種错觉：内容發得越多，收錄應该越快。實际情况往往相反——新頁面迟迟不被抓取，舊頁面反而被反复訪問。這背後多半是抓取预算在起作用。
抓取预算由什么决定
抓取预算可以粗略理解為搜尋引擎愿意花在一個站点上的抓取资源。它不是一個固定配額，而是由站点体量、更新频率、服務器响應能力、頁面质量共同影响的结果。通常有两层含义：一是抓取速率上限，受服務器承载能力约束；二是抓取需求，取决于站内有多少值得抓的 URL。
两者之間是動態平衡的。站点响應快、内容變化多，蜘蛛愿意来的次數就多；响應慢、URL 大量重复或低價值，抓取就會被压缩。
先確認是否真的缺抓取
不是所有“新頁面收錄慢”都是抓取预算問题。先做几項基本判断：
- 服務器日誌里，蜘蛛對重要栏目的訪問频次是否明顯低于對參數頁、标簽頁的訪問；
- 新發布頁面的首次抓取時間是否從几小时變成了几天甚至更久；
- 站点是否在短期内新增了大量结构相似的頁面，比如篩選结果、空结果頁、重复列表；
- 頁面响應時間是否在高峰段明顯變長，出現 5xx 或超时。
如果這几項都指向“抓取量大但产出低”，才值得進入優化流程。
常见的抓取浪費
- 參數组合泛滥：篩選、排序、分頁參數自由拼接，同一批内容生成大量 URL。
- 重复内容：同一篇文章挂在多個栏目下，各自有獨立 URL 且没有規范化處理。
- 空结果與薄頁面：站内搜尋頁、無内容的标簽頁被内鏈大量暴露。
- 重定向鏈：一次跳轉變多次跳轉，蜘蛛每多走一步就多消耗一次請求。
- 资源拖慢渲染：大图、同步脚本阻塞，蜘蛛等待渲染的時間被浪費。
把抓取引到重要頁面
- 收敛 URL：對參數頁做規則限制或規范化，让同一内容只有一個可抓地址。
- 控制内鏈曝光：導航、面包屑、頁脚這些全局連結，優先指向栏目和核心頁面，而不是最新的低價值頁。
- 用站点地图补充：把真正希望被抓的頁面放進 XML 站点地图，保持更新，並只放規范 URL。
- 提升响應速度：压缩图片、啟用缓存、减少首屏阻塞资源，让單次抓取更高效。
- 定期清理：已下线内容做 301、410 處理，避免長期留在可抓狀態。
几個容易做過头的地方
抓取预算的調整是减法優先的活。有些做法看起来有效，實际收益有限，甚至會带来副作用。
把大量頁面直接屏蔽抓取，短期日誌會好看，但被屏蔽的頁面如果仍有外鏈或搜尋需求，可能造成流量流失。屏蔽之前先確認這些頁面是否真的没有價值。
- 频繁調整 robots.txt 會让人工排查變得困难，改動應记錄時間点。
- 為了“省抓取”而减少内鏈，可能让頁面變成孤儿，反而更慢被發現。
- 站点規模不大时，抓取预算往往不是瓶颈，優先解决内容质量和结构問题。
观察與迭代
做完調整後，用两個月左右的日誌對比：重要栏目的抓取频次是否上升，新頁面的首次抓取時間是否缩短，重复 URL 的抓取占比是否下降。抓取预算没有一劳永逸的方案，它跟着站点结构、内容节奏和服務器狀態一起變化，定期复盘比一次性大改更實用。