站点的抓取額度不是無限的。搜尋蜘蛛在一個站点上愿意花多少請求，取决于它能從這里拿到多少新内容、站点响應有多快，以及有多少重复入口在分散注意力。抓取预算做不好，表現往往不是“完全不抓”，而是重要頁面很久不更新，低價值頁面却被反复掃描。

抓取预算由两個變量决定

一個變量是抓取需求，也就是搜尋引擎認為這個站点值得投入多少资源，跟内容更新频率、歷史抓取效果有關；另一個變量是抓取容量，受服務器响應時間、错誤率、並發承载能力限制。两者相乘，才是實际能拿到的抓取次數。很多人只盯着“蜘蛛来了几次”，忽略了服務器端變慢會让同样的額度缩水。

哪些 URL 在悄悄消耗額度

• 带參數的篩選、排序、會话 ID 地址，内容几乎相同却各自占一次抓取；
• 站内搜尋结果頁、日歷頁、标簽聚合頁，能無限生成新地址；
• 已经 404 或長期返回 5xx 的歷史地址，被反复重试；
• 分頁很深的列表頁，翻到後几十頁早已没有新連結；
• 同一内容的多套地址（www 與非 www、带斜杠與不带斜杠）未做归一。

這些地址本身不一定“错”，問题在于它們對 URL 發現的贡献很低，却按正常頁面消耗抓取次數。

把額度留给有抓取價值的頁面

1. 明确入口優先級

首頁、栏目頁、更新列表這些承担 URL 發現职能的頁面，應该保持在浅层、可快速返回，並且内容變化时确實更新。蜘蛛在這些頁面上花的時間，通常回报最高。

2. 收敛地址形態

用 301 把重复地址归到唯一版本，用 canonical 表明首選地址，用 robots.txt 屏蔽确實不需要抓取的路径。屏蔽是最後一步，先確認這些地址真的不會带来新 URL。

3. 让服務器稳定優先于功能丰富

响應時間從 200ms 拖到 2s，同样的抓取額度能覆盖的頁面數量會明顯下降。抓取高峰期的資料库查询、動態渲染、第三方脚本，都可能让蜘蛛等在那里。

用日誌看額度花在了哪

把一段時間内的蜘蛛日誌按目錄、狀態碼、URL 形態分類統計，通常能看到額度分布和预期不一致的地方：某類參數頁占了很大比例，或者某個栏目几乎没被訪問。調整内鏈權重、屏蔽規則、Sitemap 里的重点 URL，再观察下一周期的日誌，比凭感觉猜测更可靠。

抓取预算不是“越多越好”，而是让每次抓取都對應一個可能被發現的新 URL，或一次有效的内容复查。

最後提醒一点：不要指望通過某種技巧让蜘蛛無限增加訪問量。真正能改善抓取的，是站点结构清晰、响應稳定、内容确有更新。這三件事同时成立时，額度自然會流向该去的地方。