站点 URL 數量上到几萬、几十萬之後，很多人會發現：蜘蛛每天来的次數不少，但落在自己關心的頁面上却没几個。這個时候谈“抓取配額”比較贴切——它不是搜尋引擎给你的一個固定數字，而是爬虫在有限资源下對整站做出的時間與請求分配。理解它的分配逻辑，比盯着某一天的抓取總量更有用。
抓取配額受什么影响
- 站点規模與歷史抓取回报：長期返回有效内容、结构稳定的站点，通常能拿到更稳定的抓取频率。
- 响應速度與错誤率：5xx、超时、体积過大的响應，都會让一次抓取白白浪費。
- 頁面更新频率：经常更新的栏目會被更频繁地回訪，一年不動的内容頁回訪間隔會拉長。
- URL 的重复程度：同一個頁面存在多個可訪問地址，等于每次抓取都在重复取同一份内容。
哪些 URL 在悄悄消耗配額
多數被浪費的抓取集中在自動生成、對收錄没有帮助的路径上。
- 站内搜尋结果頁，以及排序、篩選參數组合出来的地址。
- 同一内容的多個版本：大小寫混用、带與不带结尾斜杠、http 與 https 並存、www 與非 www 並存。
- 日歷、标簽、作者归档這類没有獨到内容的聚合頁。
- 分頁翻到很深的列表頁，後面几頁往往只剩少量條目。
優先照顾哪几類頁面
有收錄價值的頁面
判断标准很朴素：這個頁面是否有獨立主题、稳定 URL、被人從站内点進来的路径。满足這几点的頁面，值得把配額留出来。
新發布且需要被發現的頁面
新頁面如果没有任何内鏈指向，只能靠站点地图或外鏈被發現，抓取優先級通常排在後面。發布时顺手在相關的老頁面里加一條連結，成本很低，效果比反复提交更稳。
站点的入口類頁面
频道頁、分類頁承担着向下传递抓取的作用。它們如果本身没有被稳定抓取，下面几层的頁面也就很难被及时回訪。
减少無效消耗的几種做法
- 先做 URL 規范：确定每個頁面唯一可訪問的地址，其余版本用重定向指向它。
- 把不需要收錄的路径從發現入口里拿掉，而不是只靠 noindex 拦。已经進入抓取队列的 URL，noindex 只能阻止它進索引，抓取請求本身照样發生。
- 站点地图只放需要收錄的 URL，不要把篩選頁、搜尋结果頁全塞進去。
- 控制响應時間，避免大体积、無必要的资源拖慢整站。
- 在重要的老頁面里补内鏈，让爬虫顺着連結走到新内容。
抓取配額没有一個可以精确查询的數值，只能從日誌和後台統計里看趋势：某個目錄的抓取占比是否合理，重要頁面的回訪間隔有没有缩短。
怎么判断調整有没有效果
建议按目錄或頁面類型分组看抓取資料，而不是只看整站總量。整站抓取量上涨，可能只是垃圾 URL 被多抓了几次；反過来，總量不變但内容頁占比提高，才是更有意义的信号。同时對照索引狀態：抓取次數增加却始终進不了索引的頁面，問题多半在頁面质量或重复度上，繼續加抓取也解决不了。
把抓取当成分给全站的有限资源来安排，先收拾重复 URL，再把入口頁和新增内容排在前面，通常是见效比較快的一條路径。