不少做站点运营的人會碰到一個阶段性現象：入口頁從几十個扩到几百上千個，日誌里的抓取量却没有同比上涨，甚至單個入口頁被訪問的次數還下降了。這通常不是搜尋引擎的临时波動，而是抓取配額（crawl budget）在起作用。
抓取配額不是一個固定數字
搜尋引擎给每個站点分配的抓取资源是動態計算的：一邊是站点能承受多少並發，一邊是搜尋引擎判断這里有多少值得抓的東西。入口頁變多，並不意味着配額會自動變大。如果新增的入口頁内容高度雷同、連結指向重复，整体抓取效率反而會被拉低。
更影响配額分配的几件事
- 响應稳定性和速度：5xx、超时、连接被重置的比例升高时，爬虫會主動降速。
- 内容重复度：上千個入口頁只有模板不同、連結列表几乎一样，容易被当成低價值頁面。
- URL 重复與參數噪音：大小寫、尾斜杠、跟踪參數造成同一地址多個版本，等于把配額摊薄。
- 歷史抓取产出：長期抓下来發現的新 URL 很少，配額自然會收缩。
入口頁變多时，實际會被怎么分配
在配額有限的前提下，爬虫的取舍通常遵循几個朴素原則：
- 優先訪問歷史表現好、更新較频繁的那批入口頁。
- 新加入的入口頁進入較長的發現队列，可能几天到几周才被第一次訪問。
- 同质化嚴重的新入口頁，可能長期只被抽查式訪問。
所以你會看到老入口頁照常被抓，新入口頁迟迟不来——這不一定是入口頁本身寫错了。
怎么判断是配額問题還是別的問题
- 看日誌里單個入口頁的平均抓取間隔，是變長了還是基本不變。
- 看 200 响應的占比和平均响應時間，是否明顯劣化。
- 看新入口頁首次被抓的時間中位數，是否比老入口頁明顯靠後。
- 確認目标 URL 是否本来就被 robots.txt 屏蔽、需要登入、或被 5xx 拦住，這些和配額無關。
扩容时的几個實用做法
- 先保證少量入口頁的抓取质量，再逐步加量，不要一次性翻十倍。
- 入口頁之間做去重，連結列表不要完全一致，减少纯模板頁。
- 把 5xx 和超时压下来，比多挂几百個入口頁更有效。
- 用 sitemap 或站点内鏈给重要目标 URL 做第二入口，別只依赖入口頁。
- 统一 URL 形式，减少參數和大小寫带来的重复地址。
抓取配額是長期观察的结果，不是可以随手打開的開關。單次操作很难立刻改變它，稳定和去重才是慢變量。
常见誤区
- 以為入口頁數量翻倍，抓取量就會翻倍。
- 以為被蜘蛛抓過就一定會收錄，抓取和收錄是两件事。
- 只盯着入口頁數量，忽略了目标 URL 本身是否可抓、是否重复、是否有内容價值。
小结：扩容前先看日誌里的响應质量與重复情况，扩容後重点观察單頁抓取間隔和首次抓取時間。如果這两項明顯變差，先做减法——去重、修错、提速，再考虑繼續加量。