抓取配額不是平台發的“額度”
很多人在看蜘蛛池日誌时會發現：同样是几百個入口頁，有时候爬虫一天来几千次，有时候只来几百次，頁面结构没改，域名也没換。這種波動大多来自抓取配額——爬虫在一段時間内愿意花在你這個主机上的請求數。
它不是搜尋引擎發给你的固定額度，而是爬虫調度系統動態算出来的结果：這個主机值不值得多花资源抓、抓過去有没有新東西、服務器扛不扛得住。配額高，入口頁被反复訪問的概率就大；配額低，入口頁往往只是被点一下就走。
同一批入口頁，配額為什么會忽高忽低
主机健康度在變
爬虫通常按主机（域名或 IP 段）統計超时、5xx、连接重置的比例。某個入口頁所在的主机连續几次响應慢，爬虫一般會降低對這個主机的抓取频率，而不是只屏蔽那一個 URL。所以几百個入口頁挂在同一台机器上，一個頁面拖後腿，可能连累整批。
抓過去的頁面有没有回报
如果爬虫反复訪問某類入口頁，拿到的都是差不多的模板、差不多的一批連結，它對這個主机的预期收益就會下降，配額随之收紧。反過来，入口頁能稳定引出新的、尚未被抓過的 URL，抓取频率通常會更积极一些。
重复與低质信号的累积
同一套模板批量生成的入口頁，标题、正文、連結结构高度相似，爬虫很容易把它們归入同一類，只抽检其中一部分。這不等于整批失效，但單個頁面被回訪的次數會明顯下降。
抓取错誤的比例
404、403、跳轉循环、robots 拦截，都會消耗掉本可以用来抓有效頁面的請求。错誤率一高，爬虫分给你這個主机的耐心就會减少。
在日誌里怎么看配額的變化
- 按天看總請求數：把同一主机下的爬虫請求單獨統計，看趋势是平稳、上升還是断崖。
- 看請求的分布：是集中在少數几個入口頁反复抓，還是均匀铺開。前者通常意味着爬虫只認那几個入口。
- 看狀態碼构成：2xx 占比高，說明配額被有效利用；3xx、4xx、5xx 占比高，配額就在被浪費。
- 看抓取間隔：同一個 URL 两次訪問的時間間隔拉長，往往是配額收紧的早期信号。
配額偏低时，按這個顺序排查
- 先看服務器：TTFB、超时率、丢包，排除基础设施問题。
- 再看错誤頁：把 404、5xx 清理掉，或者让它們返回正确的狀態碼。
- 然後看 robots.txt 和 meta，確認没有誤拦正常入口頁。
- 接着看重复度：同模板頁面是不是太多、太像。
- 最後才考虑調整结构、更新内容或分批轮換入口頁。
顺序反過来做，很容易在服務器還在频繁超时的时候去改内容，改完也看不出效果。
几條相對稳妥的做法
- 把入口頁分散到多個主机或 IP 段，避免一個点出問题带走一整批。
- 入口頁保持精简：少依赖外部资源，减少渲染成本。
- 让每個入口頁尽量能引出新的目标 URL，而不是互相連結成閉环。
- 定期淘汰長期没有抓取记錄的入口頁，把资源让给還在被訪問的那部分。
抓取配額只能影响爬虫愿不愿意多来，不能决定 URL 是否被收錄。收錄還取决于目标頁本身的质量、重复度和站点整体情况。把配額当成概率而不是承诺，判断會更接近實际。