做蜘蛛池的人常會遇到一種情况：入口頁明明加了不少，日誌里也能看到搜尋蜘蛛来過，但抓的總是首頁和少數几個頁面，剩下的頁面几天都不见動静。這通常不是蜘蛛没發現，而是抓取预算被用在了別的地方。理解抓取预算的分配逻辑，比一味增加入口頁數量更有意义。
抓取预算大致由两部分决定
搜尋引擎對每個站点都會有一個大致的抓取安排。一部分是根據站点規模、更新频率和外部連結估算出来的抓取需求，另一部分是服務器承载能力、响應速度决定的抓取容量。两者之間的差值，才是實际能拿到的抓取量。
入口頁越多、结构越复杂，需求端涨得很快；但容量端不會因為你多放了几百個頁面就自動提高。当两者不匹配时，最先應该检查的是容量端，而不是繼續堆頁面。
哪些因素在消耗抓取预算
- 頁面体积和响應耗时：單個頁面越大、响應越慢，蜘蛛在單位時間内能抓的頁數就越少。
- 重复與參數化 URL：同一内容通過不同參數生成多個地址，预算會被重复抓取吃掉。
- 連結深度：需要点击很多次才能到達的頁面，優先級天然靠後。
- 错誤與超时：大量 5xx、连接超时或空白响應，會让蜘蛛降低對整個站点的抓取频次。
- 低價值頁面占比：内容單薄、彼此高度相似的頁面越多，平均抓取效率越低。
入口頁數量與抓取频次不是正比關系
很多人預設頁面數量翻倍，蜘蛛抓取量也會跟着翻倍。實际观察中更常见的情况是：總抓取次數變化不大，但每個頁面分到的次數被摊薄，單頁的發現和更新周期反而變長。如果入口頁本身内容差异很小，這種摊薄几乎没有收益。
把入口頁從一百個扩到一千個，通常不會带来十倍的抓取量；更可能的结果是每一頁都被抓得更浅。
所以做數量規划之前，先確認現有入口頁是否被完整抓取過一轮。如果老頁面都還没抓完，新增頁面大多只是排進更長的队列。
提高有效抓取的做法
- 压缩入口頁 HTML 体积，保證首屏的關键連結在原始 HTML 中就能被抓到。
- 稳定服務器响應，避免高峰期大量超时，必要时检查带宽和连接數上限。
- 统一 URL 形式，去掉無意义的參數组合，让同一内容只有一個地址。
- 使用 sitemap 的更新時間字段，提示真正有過改動的頁面。
- 用内鏈把需要優先抓取的頁面往前放，同时控制每頁的出鏈數量。
- 定期從訪問日誌統計蜘蛛抓取的獨立 URL 數、平均間隔與错誤碼分布。
几個常见誤区
- 以為頁面加得越多，抓取量就越大。
- 把蜘蛛来訪次數当成抓取效果，忽略它實际抓的是哪些 URL。
- 只盯着入口頁本身，不看服務器整体的响應表現。
- 頁面内容高度雷同，却期待蜘蛛逐頁细看。
- 發現抓取變少就立刻換域名，而不排查超时和错誤碼。
看哪些指标，多久調整一次
建议按周統計四項資料：蜘蛛抓取的獨立 URL 數、每個入口頁的平均被抓次數、平均响應時間、非 200 狀態碼占比。如果连續两到三個周期都出現抓取頁數不上涨、错誤率上升，優先排查服務器和頁面体积，而不是繼續新增頁面或域名。反過来，如果抓取頁數和响應時間都稳定，只是部分頁面没被抓到，可以調整内鏈和 sitemap 的指向，再观察一個周期。
抓取预算更像一個需要平衡的額度，而不是可以無限索取的资源。入口頁的數量規划、頁面本身的精简、以及服務的稳定，這三件事做到位，通常比不断新增入口頁更划算。任何調整都需要留出观察時間，不必因為一两天的波動就推翻整套方案。