很多人把蜘蛛当成一種可以無限調用的资源——只要入口頁够多、外鏈够密，抓取量就會线性上涨。實际观察下来，情况往往相反：入口頁規模翻倍之後，單個頁面被訪問的次數反而下降了。這背後是抓取配額在起作用。
抓取配額是什么
简單说，搜尋引擎對每個站点在單位時間内的抓取總量是有上限的。這個上限不是某個公開的數字，而是由几方面共同决定：站点在歷史抓取中的整体表現、服務器响應是否稳定、頁面更新频率與内容差异度，以及站点規模本身。蜘蛛池的入口頁再多，如果服務器经常超时，或者頁面之間高度相似，配額也不會随之增長。
配額更像是一種分配结果，而不是可以單獨申請的资源。它决定了蜘蛛一天来几次、每次抓多少個 URL、抓到第几层就停下来。
入口頁數量與單頁机會的稀释
假设某個站点每天被蜘蛛抓 300 次。你只有 100 個入口頁，平均每個頁面一天有三次被訪問的机會；当入口頁扩張到 3000 個，同样是 300 次抓取，平均每個頁面要十天才能轮到一次。頁面被訪問的間隔越長，新内容越难被及时看到，日誌上就會表現出“總抓取量没降，但每個頁面都很久没来了”。
這不算蜘蛛變懒，而是總量没變，分母變大了。所以在扩張入口頁之前，先確認配額有没有同步增長，比直接加頁面更重要。
怎么從日誌里看出配額的倾斜
- 訪問频次分布：統計每個入口頁被訪問的間隔，看是集中在少數頁面，還是相對均匀。集中說明蜘蛛已经筛出它認可的路径。
- 抓取深度：蜘蛛是從入口頁繼續往下走，還是抓完第一层就离開。深度停在第一层，通常意味着後續連結的可信度不足。
- 时段分布：抓取集中在某個時間段還是全天分散。集中往往說明站点响應速度參差，蜘蛛只在跑得快的时段来。
- 狀態碼构成：如果日誌里 5xx 和超时占了明顯比例，配額通常會被下調。
把有限配額用在更值得的地方
- 先保核心入口頁：把更新频率高、内容差异明顯的頁面放在内鏈更浅的位置，减少蜘蛛需要跳跃的层數。
- 控制入口頁總量：新增之前先淘汰長期没被訪問、也没更新的頁面，让分母保持稳定。
- 减少無效 URL：參數拼接、重复路径、软 404 會持續消耗抓取机會，却不带来任何價值。
- 提升响應速度：稳定在可接受的响應時間内，比偶尔很快、经常超时更有利于配額的稳定。
- sitemap 分片並保持更新時間准确：只放真正需要被發現的地址，避免每次更新都让蜘蛛重走全站。
几個容易誤判的地方
推送量不等于抓取量，抓取量也不等于收錄量。看到抓取次數上升就認為配額增加了，往往是把主動提交带来的短期波動当成了長期趋势。
另一個常见誤判是用 robots.txt 屏蔽大量入口頁来“省配額”。被屏蔽的地址依然會被發現和记錄，只是不會被訪問，對配額並没有正面帮助，反而可能让蜘蛛對站点结构产生誤判。
小结
抓取配額决定了蜘蛛池入口頁的實际效率上限。與其不断扩張入口頁數量，不如先弄清楚目前配額被分到了哪里、哪些頁面在消耗机會却不产出價值。把分母管住，把响應做稳，把核心路径做浅，通常比單纯堆頁面更接近想要的结果。