很多人在做蜘蛛池时會有一種直觉：入口頁越多，挂出去的連結越多，搜尋蜘蛛来得越勤，目标 URL 被發現得越快。實际跑一段時間後，日誌里却常常是另一種画面——入口頁訪問次數在下降，新加的目标 URL 要等更久才第一次出現。這背後通常不是“蜘蛛罢工”，而是抓取配額被摊薄了。
抓取配額不是一個固定數字
搜尋引擎並没有公開一個“每天给你抓多少次”的額度。它更像一種動態判断：站点歷史表現好不好、响應快不快、内容更新有没有價值、之前抓到的頁面质量如何，综合下来决定下次来的时候抓多少個 URL、隔多久再来一次。可以把它理解成站点整体表現換来的信任度，而不是靠入口頁數量堆出来的资源。
所以当入口頁數量在短時間内暴涨，而每個入口頁本身没有多少實质内容、彼此又高度雷同，蜘蛛的判断通常不是“這站内容真多”，而是“這批 URL 價值差不多，挑一部分看看就行”。
摊薄之後，日誌里會看到什么
- 單個入口頁的平均抓取次數下降，原本每天来几次的，變成几天一次。
- 新增入口頁首次被抓的時間拉長，有的排到很後面才轮到。
- 挂在深层位置的連結，被抓到的比例明顯降低。
- 同一批目标 URL 中，只有少數几個反复被抓，其余長期没有動静。
這些現象叠加起来，感受就是“蜘蛛還在来，但好像没以前管用了”。問题不在蜘蛛，而在于總量被切成了太多份。
怎么判断是不是被摊薄了
不要只看“今天蜘蛛来了没有”，而要看结构變化。比較實用的做法是：
- 按周統計入口頁被抓的獨立 URL 數量，以及每個 URL 的平均抓取次數。
- 记錄新加目标 URL 從上线到首次被抓的間隔，看這個間隔有没有随時間變長。
- 對比入口頁數量翻倍前後，同一批老入口頁的抓取频次有没有下滑。
如果入口頁數量涨了，獨立 URL 抓取量却没涨甚至跌了，基本可以判定抓取资源被分散。
比繼續加量更有效的几件事
- 清理長期零反馈的入口頁：几個月没被抓、也没有被引用的入口頁，留着只會占位置。
- 把重点目标 URL 集中到少數稳定入口頁：抓取稳定的頁面，比數量多的頁面更靠得住。
- 優先保證响應速度和稳定性：超时、5xx 會直接消耗掉本来就不多的配額。
- 配合 sitemap 和站内正常連結：入口頁只是發現渠道之一，不是唯一渠道。
抓取配額不是堆出来的，是站点整体表現換来的。入口頁越多，摊到每一個身上的机會反而越少。
结语
入口頁數量是一個容易上瘾的指标，因為它看得见、加得快。但搜尋蜘蛛的抓取行為是有上限的，把有限的抓取机會分散到大量低價值頁面上，目标 URL 的發現速度通常不會變快，反而更慢。與其繼續加入口頁，不如先看看現有入口頁的抓取資料，把资源集中到真正被蜘蛛信任的那部分。