维護蜘蛛池的人常有一個惯性：抓取不理想，就再加一批域名、再加一批入口頁。加量在早期通常是有效的，但到某個阶段之後，新增入口带来的抓取次數會明顯變少，而巡检、續費、排查的工作量仍然线性上涨。這篇文章讨论的就是這條邊界在哪里，以及怎么判断自己是否已经越過它。
入口頁數量不等于抓取總量
蜘蛛给人的感觉是“有連結就會去”，實际並非如此。搜尋引擎對單個站点、單個 IP 段、單個域名主体的抓取都有自己的节奏和配額。入口頁只是提供發現路径，能不能被反复抓取，取决于站点整体的可抓取量、响應质量和歷史表現。当入口頁數量已经明顯超出站点本身能承载的抓取节奏时，多出来的那部分大多是“排不上队”的。
邊际递减通常從這几個地方開始
- 配額被自然封顶：同一域名主体下的入口頁越堆越多，蜘蛛仍然只按固定节奏訪問，新增頁面很难分到額外時間。
- 入口頁之間高度同质：内容结构、模板、導航几乎一样时，蜘蛛抓完一批就容易判断“没有新東西”，後續訪問频率下降。
- 资源池互相牵连：把大量入口頁塞進同一批 IP 或同一台服務器，一旦出現响應慢、證书異常、拦截，影响面會被成倍放大。
- 维護人力跟不上：狀態碼、DNS、跳轉、證书都需要盯，數量翻倍意味着巡检工作量翻倍，出問题时定位也更慢。
判断该加還是该停的三個观察点
- 新增入口的抓取命中率：把最近新增的那批入口頁單獨拉出来看訪問日誌，如果连續一段時間几乎看不到蜘蛛，說明加量暂时不再带来發現量。
- 單個入口的平均抓取次數：總量在涨但單頁均值在掉，多半是摊薄而非扩容，值得警惕。
- 異常頁占比：狀態碼異常、跳轉鏈路過長、响應超时的入口頁比例如果持續上升，說明维護能力已经跟不上規模。
什么情况下應该主動缩容
缩容不是退步。把長期没有蜘蛛訪問、内容重复、或者维護起来特別費劲的入口頁清理掉，反而能让资源集中在少數表現稳定的入口上。常见该缩容的信号包括：為了凑數量而批量生成的入口頁、已经不适合目前业務的舊域名、以及需要频繁人工干预才能维持正常的入口。
落地时的几個习惯
- 分批加量，每批观察一段時間再决定下一批，避免一次性铺開無法归因。
- 给每批入口頁打上标记，日誌里能区分出是哪一批带来的訪問。
- 把入口頁分成核心层和试驗层，核心层保持稳定，试驗层允许随时調整或下线。
- 定期复盘，把连續多個周期没有产出的入口降級處理。
入口頁的價值在于被蜘蛛反复訪問，而不在于列表里有多少條记錄。規模控制本质上是在有限预算和维護精力下做取舍，先保證留下来的那部分能稳定被抓，再考虑扩充。