维护蜘蛛池的人常有一个惯性：抓取不理想，就再加一批域名、再加一批入口页。加量在早期通常是有效的，但到某个阶段之后，新增入口带来的抓取次数会明显变少，而巡检、续费、排查的工作量仍然线性上涨。这篇文章讨论的就是这条边界在哪里，以及怎么判断自己是否已经越过它。
入口页数量不等于抓取总量
蜘蛛给人的感觉是“有链接就会去”，实际并非如此。搜索引擎对单个站点、单个 IP 段、单个域名主体的抓取都有自己的节奏和配额。入口页只是提供发现路径，能不能被反复抓取，取决于站点整体的可抓取量、响应质量和历史表现。当入口页数量已经明显超出站点本身能承载的抓取节奏时，多出来的那部分大多是“排不上队”的。
边际递减通常从这几个地方开始
- 配额被自然封顶：同一域名主体下的入口页越堆越多，蜘蛛仍然只按固定节奏访问，新增页面很难分到额外时间。
- 入口页之间高度同质：内容结构、模板、导航几乎一样时，蜘蛛抓完一批就容易判断“没有新东西”，后续访问频率下降。
- 资源池互相牵连：把大量入口页塞进同一批 IP 或同一台服务器，一旦出现响应慢、证书异常、拦截，影响面会被成倍放大。
- 维护人力跟不上：状态码、DNS、跳转、证书都需要盯，数量翻倍意味着巡检工作量翻倍，出问题时定位也更慢。
判断该加还是该停的三个观察点
- 新增入口的抓取命中率：把最近新增的那批入口页单独拉出来看访问日志，如果连续一段时间几乎看不到蜘蛛，说明加量暂时不再带来发现量。
- 单个入口的平均抓取次数：总量在涨但单页均值在掉，多半是摊薄而非扩容，值得警惕。
- 异常页占比：状态码异常、跳转链路过长、响应超时的入口页比例如果持续上升，说明维护能力已经跟不上规模。
什么情况下应该主动缩容
缩容不是退步。把长期没有蜘蛛访问、内容重复、或者维护起来特别费劲的入口页清理掉，反而能让资源集中在少数表现稳定的入口上。常见该缩容的信号包括：为了凑数量而批量生成的入口页、已经不适合当前业务的旧域名、以及需要频繁人工干预才能维持正常的入口。
落地时的几个习惯
- 分批加量，每批观察一段时间再决定下一批，避免一次性铺开无法归因。
- 给每批入口页打上标记，日志里能区分出是哪一批带来的访问。
- 把入口页分成核心层和试验层，核心层保持稳定，试验层允许随时调整或下线。
- 定期复盘，把连续多个周期没有产出的入口降级处理。
入口页的价值在于被蜘蛛反复访问，而不在于列表里有多少条记录。规模控制本质上是在有限预算和维护精力下做取舍，先保证留下来的那部分能稳定被抓，再考虑扩充。