做蜘蛛池时，很容易陷入一个直觉：入口页越多，蜘蛛来的次数就越多。于是有人一口气上几千个域名、几万个页面，期待抓取量线性增长。实际跑一段时间后往往会发现，蜘蛛的总抓取量并没有明显上升，反而每个入口页分到的访问变少了，日志里多了一堆只来过一次的 IP。这说明入口页数量和抓取机会之间并不是简单的正比关系。
蜘蛛的抓取是有上限的
搜索引擎安排抓取时，会综合考虑自身资源、站点响应速度、内容更新频率、历史抓取反馈等因素，对单个域名甚至单个 IP 段给出一个大致稳定的抓取节奏。这个节奏不会因为你的入口页从 10 个变成 1000 个就自动翻很多倍。在总量变化不大的情况下，页面数量增加只意味着每个页面被访问的平均次数下降。
换句话说，蜘蛛池能争取到的是“份额”，不是可以随意扩容的“总量”。规模扩张到一定程度后，边际收益会快速衰减。
扩张之前先算三笔成本
1. 单页抓取机会被稀释
假设一个域名每天稳定被访问 200 次，原来只有 20 个入口页，每个页面平均能拿到 10 次访问；扩到 200 个页面后，每个页面平均只剩 1 次。对需要被反复看到才能稳定发现的页面来说，这种稀释反而是坏事。
2. 维护成本非线性上升
- 域名续费、解析、证书、CDN 与服务器的账单随数量增加；
- 出现解析异常、证书过期、5xx 时，排查工作量成倍增长；
- 内容更新跟不上，页面长期不变，蜘蛛来过几次就不再来了。
3. 服务器压力与响应质量
入口页数量增加通常伴随并发上升。如果带宽、连接数、数据库查询跟不上，入口页的响应时间会被拖长。抓取方对慢站的容忍度有限，响应变慢会反过来压缩抓取频次，形成“页面越多、抓得越少”的负循环。
什么样的规模算合适
没有统一数字，可以用几个可观察的信号来判断：
- 被访问页面占比：从日志里统计一段时间内至少被访问过一次的入口页比例。如果长期低于很低的水平，说明有大量页面根本没进入抓取队列，可以考虑精简。
- 单位抓取产出：把总抓取次数除以入口页数量。这个值持续下降，通常意味着规模超出了当前承载能力。
- 新页面被发现的速度：新增入口页从上线到第一次被抓取的时间，如果明显变长，说明队列已经拥挤。
- 目标页的抓取情况：入口页的意义是把蜘蛛带到目标页。如果目标页的抓取没有随入口页增加而改善，扩张就没有达到目的。
扩张节奏上的几点建议
- 小步增加，每次加一批后观察一到两周再决定下一步，不要一次性翻十倍。
- 优先提升现有页面的质量与更新节奏，再考虑加新页面。一个能稳定被访问的页面，价值通常高于十个长期无人问津的页面。
- 把资源集中在少数几个响应稳定、解析可靠的域名上，比铺开几十个半死不活的域名更有效。
- 定期清理长期无访问、内容重复度高的入口页，减少无效抓取占用。
- 记录每次扩张前后的日志数据，形成自己的经验值，而不是照搬别人的数量。
蜘蛛池的作用是提升 URL 被发现的机会，它不改变搜索引擎对内容本身的判断。规模只是手段之一，内容质量、站点状态和响应稳定性依然是基础。
总结一句：入口页数量应该跟着抓取反馈走，而不是跟着感觉走。能稳定被访问、能持续带来新 URL 发现的规模，才是合适的规模。盲目铺量除了增加成本，很难换来对应的抓取增长。