做蜘蛛池的人习惯盯一个数字：一天里蜘蛛来了多少次。但真正决定入口页能不能扛住的，往往是另一个数字——同一时刻有多少只蜘蛛在请求。总量是累加值，可以均匀摊在一天里，也可以全挤在某个十分钟内，这两种情况对服务器和线路的压力完全不是一回事。如果并发超出承载，蜘蛛拿到的就是超时、连接重置或 5xx，前面在入口页上做的布置等于白做。
为什么并发比总量更值得盯
入口页通常是轻量页面，单次请求成本低，所以很多人觉得「多来点无所谓」。但单个请求便宜不代表一百个并发便宜：CPU、数据库连接数、带宽、TLS 握手开销会同时被占用。一只蜘蛛一次只抓一个页面，十只蜘蛛同时来就是十个连接，一百只就是一百个连接。当服务器开始排队，响应耗时从几十毫秒涨到几秒，蜘蛛的耐心是有限的，它会降低频率，甚至一段时间不再回来。
更麻烦的是，这种掉线不容易在日志里被发现。总量看上去还过得去，但成功的比例降了，蜘蛛实际拿到内容的次数少了。
影响并发高低的几个变量
- 入口页数量：池子里域名越多、可被发现的 URL 越多，同一时段被扫到的概率越大，峰值也越高。
- 链接扩散速度：把一批入口页同时放出去，蜘蛛往往会在相似的时间段集中到访，形成尖峰；分批放出去，曲线会平缓很多。
- 蜘蛛种类与节奏：不同搜索引擎的蜘蛛访问习惯差异明显，有的喜欢短时间内密集抓取少量页面，有的拉长周期、低频慢走。日志里按 UA 分开统计，才能看清是谁在制造峰值。
- 服务器与线路：同样数量的并发，放在配置低、线路差的机器上就是压力，放在缓存到位、静态化的环境里可能毫无感觉。
- 内容更新频率：入口页频繁变动时，蜘蛛回访会更积极，短时间内的并发也会上去。
怎么判断当前并发是否偏高
判断依据不是感觉，而是日志和监控。可以按下面的顺序看一遍：
- 把访问日志按分钟聚合，只筛蜘蛛 UA，看每分钟的请求条数峰值是多少，以及峰值持续多久。
- 对照同一时间段的服务器监控：CPU、内存、带宽、连接数是否跟着一起顶到上限。
- 看这些请求的响应耗时分布，重点看尾部——平均耗时正常，但有一批请求耗时好几秒，说明已经在排队。
- 统计同一分钟内返回 5xx 或连接中断的比例，这个比例是并发过高的直接证据。
两种极端：太挤和太空
太挤的表现很直接：响应慢、错误多、蜘蛛访问频率随后下降。这时候再把新的入口页塞进去，只会让情况更糟。
另一种情况是并发长期低得可怜，日志里几个小时才来一只蜘蛛，而且只抓首页就走。这通常不是服务器的问题，而是入口页没有被有效发现：没有可爬的链接、sitemap 提交后没被处理、或者入口页本身对外几乎没有任何引用。并发低不等于安全，它意味着这一批入口页暂时没起到作用。
几条可落地的调节手段
- 合理使用 robots 的 crawl-delay：部分蜘蛛会参考这个字段，但它不是强制约束，只能作为辅助，不要指望靠它解决所有压力。
- 屏蔽静态资源：图片、CSS、JS 文件对蜘蛛理解入口页有辅助作用，但被大量抓取时会明显抬高并发。是否屏蔽要看入口页本身是否依赖这些资源才能读通。
- 入口页分批上线：不要一次放出几百个 URL，按批次、按时间段铺开，让访问曲线尽量平缓。
- 给蜘蛛请求做缓存或静态化：入口页内容变化不频繁时，让蜘蛛拿到缓存版本，能显著降低后端压力。
- 把负载和蜘蛛行为分开看：是蜘蛛本身来得太多，还是自己的页面变重了，这两个原因的解法完全不同。
并发不是一个需要「越大越好」或「越小越好」的指标，它要和入口页的承载能力匹配。先知道自己能接住多少，再去安排入口页的数量和上架节奏。
记录什么、记录多久
建议至少按天保留蜘蛛请求的分钟级统计数据，字段包括：时间、UA、入口域名、状态码、响应耗时。保留周期看资源情况，能覆盖一到两个完整的内容更新周期比较合适，这样在调整入口页批次后，可以对比前后的并发曲线，判断调节手段有没有起到作用。
把并发当成一个日常观察项，入口页的数量、上线节奏和服务器配置才有依据可调。它不会直接带来收录或排名，但能让已经铺出去的入口页稳定地跑下去。