搭蜘蛛池时，多数人把精力放在入口页的内容、链接和模板上，服务器这一层往往按“能打开就行”来配置。等到蜘蛛开始密集回访，入口页出现零星 502、超时或连接被重置，抓取量就悄悄掉下来了。这篇从并发连接的角度，说说入口页服务器该怎么看、怎么调。
并发连接数指的是什么
蜘蛛抓取不是一次一个请求。同一个蜘蛛在短时间内会对你的站点开多条连接，同时把多个 URL 排进队列。服务器侧的并发，通常包含几层含义：
- 单 IP 并发：同一个蜘蛛 IP 同时建立的连接数；
- 站点总并发：所有来源的活跃请求之和；
- 连接复用：开启 keep-alive 后，一条 TCP 连接可以承载多个请求，实际并发压力会低于请求数；
- HTTP/2 多路复用：同一连接上并行多个请求，连接数下降，但单连接的资源占用上升。
搞清这几层，才能判断“并发高”是真高，还是只是请求数看起来多。
蜘蛛端自己会控速
主流搜索引擎的抓取程序都有速率控制，会参考你站点的响应时间、错误率、页面体积来动态调整。响应稳定、错误率低，抓取节奏会慢慢放开；反之，它会主动降低频率。
慢响应和 5xx 是天然的降速信号。蜘蛛池里少抓几次的代价往往比想象中大，因为恢复需要时间。
服务器扛不住时的典型表现
- 访问日志里出现集中的 502、504，或连接被 reset；
- TTFB 从几十毫秒拉到一两秒，且集中在某些时段；
- 同一入口页反复被重试，日志里同一 URL 短时间多次出现；
- 部分入口页长期没有蜘蛛访问，像是“被跳过”；
- 服务器负载不高，但连接数打满，新请求开始排队。
注意最后一条：CPU 和内存看起来还好，不代表没问题，连接数和文件描述符上限先到，同样会拒绝新请求。
排查顺序
- 先看访问日志与错误日志，确认是哪些入口页、哪个时段、哪种状态码出问题；
- 确认入口页是不是动态生成，有没有数据库查询或远程调用拖慢响应；
- 检查 nginx/Apache 的 worker 数量、连接数上限、文件描述符上限；
- 确认是否有 CDN 或 WAF 在中间，误伤和回源压力要分开看；
- 最后才考虑限流，限流规则要放行已知蜘蛛 UA 与 IP 段。
顺序颠倒容易白忙：先加限流，可能把本来就正常的蜘蛛一并挡掉。
常用的调参手段
- 静态化与缓存：入口页内容变化不频繁时，生成静态文件或加短周期缓存，是最直接的一步；
- 精简页面：去掉不必要的脚本、大图、外部统计，减少连接占用与带宽；
- keep-alive 超时：适当保留复用，别为了“省连接”把超时调得过低；
- 分散承载：入口页分散到不同域名、不同服务器或 CDN 边缘，避免单点；
- 限流要谨慎：limit_conn、limit_req 可以救急，但要留白名单，否则容易误伤蜘蛛。
带宽与容量估算的思路
入口页平均体积 × 预期日抓取次数，大致就是日流量，再乘 3 到 5 倍留出峰值余量。共享虚拟主机、单核小机器跑几百上千个入口页，通常不是“能不能打开”的问题，而是并发一来就排队。与其事后救火，不如一开始就把承载能力算进去。
几条使用建议
- 给入口页加基础的可用性监控，状态码和响应时间异常要能第一时间看到；
- 新入口页批量上线时先小规模观察，确认服务器吃得消再铺开；
- 不要用激进的限流把正常蜘蛛挡在门外，那等于自己关掉入口；
- 定期复查 CDN、WAF 与服务器三层的配置，避免规则叠加后互相冲突。
蜘蛛池解决的是 URL 发现和被抓取的机会，能不能持续被抓，取决于入口页是否长期稳定可访问。并发和连接数这件事不显眼，但它决定了蜘蛛愿不愿意继续来。