搭建蜘蛛池时，很多人默认“入口越多、域名越多，蜘蛛来得越快”。实际运行一段时间后会发现，入口数量翻倍，抓取量并没有同步增长，有时反而更慢。问题往往不在入口本身，而在并发和连接数上。
并发指的是什么
这里说的并发，是蜘蛛同一时间向同一台服务器或同一个 IP 发起的请求数。搜索引擎对单个站点、单个 IP 段都有并发上限，超过后多出来的请求会被排队或直接丢弃。你的池子里如果几十个域名解析到同一台机器，看起来是几十个站点，在蜘蛛眼里可能只是同一批资源，并发额度是共享的。
蜘蛛侧的并发限制
不同搜索引擎的策略有差异，但大体有几个共同点：
- 对同一域名的并发通常控制在个位数，热门站点可能高一些；
- 响应慢的站点，蜘蛛会主动降低并发，避免自己等待；
- 同一 IP 上如果有大量站点，蜘蛛可能按 IP 维度再做一层限制；
- 抓取队列深度有限，前面堆积太多，后面的 URL 会被延后。
服务器侧的瓶颈
池子里的域名通常共用少量机器。如果每个页面都要查数据库、调用接口，单次响应从 200 毫秒涨到 2 秒，蜘蛛的并发窗口就会被占满，有效抓取量反而下降。带宽也是同样的道理：小带宽跑大量图片或大页面，蜘蛛拿到的首字节时间会很长。
更隐蔽的是连接数。Nginx 或 PHP-FPM 的连接池被占满后，新请求会排队，蜘蛛看到的是超时或 502。这类问题在日志里不一定表现为大量 5xx，有时只是响应时间整体变长。
怎么判断并发是否过载
可以从几个信号观察：
- 蜘蛛来访频率不低，但状态码里 200 的占比在下降；
- 平均响应时间持续上升，尤其是同一时间段的波动变大；
- 服务器 CPU 或内存没有到极限，但请求排队明显；
- 日志里同一 IP 的请求间隔越来越长，说明蜘蛛在退让。
如果出现这些情况，先别急着加域名，把现有入口的响应时间压下来，往往比新增入口更有效。
调整思路
- 控制单机站点数量：同一台服务器上不要堆太多域名，尽量分散到不同 IP 或不同机器。
- 给页面做缓存：静态化或加一层页面缓存，让蜘蛛拿到的响应稳定在几百毫秒内。
- 限制动态入口：搜索页、筛选页这类参数多的 URL，蜘蛛抓取成本高，优先级放低。
- 分批观察：新增入口后观察一到两周，确认抓取量和响应时间都稳定，再继续加。
- 留出余量：服务器负载不要长期跑在 80% 以上，给突发抓取留空间。
并发和入口数量不是线性关系。蜘蛛给的是抓取窗口，窗口大小取决于响应速度和资源信誉，而不是你放了多少链接。
小结
蜘蛛池的并发问题，本质是资源分配问题。入口多不等于抓取多，把每个入口的响应做稳，把单机压力控制在合理范围，蜘蛛才愿意持续来。与其不断加域名，不如先把现有通道的响应时间和状态码分布看清楚。