搭建蜘蛛池时，很多人預設“入口越多、域名越多，蜘蛛来得越快”。實际執行一段時間後會發現，入口數量翻倍，抓取量並没有同步增長，有时反而更慢。問题往往不在入口本身，而在並發和连接數上。
並發指的是什么
這里说的並發，是蜘蛛同一時間向同一台服務器或同一個 IP 發起的請求數。搜尋引擎對單個站点、單個 IP 段都有並發上限，超過後多出来的請求會被排队或直接丢弃。你的池子里如果几十個域名解析到同一台机器，看起来是几十個站点，在蜘蛛眼里可能只是同一批资源，並發額度是共享的。
蜘蛛侧的並發限制
不同搜尋引擎的策略有差异，但大体有几個共同点：
- 對同一域名的並發通常控制在個位數，热门站点可能高一些；
- 响應慢的站点，蜘蛛會主動降低並發，避免自己等待；
- 同一 IP 上如果有大量站点，蜘蛛可能按 IP 维度再做一层限制；
- 抓取队列深度有限，前面堆积太多，後面的 URL 會被延後。
服務器侧的瓶颈
池子里的域名通常共用少量机器。如果每個頁面都要查資料库、調用接口，單次响應從 200 毫秒涨到 2 秒，蜘蛛的並發窗口就會被占满，有效抓取量反而下降。带宽也是同样的道理：小带宽跑大量图片或大頁面，蜘蛛拿到的首字节時間會很長。
更隐蔽的是连接數。Nginx 或 PHP-FPM 的连接池被占满後，新請求會排队，蜘蛛看到的是超时或 502。這類問题在日誌里不一定表現為大量 5xx，有时只是响應時間整体變長。
怎么判断並發是否過载
可以從几個信号观察：
- 蜘蛛来訪频率不低，但狀態碼里 200 的占比在下降；
- 平均响應時間持續上升，尤其是同一時間段的波動變大；
- 服務器 CPU 或内存没有到极限，但請求排队明顯；
- 日誌里同一 IP 的請求間隔越来越長，說明蜘蛛在退让。
如果出現這些情况，先別急着加域名，把現有入口的响應時間压下来，往往比新增入口更有效。
調整思路
- 控制單机站点數量：同一台服務器上不要堆太多域名，尽量分散到不同 IP 或不同机器。
- 给頁面做缓存：静態化或加一层頁面缓存，让蜘蛛拿到的响應稳定在几百毫秒内。
- 限制動態入口：搜尋頁、篩選頁這類參數多的 URL，蜘蛛抓取成本高，優先級放低。
- 分批观察：新增入口後观察一到两周，確認抓取量和响應時間都稳定，再繼續加。
- 留出余量：服務器负载不要長期跑在 80% 以上，给突發抓取留空間。
並發和入口數量不是线性關系。蜘蛛给的是抓取窗口，窗口大小取决于响應速度和资源信誉，而不是你放了多少連結。
小结
蜘蛛池的並發問题，本质是资源分配問题。入口多不等于抓取多，把每個入口的响應做稳，把單机压力控制在合理范围，蜘蛛才愿意持續来。與其不断加域名，不如先把現有通道的响應時間和狀態碼分布看清楚。