蜘蛛池投放时，很多人會把“放量”直接等同于“加大並發”：同一時間把几百上千個URL推给目标站，期待搜尋蜘蛛快点發現。實际结果往往是服務器响應變慢、连接超时增多，蜘蛛来了又走，頁面並没有被正常抓取。並發控制的核心不是追求峰值，而是让通路在可承受范围内稳定跑完一批URL。
並發數到底影响哪些环节
並發請求增加，首先消耗的是目标服務器的连接资源和带宽。每個請求都占用一個连接，服務器在固定時間内能處理的請求數有上限。当並發超過這個上限，請求會排队，响應時間拉長，嚴重时出現502、503或连接重置。
對搜尋蜘蛛来说，抓取行為也有自己的节奏。蜘蛛會根據站点响應速度、歷史抓取质量和服務器狀態調整抓取频次。如果目标站在短時間内频繁超时或返回错誤，蜘蛛通常會降低抓取频次，甚至暂时减少訪問。這时再加大並發，只是在制造更多失敗记錄，不會带来更多有效發現。
先摸清自己的承载底线
在調整並發之前，需要知道通路能承受什么。可以從几個方面大致判断：
- 带宽與出口：出口带宽跑满时，請求排队等待，响應時間會明顯上升。
- 服務器處理能力：CPU、内存、資料库连接數是否在正常范围，是否有慢查询。
- 超时設定：连接超时、讀取超时是否合理，過長會拖住队列，過短會誤判失敗。
- 中間层限制：CDN、防火墙、WAF是否對單IP或單域名的並發有阈值。
這些信息不需要非常精确，但至少要知道哪個环节最可能先到瓶颈。否則並發一調高，問题出現在哪里都不清楚。
從低並發起步，分批观察
更稳妥的做法是先小批量測試，而不是一上来就压满。可以按下面的顺序推進：
- 選一小批URL，比如几十條，用較低並發投出去。
- 观察訪問日誌中响應碼的分布，重点看2xx、3xx、4xx、5xx各占多少。
- 记錄平均响應時間和超时次數，判断通路是否稳定。
- 如果稳定，再逐步提高並發，每次增加後观察一段時間，不急着连續加。
- 如果出現超时或5xx比例上升，先降回上一個稳定值，排查原因。
這样做的目的，是找到“能稳定跑完”的並發区間，而不是测出极限值。极限值往往伴随错誤，不适合長期使用。
調整並發时看哪些指标
並發不是设完就不管。投放過程中至少關注下面几類信号：
- 响應碼结构：5xx比例持續升高，說明服務器或中間层压力過大。
- 响應時間：平均耗时明顯拉長，通常意味着排队開始堆积。
- 超时與连接失敗：DNS失敗、TLS握手失敗、连接超时各自指向不同环节，要分開看。
- 蜘蛛訪問记錄：观察蜘蛛是否還在正常訪問，抓取频次有没有異常下降。
- 带宽占用：長時間接近跑满，說明並發已经接近出口上限。
這些指标结合起来看，比只看“今天投了多少條”更有意义。
几個容易踩的誤区
誤区一：並發越高，發現越快。搜尋蜘蛛有自己的調度逻辑，目标站响應差时，高並發只會带来更多错誤日誌，反而影响後續抓取。
誤区二：只看提交數量，不看實际抓取。URL被推出去不等于被訪問。如果日誌里没有對應的蜘蛛請求，說明發現环节就不通畅，繼續加量意义有限。
誤区三：所有域名用同一套並發。不同域名的服務器配置、CDN策略、歷史抓取表現都不一样，统一並發容易让一部分域名先出問题。
誤区四：忽略超时設定。超时太長會拖住請求队列，让後續請求等待；太短會誤伤响應稍慢的正常頁面。需要结合平均响應時間来设定。
實用建议
並發控制的目标是稳定，而不是刺激。可以從低並發開始，分批推進，给通路留出余量。遇到5xx或超时上升时，先降低並發、排查环节，而不是繼續加量。把每次調整和当时的响應碼、响應時間、蜘蛛訪問情况记錄下来，几轮之後就能找到适合自己资源的並發区間。稳定執行比偶尔冲高更有價值。