做蜘蛛池的人习惯盯一個數字：一天里蜘蛛来了多少次。但真正决定入口頁能不能扛住的，往往是另一個數字——同一时刻有多少只蜘蛛在請求。總量是累加值，可以均匀摊在一天里，也可以全挤在某個十分钟内，這两種情况對服務器和线路的压力完全不是一回事。如果並發超出承载，蜘蛛拿到的就是超时、连接重置或 5xx，前面在入口頁上做的布置等于白做。
為什么並發比總量更值得盯
入口頁通常是轻量頁面，單次請求成本低，所以很多人觉得「多来点無所谓」。但單個請求便宜不代表一百個並發便宜：CPU、資料库连接數、带宽、TLS 握手開销會同时被占用。一只蜘蛛一次只抓一個頁面，十只蜘蛛同时来就是十個连接，一百只就是一百個连接。当服務器開始排队，响應耗时從几十毫秒涨到几秒，蜘蛛的耐心是有限的，它會降低频率，甚至一段時間不再回来。
更麻烦的是，這種掉线不容易在日誌里被發現。總量看上去還過得去，但成功的比例降了，蜘蛛實际拿到内容的次數少了。
影响並發高低的几個變量
- 入口頁數量：池子里域名越多、可被發現的 URL 越多，同一时段被掃到的概率越大，峰值也越高。
- 連結扩散速度：把一批入口頁同时放出去，蜘蛛往往會在相似的時間段集中到訪，形成尖峰；分批放出去，曲线會平缓很多。
- 蜘蛛種類與节奏：不同搜尋引擎的蜘蛛訪問习惯差异明顯，有的喜欢短時間内密集抓取少量頁面，有的拉長周期、低频慢走。日誌里按 UA 分開統計，才能看清是谁在制造峰值。
- 服務器與线路：同样數量的並發，放在配置低、线路差的机器上就是压力，放在缓存到位、静態化的环境里可能毫無感觉。
- 内容更新频率：入口頁频繁變動时，蜘蛛回訪會更积极，短時間内的並發也會上去。
怎么判断目前並發是否偏高
判断依據不是感觉，而是日誌和监控。可以按下面的顺序看一遍：
- 把訪問日誌按分钟聚合，只筛蜘蛛 UA，看每分钟的請求條數峰值是多少，以及峰值持續多久。
- 對照同一時間段的服務器监控：CPU、内存、带宽、连接數是否跟着一起顶到上限。
- 看這些請求的响應耗时分布，重点看尾部——平均耗时正常，但有一批請求耗时好几秒，說明已经在排队。
- 統計同一分钟内返回 5xx 或连接中断的比例，這個比例是並發過高的直接證據。
两種极端：太挤和太空
太挤的表現很直接：响應慢、错誤多、蜘蛛訪問频率随後下降。這时候再把新的入口頁塞進去，只會让情况更糟。
另一種情况是並發長期低得可怜，日誌里几個小时才来一只蜘蛛，而且只抓首頁就走。這通常不是服務器的問题，而是入口頁没有被有效發現：没有可爬的連結、sitemap 提交後没被處理、或者入口頁本身對外几乎没有任何引用。並發低不等于安全，它意味着這一批入口頁暂时没起到作用。
几條可落地的調节手段
- 合理使用 robots 的 crawl-delay：部分蜘蛛會參考這個字段，但它不是强制约束，只能作為辅助，不要指望靠它解决所有压力。
- 屏蔽静態资源：图片、CSS、JS 文件對蜘蛛理解入口頁有辅助作用，但被大量抓取时會明顯抬高並發。是否屏蔽要看入口頁本身是否依赖這些资源才能讀通。
- 入口頁分批上线：不要一次放出几百個 URL，按批次、按時間段铺開，让訪問曲线尽量平缓。
- 给蜘蛛請求做缓存或静態化：入口頁内容變化不频繁时，让蜘蛛拿到缓存版本，能顯著降低後端压力。
- 把负载和蜘蛛行為分開看：是蜘蛛本身来得太多，還是自己的頁面變重了，這两個原因的解法完全不同。
並發不是一個需要「越大越好」或「越小越好」的指标，它要和入口頁的承载能力匹配。先知道自己能接住多少，再去安排入口頁的數量和上架节奏。
记錄什么、记錄多久
建议至少按天保留蜘蛛請求的分钟級統計資料，字段包括：時間、UA、入口域名、狀態碼、响應耗时。保留周期看资源情况，能覆盖一到两個完整的内容更新周期比較合适，這样在調整入口頁批次後，可以對比前後的並發曲线，判断調节手段有没有起到作用。
把並發当成一個日常观察項，入口頁的數量、上线节奏和服務器配置才有依據可調。它不會直接带来收錄或排名，但能让已经铺出去的入口頁稳定地跑下去。