很多人看抓取量，习惯數“蜘蛛今天来了多少次”。但真正决定一個頁面多久被重抓的，往往不是訪問次數，而是同一時間蜘蛛能對你這個域名開几條连接，以及每條连接會被占用多久。
抓取並發是什么
蜘蛛抓取一個站点时，通常不會只派一個進程慢慢爬。它會维持一個针對该域名的並發上限，也就是同时向你的服務器發起的請求數量。這個上限不是固定數字，搜尋引擎會參考服務器响應速度、歷史抓取成功率、站点規模等因素動態調整。
關键在于：並發數乘以單次抓取速度，才是單位時間内的抓取量。如果一次响應要 2 秒，而並發只有 4，一小时的抓取量就非常有限；把响應压到 200 毫秒，同样的並發下结果會明顯不同。
為什么常常只看到“几條连接”
- 响應太慢：连接被長時間占用，新 URL 只能排队，表現上就是“来得少”。
- 域名級配額：搜尋引擎會為每個域名设定抓取額度，超出部分顺延。
- 服務器或 CDN 主動限速：WAF、防火墙、限流策略把請求拦下或延迟，蜘蛛會顺势降低频率。
- 错誤率偏高：5xx 與超时集中出現时，蜘蛛通常選擇退避，而不是硬冲。
- 站点本身量小：新站或頁面數量少的站点，分配到的並發基數本来就不高。
怎么從日誌里看並發
不需要复杂工具，按時間粒度統計即可：
- 從訪問日誌中筛出蜘蛛 UA 的记錄；
- 按秒或十秒分组，統計同一时刻的請求數，這就是實际並發的大致形態；
- 同时看這些請求的响應時間分布，特別留意少數耗时特別長的請求；
- 观察高並發时段是否伴随 5xx 或超时，判断服務器是否被压到了。
如果並發曲线長期平在很低的位置，而站内可抓 URL 又很多，通常不是蜘蛛“不喜欢”，而是你的服務器让它快不起来。
拖慢並發的常见原因
- 動態頁面每次都要查库、拼模板，首字节時間（TTFB）偏高；
- 頁面里嵌了大量需要二次請求的资源，會推高整体负载；
- 服務器连接數配置偏小，大量請求在排队；
- CDN 回源策略不当，每次抓取都穿透到源站；
- 安全策略對陌生 UA 或高频 IP 直接拦截，返回 403 或驗證頁。
可以動手調整的地方
- 先把 TTFB 降下来：加缓存、做静態化、優化慢查询，這是最直接提升抓取量的方式。
- 让常见错誤消失：把 5xx 和超时压到很低，蜘蛛才愿意提高並發。
- 別轻易對蜘蛛限速：确實需要时，用 429 配合 Retry-After，而不是返回 403 或空白頁。
- 保持连接复用：開啟 keep-alive、支持 HTTP/2，能减少握手開销。
- 给重点 URL 更好的响應條件：栏目頁、列表頁這類入口，尽量走缓存。
一個常见誤区
有人觉得並發越高越好，于是想办法“催促”蜘蛛。實际上，並發是搜尋引擎根據你服務器表現给的，不是站点單方面能要来的。服務器不稳定时强行承受高並發，只會換来更多 5xx，让後續抓取更保守。
抓取量不是靠喊出来的。把响應時間做稳、把错誤率做低，蜘蛛自然愿意在你這里多開几條连接。