很多站点在日志里看到同一秒钟出现十几条来自搜索蜘蛛的请求，第一反应是“蜘蛛是不是在攻击我”。多数情况下，这只是正常抓取并发，和蜘蛛总量、抓取预算不是一回事。理解并发，才能判断服务器要不要加资源、要不要限流，以及限流之后抓取路径会不会变窄。
并发抓取指的是同一时间的连接数
蜘蛛抓取一个页面，从建立连接到拿到响应，中间有一段时间。如果它同时打开多个连接去取不同 URL，站在服务器视角就是“并发”。同一个蜘蛛可能来自多个 IP 段，不同蜘蛛之间也会叠加，所以并发数往往大于你看到的单个 UA 计数。
并发高本身不代表异常。真正需要判断的是：这些请求是否挤占了正常用户的资源。如果用户访问开始变慢、数据库连接池吃紧、P95 响应时间明显上升，那才说明承载边界被压到了。
哪些操作会把并发推高
- 一次性发布大量新 URL，Sitemap 也整批更新，蜘蛛可能集中来取。
- 列表页、分页、筛选参数生成出大量可抓取链接，内链把请求分散到许多 URL。
- 页面响应变慢，蜘蛛为了维持抓取效率，可能增加连接或延长等待。
- CDN 回源配置不合理，边缘节点各自回源，源站看到的并发被放大。
- 站内搜索、日历、对比页等动态入口被大量抓取。
先看指标，再决定动作
建议至少观察这几项：按秒或按分钟聚合的蜘蛛请求数、并发连接数、响应时间 P95、错误率、源站带宽和 CPU。把搜索蜘蛛的请求单独打标，和真实用户流量分开看，否则限流容易误伤。
可以给自己定一条简单的线：正常用户高峰期，蜘蛛并发不超过源站能承受连接数的一定比例，留出余量。这个比例没有通用值，取决于你的架构和缓存命中率。
并发过高时的处理顺序
- 先优化响应：能静态化的页面静态化，能缓存的加缓存，减少每次抓取都打数据库。
- 再考虑限流：在反向代理或 WAF 层针对蜘蛛 UA 做速率限制，注意保留正常抓取。
- 用状态码表达状态：临时过载可以返回 503，并在响应头里给出 Retry-After，让蜘蛛稍后再来。
- 别长期返回空内容：如果一直用 200 却给空白页，蜘蛛容易把它当成正常结果，后续判断会更乱。
robots.txt 里的 Crawl-delay 只有部分蜘蛛支持，不要把它当成唯一手段。更稳的做法是服务器端能接住，再配合 Sitemap 分批提交。
把发布节奏也当作并发控制
Sitemap 和内链是蜘蛛发现 URL 的入口，也是并发放大器。新站或大改版时，可以按栏目分批上线、分批更新 Sitemap，避免几千个 URL 在同一小时全部暴露。内链也可以分批加，先让核心页面被稳定抓取，再逐步铺开长尾。
日志里的并发怎么看
- 按秒统计蜘蛛请求条数，找出峰值出现的时段和对应 URL。
- 看峰值是否集中在少数几个模板或参数页，如果是，优先治理这些入口。
- 对比限流前后的抓取量、响应时间和错误率，确认没有把正常抓取挡掉。
留一条回归路径
并发策略不是设一次就结束。上新、改版、大促、CDN 调整之后，都值得重新看一遍日志。把蜘蛛抓取当成一种需要容量的正常流量来规划，服务器稳定，抓取路径才不容易断。
并发不是要压到零，而是让蜘蛛和真实用户都能在可接受的响应时间里拿到页面。