蜘蛛把站点拖慢，通常不是单一原因。多数情况下，是并发请求集中落在同一批动态页面上，加上单次请求本身耗时偏高，两者叠加才让服务器吃紧。想调好节奏，先要弄清自己遇到的是哪一种。
先分清两种慢
一种情况是：日志里某个时段的抓取请求数突然翻倍，但每个请求的响应时间还算稳定，这是并发压力。另一种情况是：请求量没有明显变化，单个请求的 TTFB 却越来越长，这偏单点瓶颈，常见于慢查询、外部接口调用、缺少缓存。两者的处理顺序完全不同，前者先从入口限速和后端并发上限入手，后者要先解决具体的慢请求。
服务器侧可以调的几项
- 连接数与并发上限：给蜘蛛来源单独设一个并发上限，避免它在几秒内打满后端工作进程，把正常用户一起拖住。
- 响应超时：把后端超时适当收短，让慢请求尽快返回失败状态，而不是长时间占着连接不放。
- 缓存：静态资源、列表页首屏、详情页做短时缓存，能明显降低重复抓取的代价。
- 日志字段：抓取高峰时段保留完整的时间、状态码、耗时字段，方便事后核对状态码分布和慢请求集中在哪些路径。
站点侧能减的负担
- 页面体积：把首屏 HTML 里的大段内联数据、暂时用不到的脚本往下挪或延迟加载。
- 静态化或预渲染：把高频被抓的页面提前生成，减少每次请求都跑一遍模板和数据库。
- 分页与筛选：让蜘蛛能顺着稳定的列表页找到详情页，避免它为找内容反复组合参数。
- 内链结构：把重要页面放在离首页更近的位置，减少蜘蛛为了到达它们而做的无效翻页。
调整的顺序
- 看日志，确认高峰时段与受影响的具体路径，别急着改配置。
- 先加缓存、处理慢查询，再考虑收紧并发上限。
- 给蜘蛛设置单独的限速或独立入口，不与普通用户抢同一条通道。
- 调整后观察一段时间，确认抓取量没有持续下降、状态码分布变干净。
限速不是把蜘蛛挡在门外，而是让它在可承受的节奏下持续访问。抓取量短期小幅下降、错误比例明显减少，通常比持续超时更值得。
观察哪些指标
调整前后至少看四组数字：单位时间的抓取请求量、按状态码分组的比例、被访问 URL 的 TTFB 分布，以及被抓 URL 的重复比例。如果重复比例很高而总量上不去，说明蜘蛛在少数页面上反复试探，此时更该检查内链和参数页面，而不是一味放宽限速。
两个容易忽略的点
有些站点的慢并不是蜘蛛造成的，而是自己的定时任务、备份、日志切割恰好和抓取高峰重叠。把运维任务和抓取时段错开，往往比调整限速更有效。
另外，CDN 或反向代理层的超时设置如果比源站短，会出现用户看到错误、源站日志却没有记录的情况，核对时要同时看两层日志，否则很容易把问题归因到蜘蛛身上。
并发与限速没有万能数值。先量出自己站点的承受线，再让抓取节奏落在这一条线以内，比照搬别人的参数更靠谱。