很多站点在流量正常时并不关注响应时间，直到某天发现蜘蛛来得少了、新页面迟迟没动静，才回头去翻日志。抓取本质上是一件很看时间成本的事：蜘蛛在一个页面上多等一秒，它能走的页面就少一个。响应速度不只影响用户体验，也直接决定蜘蛛在你的站上能走多远。
一次抓取的时间花在哪
- 连接建立：DNS 解析、TCP 握手、TLS 协商，这段和服务器性能关系不大，但受机房位置、CDN 节点影响明显。
- 首字节时间（TTFB）：请求发出到收到第一个字节，基本由后端决定，是排查时最先该看的指标。
- 内容传输：HTML 从服务器传到蜘蛛手里，体积越大、出口带宽越紧，这一段越长。
- 解析与渲染：蜘蛛还要构建 DOM、执行脚本、取必要的子资源，这部分慢通常出在前端。
响应慢会带来哪些连锁反应
- 蜘蛛有自己的等待上限，超时后这次抓取就算失败，页面当次的内容不会被拿到。
- 抓到失败或半截内容，蜘蛛容易判断这一页不值得频繁来，后续抓取频率大概率会降。
- 抓取时间被慢页面吃掉，分给其他页面的额度就少了，新 URL 发现和更新重抓都会往后排。
- 慢请求会占用服务器连接和进程，高峰期越慢越堵，容易形成自我强化的拥堵。
要注意的是，蜘蛛并不会因为你偶尔慢一次就永久降低抓取，它更看长期表现和整体比例。但如果慢请求占比持续偏高，抓取节奏的收缩是比较常见的现象。
该盯哪些指标
- 蜘蛛请求的平均响应时间和 P95，平均值正常但长尾很慢，同样会拖累抓取。
- 超时与 5xx 在蜘蛛请求中的占比，这是最直接的信号。
- 单次抓取的完整下载时间，而不只是首字节。
- 页面 HTML 体积，动辄几百 KB 的 DOM 会让解析阶段明显变长。
先分清是全局慢还是只对蜘蛛慢
把日志里带蜘蛛 UA 的请求单独拎出来，算一遍响应时间分布，再和普通用户请求做对比。
- 两类请求都慢：多半是后端、数据库或带宽的问题。
- 只有蜘蛛慢：检查是否有限速规则、WAF 策略，或者线路与地区的差异。
- 只有某个时段慢：对照备份、报表、定时任务的时间点，看看是不是撞在一起。
可以动手做的几件事
- 给列表页、文章页加缓存层，把动态查询结果缓存住，减少每次请求都穿透到数据库。
- 把明显可以静态化的页面静态化，尤其是访问量大的入口页。
- 控制 HTML 体积，做好压缩，去掉不需要的内联脚本和冗余标签，减少 DOM 深度。
- 高峰期给蜘蛛设置合理的并发上限，而不是直接拒绝；拒绝容易让抓取节奏更乱。
- 把定时任务错峰，尽量避开蜘蛛活跃的时段。
- 用 CDN 分担静态资源，让回源请求集中在真正的页面上。
响应时间不是优化一次就能一劳永逸的事。改完之后隔一两周再回来看日志里的分布，比看单次测试结果更有意义。
小结
蜘蛛的等待是有边界的，页面响应速度决定了它能不能把该拿的内容拿完整。与其纠结蜘蛛多久回来一次，不如先把平均响应时间和长尾请求压下来。抓取顺畅之后，URL 发现和更新重抓这些环节才谈得上有节奏。