入口页被蜘蛛抓取时，服务器慢一点，看起来只是几十毫秒的区别，但在爬虫侧会被放大成抓取队列积压、超时放弃，甚至整个入口页被降频。先把超时机制搞清楚，比反复换域名更接近问题本身。
一、蜘蛛的等待有上限
主流搜索引擎的爬虫都会设置超时，通常可以拆成三层：连接超时、首字节时间（TTFB）和整体下载超时。任何一层被触发，这次抓取就作废，而且往往不会立刻重试，而是被排到更靠后的队列里。
- 连接超时：DNS 解析慢、机房线路抖动、目标端口不通，蜘蛛连都连不上。
- 首字节时间：程序处理慢、数据库查询慢、同步调用外部接口，蜘蛛只能干等。
- 整体下载：HTML 体积过大、Gzip 未开启、边渲染边输出，都会拉长完成时间。
需要说明的是，超时不等于封禁，但它确实在消耗抓取预算。入口页越多、越慢，最终能被抓到的页面就越少。
二、页面体积：大不等于内容多
蜘蛛下载的是 HTML 源码，不是渲染后的视觉效果。入口页里塞进大量内联样式、内联脚本、base64 图片或整站菜单，会让真正需要被发现的链接被埋在几千行代码中间。
- 入口页的 HTML 建议控制在几十到一百多 KB，不需要承载整套样式体系。
- 链接尽量出现在源码前部，避免被截断或降低识别度。
- 外链的 JS、CSS、图片蜘蛛多数不会全部拉取，但仍会占用服务器带宽。
三、常见的慢从哪来
多数入口页结构并不复杂，慢通常是几个原因叠加出来的：
- 每次请求都查数据库且没有缓存，列表页尤其明显。
- 模板里调用了外部接口，比如统计、翻译、天气这类第三方服务。
- 反向代理或 CDN 回源频繁，缓存命中率偏低。
- 同一台服务器上大量站点被同时抓取，带宽被打满。
- 错误处理写得不好，异常时反而进入长循环或超长等待。
四、怎么定位：从日志和分段计时入手
不要凭感觉判断快慢，把数据拆开看更有效：
- 把耗时拆成 DNS、连接、TTFB、内容传输四段，先确认是哪一段异常。
- 在服务器日志里统计响应时间分布，重点看 P95、P99，而不是平均值。
- 看状态码构成：大量 5xx、连接中断，通常指向资源不足而不是内容问题。
- 对比不同时段的日志，判断是持续慢，还是只在抓取高峰慢。
五、可以落地的取舍
- 入口页静态化：能生成静态文件就别走动态查询，这是最直接的提速方式。
- 让错误快速失败：异常时立刻返回错误状态，不要挂着连接慢慢等。
- 控制单页链接数量：几百个不稳定的链接，不如几十个稳定可抓的链接有用。
- 限流与排队：给蜘蛛单独的并发额度，避免和真实用户互相挤占。
- 盯住超时率：把抓取超时比例当成日常指标，比偶发看一次速度更有意义。
六、速度差会形成循环
响应快的站点，蜘蛛往往愿意提高抓取频次；响应慢的站点，频次被压低，新链接被发现的时间随之拉长。这个循环一旦形成，单纯增加入口页数量很难扭转，先把单页响应做稳更划算。
入口页的核心任务是让蜘蛛快速拿到链接，而不是展示完整功能。速度上的每一分投入，最终都会体现在被抓取的页面数量上。