入口頁被蜘蛛抓取时，服務器慢一点，看起来只是几十毫秒的区別，但在爬虫侧會被放大成抓取队列积压、超时放弃，甚至整個入口頁被降频。先把超时机制搞清楚，比反复換域名更接近問题本身。
一、蜘蛛的等待有上限
主流搜尋引擎的爬虫都會設定超时，通常可以拆成三层：连接超时、首字节時間（TTFB）和整体下载超时。任何一层被触發，這次抓取就作废，而且往往不會立刻重试，而是被排到更靠後的队列里。
- 连接超时：DNS 解析慢、机房线路抖動、目标端口不通，蜘蛛连都连不上。
- 首字节時間：程序處理慢、資料库查询慢、同步調用外部接口，蜘蛛只能干等。
- 整体下载：HTML 体积過大、Gzip 未開啟、邊渲染邊輸出，都會拉長完成時間。
需要說明的是，超时不等于封禁，但它确實在消耗抓取预算。入口頁越多、越慢，最终能被抓到的頁面就越少。
二、頁面体积：大不等于内容多
蜘蛛下载的是 HTML 源碼，不是渲染後的视觉效果。入口頁里塞進大量内联样式、内联脚本、base64 图片或整站菜單，會让真正需要被發現的連結被埋在几千行代碼中間。
- 入口頁的 HTML 建议控制在几十到一百多 KB，不需要承载整套样式体系。
- 連結尽量出現在源碼前部，避免被截断或降低识別度。
- 外鏈的 JS、CSS、图片蜘蛛多數不會全部拉取，但仍會占用服務器带宽。
三、常见的慢從哪来
多數入口頁结构並不复杂，慢通常是几個原因叠加出来的：
- 每次請求都查資料库且没有缓存，列表頁尤其明顯。
- 模板里調用了外部接口，比如統計、翻译、天气這類第三方服務。
- 反向代理或 CDN 回源频繁，缓存命中率偏低。
- 同一台服務器上大量站点被同时抓取，带宽被打满。
- 错誤處理寫得不好，異常时反而進入長循环或超長等待。
四、怎么定位：從日誌和分段計时入手
不要凭感觉判断快慢，把資料拆開看更有效：
- 把耗时拆成 DNS、连接、TTFB、内容传輸四段，先確認是哪一段異常。
- 在服務器日誌里統計响應時間分布，重点看 P95、P99，而不是平均值。
- 看狀態碼构成：大量 5xx、连接中断，通常指向资源不足而不是内容問题。
- 對比不同时段的日誌，判断是持續慢，還是只在抓取高峰慢。
五、可以落地的取舍
- 入口頁静態化：能生成静態文件就別走動態查询，這是最直接的提速方式。
- 让错誤快速失敗：異常时立刻返回错誤狀態，不要挂着连接慢慢等。
- 控制單頁連結數量：几百個不稳定的連結，不如几十個稳定可抓的連結有用。
- 限流與排队：给蜘蛛單獨的並發額度，避免和真實用戶互相挤占。
- 盯住超时率：把抓取超时比例当成日常指标，比偶發看一次速度更有意义。
六、速度差會形成循环
响應快的站点，蜘蛛往往愿意提高抓取频次；响應慢的站点，频次被压低，新連結被發現的時間随之拉長。這個循环一旦形成，單纯增加入口頁數量很难扭轉，先把單頁响應做稳更划算。
入口頁的核心任務是让蜘蛛快速拿到連結，而不是展示完整功能。速度上的每一分投入，最终都會体現在被抓取的頁面數量上。