搭蜘蛛池时，绝大多数精力会花在域名、IP、入口页数量和目标页筛选上，入口页自己的响应速度却常常没人管。但对抓取程序来说，等待时间是实打实的成本：它在你的站点上停留的总时长有限，单个页面多耗几秒，能访问到的 URL 就少一批。
抓取预算里的时间账
抓取预算不是平台公布的数字，而是爬虫愿意投入的并发数、连接数和总时长共同决定的。入口页响应慢，等于在同样的时间窗口里少放几个 URL 进来。对靠规模换发现机会的蜘蛛池来说，速度下降几乎等于池子规模打了折。
更麻烦的是，慢往往不均匀。少数几个卡住的入口页会长期占用连接，让爬虫干脆降低整个站点的抓取频率。
TTFB：最先被感知的一段
怎么判断是不是慢
不需要精确到毫秒，只要能分清“蜘蛛到来之前页面是否已经准备好”。可以粗略分层：
- 200ms 以内：基本属于静态文件或缓存命中，蜘蛛几乎没有等待；
- 200–800ms：正常动态页面范围，可以接受；
- 800ms–2s：已经偏慢，入口页数量一大就容易拖累整池；
- 2s 以上：多数爬虫会开始怀疑站点稳定性。
慢通常慢在哪
- 入口页走了动态脚本，每次请求都查库、拼模板；
- 域名解析或回源链路不稳定，首字节被反复拖延；
- 和别的业务共用一台低配机器，CPU 长期被占满；
- 服务器开了各种拦截规则，把正常爬虫也拦在门外等超时。
页面体积与阻塞资源
入口页的职责只有一个：让爬虫看到指向目标页的链接。它不需要好看的排版、大图、字体文件或复杂前端。
- 图片与视频：蜘蛛通常不会下载它们，但会占用带宽和连接，拖慢同一批其他入口页的响应；
- 外部 JS 与统计脚本：第三方资源一旦变慢，页面会长时间处于未完成状态；
- CSS 阻塞：对抓取链接没有帮助，能精简就精简；
- 前端渲染的链接：如果链接靠 JS 生成，部分爬虫根本看不到，速度再好也没意义。
把入口页当成一个纯 HTML 的链接列表来设计，通常是最省事也最稳的选择。
超时之后会发生什么
请求超时不只是“这一次没抓到”。爬虫会记住这次失败：可能降低对你整个域名的访问频率，也可能把该 URL 标记为暂时不可用，过一段时间才回来重试。如果同一批入口页集中在同一台机器上，一次宕机就可能让整批页面同时进入冷却期。
测量与调整的顺序
- 先取一批入口页 URL，测首字节时间，看分布而不是只看平均值；
- 把明显偏慢的 URL 单独挑出来，判断是脚本、数据库还是网络问题；
- 给入口页加一层静态缓存，或直接生成静态 HTML 文件；
- 把图片、字体、第三方脚本从入口页模板里去掉；
- 确认链接在 HTML 源码里就能看到，不依赖 JS 渲染；
- 改完之后按批次上线，不要一次全量替换，方便前后对比。
几个常见误区
- 内容越多越像正常站：入口页堆大量正文，反而增加体积和渲染时间，对发现链接帮助有限；
- 速度只是一台机器的事：同一 IP 上的入口页互相抢资源，慢是连带的；
- 加个 CDN 就万事大吉：缓存规则没配好，回源照样慢，还可能因为节点判断影响爬虫识别；
- 只看平均值：平均 300ms，但有一部分超过 3s，问题恰恰就出在那部分上。
入口页不是给人看的页面，是给爬虫走的通道。通道窄一点没关系，别让它堵。
速度这件事不会立竿见影，但它决定了池子的下限：同样的域名、同样的入口页数量，跑得快的池子能拿到更多抓取机会。把它当成日常维护的一部分，比事后排查“为什么蜘蛛不来了”要省力得多。