搭蜘蛛池时，绝大多數精力會花在域名、IP、入口頁數量和目标頁篩選上，入口頁自己的响應速度却常常没人管。但對抓取程序来说，等待時間是實打實的成本：它在你的站点上停留的總时長有限，單個頁面多耗几秒，能訪問到的 URL 就少一批。
抓取预算里的時間帳
抓取预算不是平台公布的數字，而是爬虫愿意投入的並發數、连接數和總时長共同决定的。入口頁响應慢，等于在同样的時間窗口里少放几個 URL 進来。對靠規模換發現机會的蜘蛛池来说，速度下降几乎等于池子規模打了折。
更麻烦的是，慢往往不均匀。少數几個卡住的入口頁會長期占用连接，让爬虫干脆降低整個站点的抓取频率。
TTFB：最先被感知的一段
怎么判断是不是慢
不需要精确到毫秒，只要能分清“蜘蛛到来之前頁面是否已经准备好”。可以粗略分层：
- 200ms 以内：基本属于静態文件或缓存命中，蜘蛛几乎没有等待；
- 200–800ms：正常動態頁面范围，可以接受；
- 800ms–2s：已经偏慢，入口頁數量一大就容易拖累整池；
- 2s 以上：多數爬虫會開始怀疑站点稳定性。
慢通常慢在哪
- 入口頁走了動態脚本，每次請求都查库、拼模板；
- 域名解析或回源鏈路不稳定，首字节被反复拖延；
- 和別的业務共用一台低配机器，CPU 長期被占满；
- 服務器開了各種拦截規則，把正常爬虫也拦在门外等超时。
頁面体积與阻塞资源
入口頁的职责只有一個：让爬虫看到指向目标頁的連結。它不需要好看的排版、大图、字体文件或复杂前端。
- 图片與视频：蜘蛛通常不會下载它們，但會占用带宽和连接，拖慢同一批其他入口頁的响應；
- 外部 JS 與統計脚本：第三方资源一旦變慢，頁面會長時間處于未完成狀態；
- CSS 阻塞：對抓取連結没有帮助，能精简就精简；
- 前端渲染的連結：如果連結靠 JS 生成，部分爬虫根本看不到，速度再好也没意义。
把入口頁当成一個纯 HTML 的連結列表来设計，通常是最省事也最稳的選擇。
超时之後會發生什么
請求超时不只是“這一次没抓到”。爬虫會记住這次失敗：可能降低對你整個域名的訪問频率，也可能把该 URL 标记為暂时不可用，過一段時間才回来重试。如果同一批入口頁集中在同一台机器上，一次宕机就可能让整批頁面同时進入冷却期。
测量與調整的顺序
- 先取一批入口頁 URL，测首字节時間，看分布而不是只看平均值；
- 把明顯偏慢的 URL 單獨挑出来，判断是脚本、資料库還是網絡問题；
- 给入口頁加一层静態缓存，或直接生成静態 HTML 文件；
- 把图片、字体、第三方脚本從入口頁模板里去掉；
- 確認連結在 HTML 源碼里就能看到，不依赖 JS 渲染；
- 改完之後按批次上线，不要一次全量替換，方便前後對比。
几個常见誤区
- 内容越多越像正常站：入口頁堆大量正文，反而增加体积和渲染時間，對發現連結帮助有限；
- 速度只是一台机器的事：同一 IP 上的入口頁互相抢资源，慢是连带的；
- 加個 CDN 就萬事大吉：缓存規則没配好，回源照样慢，還可能因為节点判断影响爬虫识別；
- 只看平均值：平均 300ms，但有一部分超過 3s，問题恰恰就出在那部分上。
入口頁不是给人看的頁面，是给爬虫走的通道。通道窄一点没關系，別让它堵。
速度這件事不會立竿见影，但它决定了池子的下限：同样的域名、同样的入口頁數量，跑得快的池子能拿到更多抓取机會。把它当成日常维護的一部分，比事後排查“為什么蜘蛛不来了”要省力得多。