做蜘蛛池投放时，很多人把注意力全放在“搜索蜘蛛有没有来”上，却忽略了一个更早发生的问题：蜘蛛来了，但页面还没吐出内容，它就走了。抓取超时不算玄学，它是一组可以被日志证实的数字。
抓取超时到底卡在哪一步
一次抓取大致分三段：DNS 解析与建连、服务器返回首字节（TTFB）、首字节之后的传输与渲染。任何一段慢，都会把总耗时往上推。搜索蜘蛛对单次抓取有耐心上限，超过这个上限，它会断开连接，把这次抓取记为失败或不完整，然后去抓别的地址。
几个常见的“慢”来源
- 数据库慢查询或接口串行调用，导致 TTFB 超过一两秒；
- 页面体积过大，图片、字体、脚本没有压缩，传输时间被拉长；
- 多次 301、302 跳转，每一跳都要重新建连；
- 同一台服务器上并发抓取过多，CPU 或带宽被打满，正常抓取也被拖慢；
- 依赖 JS 渲染的页面，渲染任务排队，蜘蛛拿到的是空壳。
怎么判断自己是被超时挡住了
不要凭感觉，用数据说话：
- 在服务器日志里按 UA 过滤出搜索蜘蛛的请求，看响应时间分布，尤其是 P95、P99；
- 查找 499、504、连接重置这类记录，它们往往就是被客户端提前断开的痕迹；
- 对比同一批 URL 里“被抓取”和“一直没被抓取”的响应时间差异；
- 用 curl 或抓取测试工具模拟低频访问，看冷启动时的真实耗时。
如果日志里蜘蛛请求普遍在 1 秒内返回，抓取量却依然上不去，那问题多半不在超时，而在入口页质量、内链结构或者抓取预算分配上，排查方向要换。
投放蜘蛛池时容易忽略的两点
第一，投放只是把蜘蛛引过来，真正决定它能不能顺利读完页面的是源站的响应能力。投放量越大，瞬时并发越高，本来勉强够用的服务器会先扛不住。
第二，入口页和目标页如果部署在同一台机器上，入口页静态化做得再好，目标页慢一样会拖后腿。
抓取超时是“丢一次机会”，不是“被判死刑”。地址后续还可能被再次抓取，但频繁超时会拉低该目录下的抓取频次。
实操上的收敛顺序
- 先把 TTFB 压到合理区间，缓存和静态化优先于换机器；
- 减少跳转链，投放清单里直接填最终可达地址；
- 压缩响应体，图片懒加载，非必要脚本延后执行；
- 控制单次投放的并发量，给服务器留出余量；
- 投放后回看日志，确认响应时间没有随投放量上升而恶化。
顺序对了，同样的预算能换来更多有效抓取；顺序错了，投放量越大，超时越多。