做蜘蛛池投放时，很多人把注意力全放在“搜尋蜘蛛有没有来”上，却忽略了一個更早發生的問题：蜘蛛来了，但頁面還没吐出内容，它就走了。抓取超时不算玄学，它是一组可以被日誌證實的數字。
抓取超时到底卡在哪一步
一次抓取大致分三段：DNS 解析與建连、服務器返回首字节（TTFB）、首字节之後的传輸與渲染。任何一段慢，都會把總耗时往上推。搜尋蜘蛛對單次抓取有耐心上限，超過這個上限，它會断開连接，把這次抓取记為失敗或不完整，然後去抓別的地址。
几個常见的“慢”来源
- 資料库慢查询或接口串行調用，導致 TTFB 超過一两秒；
- 頁面体积過大，图片、字体、脚本没有压缩，传輸時間被拉長；
- 多次 301、302 跳轉，每一跳都要重新建连；
- 同一台服務器上並發抓取過多，CPU 或带宽被打满，正常抓取也被拖慢；
- 依赖 JS 渲染的頁面，渲染任務排队，蜘蛛拿到的是空壳。
怎么判断自己是被超时挡住了
不要凭感觉，用資料说话：
- 在服務器日誌里按 UA 過滤出搜尋蜘蛛的請求，看响應時間分布，尤其是 P95、P99；
- 查找 499、504、连接重置這類记錄，它們往往就是被客戶端提前断開的痕迹；
- 對比同一批 URL 里“被抓取”和“一直没被抓取”的响應時間差异；
- 用 curl 或抓取測試工具模拟低频訪問，看冷啟動时的真實耗时。
如果日誌里蜘蛛請求普遍在 1 秒内返回，抓取量却依然上不去，那問题多半不在超时，而在入口頁质量、内鏈结构或者抓取预算分配上，排查方向要換。
投放蜘蛛池时容易忽略的两点
第一，投放只是把蜘蛛引過来，真正决定它能不能顺利讀完頁面的是源站的响應能力。投放量越大，瞬时並發越高，本来勉强够用的服務器會先扛不住。
第二，入口頁和目标頁如果部署在同一台机器上，入口頁静態化做得再好，目标頁慢一样會拖後腿。
抓取超时是“丢一次机會”，不是“被判死刑”。地址後續還可能被再次抓取，但频繁超时會拉低该目錄下的抓取频次。
實操上的收敛顺序
- 先把 TTFB 压到合理区間，缓存和静態化優先于換机器；
- 减少跳轉鏈，投放清單里直接填最终可達地址；
- 压缩响應体，图片懒加载，非必要脚本延後执行；
- 控制單次投放的並發量，给服務器留出余量；
- 投放後回看日誌，確認响應時間没有随投放量上升而恶化。
顺序對了，同样的预算能換来更多有效抓取；顺序错了，投放量越大，超时越多。