蜘蛛来到入口頁，並不是一敲门就拿到内容。它要先建立连接，再等服務器吐出第一個字节，最後把整頁讀完。這三段里任何一段拖得太久，抓取都可能提前收场——蜘蛛轉身走了，入口頁後面鏈着的资源也就没机會被發現。
蜘蛛的三段等待
把一次抓取拆開看，時間花在三個地方：
- 建立连接：DNS 解析、TCP 握手、TLS 握手。如果入口頁挂着不稳定的域名解析或證书鏈過長，這一步就會先吃掉几百毫秒。
- 等待首字节（TTFB）：請求發出去到服務器返回第一個字节。後端程序生成、資料库查询、同步調用外部接口，都堆在這里。
- 下载全文：首字节之後的传輸時間。頁面越大、出口带宽越紧，這一段越長。
對蜘蛛来说，這三段是连續的等待。它没有耐心一层层排查，只會在整体超過自己的容忍度时放弃。
超时不是一條固定线
不同搜尋引擎、不同抓取模块的超时設定並不一样，也没有公開的统一标准。可以确定的是：越慢的入口頁，被抓取的机會越少，抓取間隔也可能被拉長。與其去猜某條精确阈值，不如把思路放在“比同類站点更快”上。
几個常见現象值得注意：
- 首字节長期在几秒以上，蜘蛛往往连正文都没讀完就断開。
- 頁面明明不大，但传輸阶段很慢，通常是服務器出口带宽被別的任務占满。
- 同一個入口頁时快时慢，說明後端有不确定的耗时环节，比如按請求實时生成。
入口頁為什么容易慢
蜘蛛池的入口頁常有几個特征，正好都指向慢：
- 由程序批量生成的動態頁，每次訪問都要重新拼装。
- 為了“看起来内容丰富”，挂载了大量外部资源或統計脚本。
- 部署在配置較低的机器上，或者多個入口站挤在同一台服務器。
- 经過多层跳轉，蜘蛛要跟着走好几次才能到内容。
這些做法在數量上省事，但在响應時間上會累积成负担。
怎么测，测什么
與其凭感觉，不如留下可比較的數字。命令行工具就能看到關键分段：
- 用 curl -w 輸出连接時間、首字节時間、總時間，多测几次取中位數。
- 在 access log 里记錄請求處理耗时，把入口頁和普通頁分開統計。
- 從不同網絡位置测，避免只在自己办公室的網絡上得到乐观结果。
建议按小时或按天對比，而不是只看一次结果。响應時間的波動，往往比平均值更能說明問题。
可落地的優化顺序
先砍不确定性
- 入口頁尽量静態化，把拼装工作放到生成阶段，而不是每次訪問时。
- 去掉頁面上非必要的外部請求，尤其是同步加载的第三方脚本。
- 减少重定向层數，能让蜘蛛一次拿到的，就不要让它走两趟。
再补基础设施
- 给入口頁單獨准备一份缓存，命中缓存时直接返回。
- 检查 DNS 與證书配置，缩短握手环节的等待。
- 如果多個入口站共用一台机器，给抓取請求留出带宽余量。
最後才是扩容
加机器、加带宽能缓解压力，但如果前端還在實时生成、還在堆外部资源，扩容只是把同样的問题推到更大的池子里。先把结构性的耗时降下来，再看资源是否够用。
一個容易被忽略的点
响應時間不只影响“這次能不能抓到”，還影响蜘蛛對入口頁更新节奏的判断。一個長期秒回的入口頁，蜘蛛更愿意多来几次；一個经常超时的入口頁，即使内容真的更新了，也可能要等很久才被發現。
把入口頁的响應時間当成一項日常指标来观察，比事後翻日誌找原因要省力得多。
简單说，蜘蛛在门口等待的時間是有限的。你不需要做到极致快，但要避免让它站在那儿，面對的是一扇迟迟不開的门。