蜘蛛池入口頁的响應速度，平时容易被忽略，直到抓取量下滑才被注意到。蜘蛛来訪时，從解析 DNS、建立连接，到收到第一個字节，再到讀完整個頁面，每一步都有時間成本。搜尋引擎的抓取资源有限，入口頁如果经常慢，蜘蛛可能會降低来訪频次，或者干脆把配額挪到別的站点。

蜘蛛等待的到底是什么

讨论响應時間，不能只看一個“加载完成”的數字。對蜘蛛来说，至少有三段等待：连接建立、首字节返回、内容讀取。任意一段過長，都可能導致抓取中断。

• 连接超时：TCP 握手或 TLS 握手迟迟不完成，蜘蛛可能直接判定不可達。
• 首字节超时：服務器已经接受請求，但迟迟不返回 HTML 的第一個字节，也就是常说的 TTFB。
• 讀取超时：首字节已经返回，但頁面内容传輸断断續續，蜘蛛等不下去。

這三段里，TTFB 對入口頁的影响通常最直接。入口頁本身内容不多，如果 TTFB 就很高，後續再快也补不回来。

TTFB 多慢算慢

没有一條放之四海而皆准的警戒线，不同搜尋引擎、不同抓取环境、不同網絡线路都會有差异。但從运营经驗看，可以這样粗略分层：

• 200ms 以内：對蜘蛛比較友好，抓取节奏通常稳定。
• 200ms 到 500ms：多數情况下能接受，但如果入口頁數量多，整体抓取效率會受影响。
• 500ms 到 1s：開始有風險，蜘蛛可能减少單次抓取頁數。
• 1s 以上：部分蜘蛛會缩短等待，甚至提前终止。
• 3s 以上：除非頁面權重很高，否則蜘蛛再次来訪的概率會明顯下降。

响應時間不是排名因素，但它會影响蜘蛛愿不愿意来、来了愿不愿意多爬。對蜘蛛池来说，這相当于入口的通行效率。

哪些因素在拖慢入口頁

入口頁往往不是静態 HTML，而是经過程序生成、資料库查询或模板渲染。常见拖慢因素包括：

• 資料库慢查询，尤其是未加索引的查询或關联太多的语句。
• 服務器负载過高，CPU、内存或磁盘 I/O 長期吃紧。
• DNS 解析慢，或者线路绕行導致连接建立時間長。
• SSL 握手開销大，證书鏈不完整或未啟用會话复用。
• CDN 回源慢，或者缓存命中率低，每次都要回源生成。
• 頁面里嵌入了外部統計、字体、脚本，阻塞了首字节返回。

如果入口頁是動態生成，先看程序执行時間和資料库耗时；如果是静態文件，重点看網絡和缓存层。

给蜘蛛留出合理余量

服務器端超时設定過短，會让蜘蛛看到 5xx 或连接中断；設定過長，又會把慢請求拖成雪崩。比較稳妥的做法是分层設定：

• Web 服務器到應用层的超时，可以略長于正常頁面生成時間，但不要無限等待。
• 資料库查询設定超时，慢查询及时失敗並记錄，而不是一直挂着。
• 對入口頁啟用缓存，把動態生成结果缓存一段時間，减少重复計算。
• 静態资源與入口頁分開處理，避免外部资源拖累 HTML 首字节。

不建议為了“让蜘蛛看到更多”而單獨给蜘蛛開一條無缓存的通道。蜘蛛看到的頁面和用戶看到的差异太大，後續分析會失真。

怎么观测响應時間

入口頁數量多时，靠人工点開看不過来。可以從几個地方入手：

• 服務器訪問日誌里的响應時間字段，按 URL 分组看平均值和長尾。
• 搜尋引擎抓取統計中的抓取耗时、抓取频次和狀態碼分布。
• 自己寫的探针，定时請求一批入口頁，记錄 TTFB 和總耗时。
• 對比蜘蛛来訪时段和普通用戶时段的响應差异，判断是否被其他流量挤占。

观测时不要只看平均值，長尾慢請求更值得注意。一個入口頁偶尔 5 秒，可能就让蜘蛛记住了這個域名不可靠。

几個容易踩的坑

• 只测首頁，不测真正被蜘蛛抓取的入口頁。
• 用單次测速结果下结论，忽略线路波動和時間段差异。
• 把 CDN 缓存命中率当作唯一指标，忽略回源质量。
• 為了降低 TTFB，把入口頁做成极简模板，结果内容重复度上升，反而引發其他問题。
• 看到蜘蛛超时就立刻加机器，没有先定位是資料库、網絡還是程序問题。

蜘蛛池入口頁的响應時間，说到底是一個“通行效率”問题。不必追求毫秒級极致，但要避免让蜘蛛在门口等太久。先建立自己的基线，再對比抓取日誌里的變化，比盲目調參更有效。