蜘蛛池入口页的响应速度，平时容易被忽略，直到抓取量下滑才被注意到。蜘蛛来访时，从解析 DNS、建立连接，到收到第一个字节，再到读完整个页面，每一步都有时间成本。搜索引擎的抓取资源有限，入口页如果经常慢，蜘蛛可能会降低来访频次，或者干脆把配额挪到别的站点。

蜘蛛等待的到底是什么

讨论响应时间，不能只看一个“加载完成”的数字。对蜘蛛来说，至少有三段等待：连接建立、首字节返回、内容读取。任意一段过长，都可能导致抓取中断。

• 连接超时：TCP 握手或 TLS 握手迟迟不完成，蜘蛛可能直接判定不可达。
• 首字节超时：服务器已经接受请求，但迟迟不返回 HTML 的第一个字节，也就是常说的 TTFB。
• 读取超时：首字节已经返回，但页面内容传输断断续续，蜘蛛等不下去。

这三段里，TTFB 对入口页的影响通常最直接。入口页本身内容不多，如果 TTFB 就很高，后续再快也补不回来。

TTFB 多慢算慢

没有一条放之四海而皆准的警戒线，不同搜索引擎、不同抓取环境、不同网络线路都会有差异。但从运营经验看，可以这样粗略分层：

• 200ms 以内：对蜘蛛比较友好，抓取节奏通常稳定。
• 200ms 到 500ms：多数情况下能接受，但如果入口页数量多，整体抓取效率会受影响。
• 500ms 到 1s：开始有风险，蜘蛛可能减少单次抓取页数。
• 1s 以上：部分蜘蛛会缩短等待，甚至提前终止。
• 3s 以上：除非页面权重很高，否则蜘蛛再次来访的概率会明显下降。

响应时间不是排名因素，但它会影响蜘蛛愿不愿意来、来了愿不愿意多爬。对蜘蛛池来说，这相当于入口的通行效率。

哪些因素在拖慢入口页

入口页往往不是静态 HTML，而是经过程序生成、数据库查询或模板渲染。常见拖慢因素包括：

• 数据库慢查询，尤其是未加索引的查询或关联太多的语句。
• 服务器负载过高，CPU、内存或磁盘 I/O 长期吃紧。
• DNS 解析慢，或者线路绕行导致连接建立时间长。
• SSL 握手开销大，证书链不完整或未启用会话复用。
• CDN 回源慢，或者缓存命中率低，每次都要回源生成。
• 页面里嵌入了外部统计、字体、脚本，阻塞了首字节返回。

如果入口页是动态生成，先看程序执行时间和数据库耗时；如果是静态文件，重点看网络和缓存层。

给蜘蛛留出合理余量

服务器端超时设置过短，会让蜘蛛看到 5xx 或连接中断；设置过长，又会把慢请求拖成雪崩。比较稳妥的做法是分层设置：

• Web 服务器到应用层的超时，可以略长于正常页面生成时间，但不要无限等待。
• 数据库查询设置超时，慢查询及时失败并记录，而不是一直挂着。
• 对入口页启用缓存，把动态生成结果缓存一段时间，减少重复计算。
• 静态资源与入口页分开处理，避免外部资源拖累 HTML 首字节。

不建议为了“让蜘蛛看到更多”而单独给蜘蛛开一条无缓存的通道。蜘蛛看到的页面和用户看到的差异太大，后续分析会失真。

怎么观测响应时间

入口页数量多时，靠人工点开看不过来。可以从几个地方入手：

• 服务器访问日志里的响应时间字段，按 URL 分组看平均值和长尾。
• 搜索引擎抓取统计中的抓取耗时、抓取频次和状态码分布。
• 自己写的探针，定时请求一批入口页，记录 TTFB 和总耗时。
• 对比蜘蛛来访时段和普通用户时段的响应差异，判断是否被其他流量挤占。

观测时不要只看平均值，长尾慢请求更值得注意。一个入口页偶尔 5 秒，可能就让蜘蛛记住了这个域名不可靠。

几个容易踩的坑

• 只测首页，不测真正被蜘蛛抓取的入口页。
• 用单次测速结果下结论，忽略线路波动和时间段差异。
• 把 CDN 缓存命中率当作唯一指标，忽略回源质量。
• 为了降低 TTFB，把入口页做成极简模板，结果内容重复度上升，反而引发其他问题。
• 看到蜘蛛超时就立刻加机器，没有先定位是数据库、网络还是程序问题。

蜘蛛池入口页的响应时间，说到底是一个“通行效率”问题。不必追求毫秒级极致，但要避免让蜘蛛在门口等太久。先建立自己的基线，再对比抓取日志里的变化，比盲目调参更有效。