很多站点运营者盯着 Sitemap、内链和 robots.txt，却忽略了一个更前置的问题：蜘蛛能不能顺利把页面下载回去。链接铺得再清晰，如果服务器响应慢、连接频繁中断，蜘蛛对整站的判断也会跟着变差。

蜘蛛打开一个页面的完整链路

从搜索引擎的角度看，抓取一个 URL 并不是一步到位。它大致会经历：

• DNS 解析：把域名换成 IP，解析慢或超时，请求还没开始就结束了。
• 建立连接：TCP 握手，如果服务器连接队列满，可能直接被拒。
• TLS 握手：HTTPS 站点多几次往返，证书链不完整也会导致失败。
• 发送请求并等待首字节：也就是 TTFB，这一段时间服务器在处理请求、查数据库、等后端接口。
• 下载正文：HTML 体积大、分块传输慢，都会拉长抓取时间。

其中任何一环明显变慢，蜘蛛的这次抓取体验都会打折。它不会为某个 URL 单独多等一会儿，而是把这个站点整体的响应情况记入判断。

多慢算慢：蜘蛛的耐心与超时

搜索引擎没有公开统一的超时阈值，不同爬虫、不同机房、不同时段的容忍度都不同。但可以确定两点：

• 响应越慢，蜘蛛单位时间内能抓的页面越少，抓取频次更容易被压低。
• 持续超时或连接失败的 URL，会在一段时间内被减少尝试，甚至被暂时放回待抓队列末尾。

常见的表现是：蜘蛛来得很勤，但抓取深度上不去，很多 URL 停留在已发现未抓取的状态。这时候去查日志，往往能看到大量 5xx，或者干脆没有记录——请求在到达应用之前就被挡掉了。

抓取预算不是单看页面数量，服务器响应速度本身就会改变预算的面值。

5xx、429 与连接中断，蜘蛛会怎么理解

不同状态码传递的信号不一样：

• 500、502、503、504：通常被理解为服务端暂时不可用。短期回退可以，长期频繁出现，蜘蛛会降低回访频率。
• 429：表示请求过多。蜘蛛一般会退避，但如果站点常年对爬虫返回 429，URL 发现和更新都会变慢。
• 连接超时、重置：没有 HTTP 状态码，蜘蛛只能记为失败。这类问题对抓取的伤害往往比 404 更大，因为它无法判断页面是否还存在。

相比之下，明确的 404 是一个可理解的答案，而超时是一个没有答案的问题。

服务器不稳定如何拖慢 URL 发现

URL 发现和抓取是两件事，但它们会被同一件事拖累：响应质量。新 URL 通常先进入待抓队列，排到之后再发起请求。如果服务器慢，队列消化速度下降，新链接被实际抓取的时间就会顺延。表现到运营层面，就是：

• 新发布的页面，蜘蛛来得比过去晚。
• 已收录页面更新后，快照和摘要变化慢。
• Sitemap 里的 URL 长时间处于已提交未抓取。

这些现象容易被误判为内链没做好或 Sitemap 不被信任，但根因可能只是服务器在特定时段扛不住。

排查时可以先看这几处

• 按小时统计蜘蛛请求的响应时间，看看慢的时段是否和业务高峰重合。
• 区分静态资源和 HTML：图片、CSS 拖慢整页加载，但不代表 HTML 本身慢。
• 检查后端慢查询、外部接口超时、缓存是否命中，这些往往直接体现在 TTFB 上。
• 确认 CDN、WAF、限流规则没有对搜索引擎 IP 段误伤，尤其是返回 403 或 429 的情况。
• 给蜘蛛留出稳定的响应窗口，必要时把重活、批量任务避开抓取高峰。

改善方向：先稳住，再谈优化

服务器稳定性不是抓取的加分项，而是及格线。比较务实的做法是：把 HTML 响应做快，把静态资源交给 CDN，把容易超时的接口加缓存和降级，把错误页返回明确的状态码。做到这些之后，再去调内链、分页和 Sitemap，效果才会落在抓取路径上。

如果站点长期响应不稳定，任何 URL 发现策略都会被打折。蜘蛛不是不愿意来，而是每次来都在门口等太久。