蜘蛛来抓页面，不只是“发出请求、拿到 HTML”这么简单。服务器返回的状态码、响应时间、连接是否稳定，都会被蜘蛛记录，并影响它接下来对这个站点的访问节奏。很多站点以为是内容或链接的问题，实际是服务器错误率把抓取节奏拖慢了。
蜘蛛眼里的失败，不只有 404
对蜘蛛来说，不同错误的含义不一样。
- 5xx：服务端暂时或持续无法处理请求，通常会被视为站点端问题。
- 超时与连接重置：蜘蛛等到一定时间仍拿不到响应，或者连接被中断，也会计入失败。
- 429：请求过多，服务器主动限流，蜘蛛一般会放缓。
- 403：可能是防火墙、CDN 或权限配置把蜘蛛挡在外面。
- 404：页面不存在，属于另一种信号，和服务器故障不是一回事。
把 5xx 和 404 混在一起看，容易误判。404 更多指向 URL 或链接问题；5xx、超时、429 则说明蜘蛛这趟来得不是时候。
连续错误会触发退避
当某个目录或整站短时间内频繁返回 5xx、超时，蜘蛛通常会降低抓取频次，拉长下一次回访的间隔。这就是常说的退避。它不是永久惩罚，更像是一种保护：既然服务器不稳定，就先少来几次，避免继续加重负担。
退避的影响是间接的。抓取频次下降后，新 URL 被发现的速度、旧页面更新的检查频率，都可能跟着变慢。对内容更新频繁的站点来说，这种延迟容易被误认为“蜘蛛不来了”。
站点稳定时，蜘蛛才更愿意按正常节奏走。与其研究怎么催，不如先把错误率压下去。
503 和 Retry-After 别用错
计划内维护或临时过载时，返回 503 并带上 Retry-After，可以告诉蜘蛛稍后再来。这比直接断开连接或返回 200 空页更清楚。
但 503 不适合长期挂着。如果站点长期返回 503，蜘蛛可能认为服务持续不可用，抓取频次会继续下降。维护结束后，要尽快恢复正常响应，而不是一直让 503 留着。
另一个常见问题是：服务器出错时返回 200，页面却是空白或错误提示。这会让蜘蛛把无效内容当成正常页面收下，既浪费抓取，也干扰后续判断。
恢复抓取节奏，先修服务器
发现抓取频次下降后，不要急着反复提交 URL 或改 Sitemap。先确认服务器端是否真的稳定了。
- 看状态码分布：5xx、429、超时各占多少，集中在哪些目录或接口。
- 看响应时间：平均响应、慢请求比例，以及数据库、缓存、带宽有没有瓶颈。
- 查访问日志：蜘蛛请求是否被 WAF、CDN 或限流规则拦截。
- 修复后观察：错误率降下来后，抓取频次通常会逐步恢复，但可能需要一段时间。
- 保持稳定：恢复期不要再做大规模改版、批量跳转或频繁调整 URL。
抓取频次的恢复不是开关，更像一条曲线。服务器稳定、响应正常、错误率低，蜘蛛才会慢慢把访问节奏调回来。
日常该盯的几个指标
- 蜘蛛请求的状态码分布，尤其是 5xx 和超时。
- 服务器平均响应时间与慢请求占比。
- 429 和 403 的出现频率，判断是否误伤。
- 抓取频次变化，结合日志看是整体下降还是局部下降。
- Sitemap 和重要入口页是否可正常访问。
服务器稳定性是抓取路径的地基。地基不稳，内链、Sitemap、URL 发现这些工作都会打折扣。把错误率和响应时间控制在正常范围，蜘蛛的抓取节奏才不容易被打乱。