蜘蛛抓取页面时，最不希望遇到的情况不是“页面不存在”，而是“页面存在但打不开”。前者返回 404，蜘蛛心里有数；后者往往返回 5xx，或者干脆连接超时，蜘蛛拿不到任何内容，只能空手而归。偶发几次问题不大，但如果这类响应在日志里成规模出现，站点的抓取节奏就会被打乱。
先分清 4xx 和 5xx
4xx 表示请求本身有问题：地址写错了（404）、权限不够（403）、参数不对（400）。这类响应通常意味着“这个 URL 不该被抓”，蜘蛛会逐渐减少对它的访问。
5xx 表示服务器端出了问题：脚本报错（500）、网关错误（502）、服务不可用（503）、超时（504）。这类响应是临时的、可恢复的，但蜘蛛并不知道你是临时抽风还是彻底坏了，它只能按自己的经验做判断。
蜘蛛遇到 5xx 会怎么处理
多数搜索引擎的策略是：遇到 5xx 不会立刻删掉页面，但会降低对该站点的抓取频次，过一段时间再来重试。如果连续多次都是 5xx，原本已经收录的页面也可能被暂时移出结果。换句话说，5xx 是抓取预算和已有收录的双重消耗。
自查第一步：从日志里筛状态码
- 按状态码分组统计，看 5xx 的占比。偶发个位数可以先观察，成片出现就要处理。
- 按 URL 分组，看是不是集中在某几个页面或某个目录，往往指向同一个功能模块。
- 按时间段看，如果集中在凌晨，多半和备份、定时任务、数据同步撞车。
- 按 UA 区分，确认是搜索蜘蛛还是普通用户，避免把用户侧的报错当成抓取问题。
常见的 5xx 来源
数据库与缓存
连接池被占满、慢查询堆积、缓存服务重启，都会让动态页面直接返回 500。蜘蛛连续抓取同一栏目时，这类问题会被放大。
定时任务与备份
整站备份、全量重建索引、批量导数据这类操作会抢占 IO 和 CPU。安排在凌晨本身没错，但蜘蛛也可能在凌晨来，两者撞在一起就会出现超时。
第三方接口
页面上的天气、汇率、评论、统计脚本如果同步调用外部接口，对方一慢，你的页面就跟着超时。
限速与防护规则
有些防护策略会把短时间内的高频访问当成攻击，返回 503 或直接断开连接。蜘蛛的抓取本身就是连续请求，很容易被误伤。
超时比 5xx 更隐蔽
有些情况服务器根本没来得及返回状态码，连接就被断开了，日志里可能只有一条“连接重置”，或者什么都看不到。判断方法之一是看响应时间分布：如果某个目录的平均响应时间明显高于其他页面，即使暂时没有 5xx，也值得先优化。
一个可执行的排查顺序
- 先确认范围：是全站还是个别栏目，是持续还是偶发。
- 拉出问题时间段的访问日志和错误日志，对齐时间点。
- 检查是否有定时任务、备份、发布操作落在同一时间窗口。
- 检查数据库慢查询和连接数，看看有没有明显峰值。
- 检查防护规则和 CDN 回源配置，确认没有误拦蜘蛛。
- 修好之后，观察一到两周，看 5xx 比例是否回落。
修复之后做什么
问题解决后，不需要做太多花哨的动作。把 Sitemap 里受影响的重要页面确认一遍，检查内链是否正常，然后等蜘蛛自己回来重抓。如果某个重要页面长期返回 5xx，可以在修复后主动提交一次，帮助它更快恢复。
监控比补救更划算。给 5xx 设一个阈值告警，比等到抓取量下降再回头翻日志省事得多。
站点运营里，很多问题不是出在内容上，而是出在“蜘蛛来的时候你的服务器刚好在忙”。把 5xx 和超时当成日常巡检项，抓取的稳定性会好很多。