服务器返回什么状态码，是蜘蛛决定“这个 URL 还要不要继续看”的第一手依据。同样是一次抓取，200 和 503 对蜘蛛的含义完全不同：前者是“内容在这里”，后者是“我现在拿不到，过一会儿再来”。理解这层含义，能把不少抓取异常定位到服务器配置或路由规则上，而不是一味怀疑链接写得不够。
状态码是蜘蛛的下一步指令
蜘蛛拿到响应后，先看状态码，再看内容。状态码决定了它是把 URL 放进待解析队列、沿着 Location 继续跳，还是暂时搁置、过段时间再来。
- 2xx：认为抓取成功，正文会进入解析流程。
- 3xx：不解析正文，改去请求 Location 指向的地址。
- 4xx：除少数情况外，视为该 URL 当前不可用，通常不再频繁回访。
- 5xx：视为服务端临时故障，属于“可以再试”的一类。
200 不等于一切正常
有些页面返回 200，正文却是“抱歉，该商品不存在”“暂无数据”这类提示。蜘蛛看到 200，会当成正常页面继续处理，用户点进来却发现是空壳。这类软性状态需要站点主动返回 404 或 410，让信号保持一致。反过来，如果列表页在无结果时返回 404，但用户仍可通过参数访问到有内容的版本，也要留意别误伤真正有价值的页面。
3xx：跳转能让蜘蛛跟几次
301 表示永久迁移，蜘蛛会把新地址作为规范版本；302、307 表示临时，蜘蛛一般仍保留原地址。链条上每多一次跳转，就多消耗一次请求；链路过长或出现回环，蜘蛛可能中途放弃。常见做法是让跳转直达最终地址，不要在中间叠好几层。
常见的跳转配置问题
- 老域名整站 301 到新域名首页，原页面与新页面的对应关系会丢失，建议一对一映射。
- http 到 https 的跳转没做全时，部分 URL 会走两次跳转才落地。
- 带斜杠与不带斜杠的地址互相跳转，容易形成回环。
4xx：明确说“这里没有”
404 和 410 都表示页面不存在，区别在于 410 更明确地表达“已永久移除”。内容下架后返回 404 或 410，比继续返回 200 的空白页更清晰。403 表示有权访问但被拒绝，蜘蛛会理解为“暂时看不到”，如果长期如此，抓取会减少。
429 是“请求过于频繁”。当抓取速率超过服务器承受范围时，返回 429 并配合 Retry-After，比直接超时更明确，蜘蛛会按提示降低频率。
5xx：服务器稳定性直接反映在抓取节奏上
500、502、503、504 通常来自程序异常、网关问题或后端超时。偶发几次影响不大，但如果持续存在，蜘蛛会降低对该站点的抓取频次，恢复也需要时间。计划维护时返回 503 并给出 Retry-After，比让用户和蜘蛛看到超时页面更可控。
需要留意的几种情况
- 源站慢导致 504，边缘缓存却返回 200 的旧内容，容易造成同一 URL 内容不一致。
- 数据库压力大时随机返回 500，蜘蛛会反复重试，进一步加重负载。
- 部分节点故障导致同一 URL 时好时坏，抓取结果不稳定。
状态码是站点对蜘蛛说的话。说得越准确，蜘蛛越容易把有限的抓取资源花在真正有内容的 URL 上。
排查思路
- 用访问日志按状态码分组，看 404、500、301 各自的占比与集中路径。
- 对重要页面做一次状态码抽查，确认没有意外的跳转链。
- 站点改版后，检查旧 URL 是 301 到新地址，还是直接变成了 404。
- 抓取量异常下降时，先看服务器是否在连续返回 5xx。
把状态码处理好，并不保证页面一定被抓取或被收录，它只是把抓取路径上的障碍减少一些，让蜘蛛每次来访都能得到明确的答复。