看抓取日志时，很多人只关注蜘蛛来了多少次，却忽略了一个更直接的信号：每次访问返回了什么状态码。状态码分布能快速告诉我们，蜘蛛在站内行走时遇到了哪些阻碍，以及这些阻碍是暂时的还是长期的。
2xx：正常抓取，但不等于内容被有效发现
200 是蜘蛛最希望看到的结果。它说明请求成功，服务器返回了页面内容。不过，200 并不自动等于“这个页面会被收录或参与排名”。如果页面内容稀薄、与已有页面高度重复，或者虽然返回 200 但实际是空壳页面，蜘蛛仍然可能降低对它的评价。因此，看到大量 200 时，还要结合页面体积、首字节时间和内链位置一起判断。
3xx：重定向会改变抓取路径
301 和 308 通常表示永久跳转，蜘蛛会把权重和发现信号逐步转移到新地址；302、307 则是临时跳转，蜘蛛一般会继续保留原 URL。问题在于，重定向如果发生多次，就会形成链条。每多一跳，蜘蛛就多一次请求，抓取预算被消耗，路径也更容易断。排查时可以把日志里的 3xx 目标地址提取出来，看看是否存在 A→B→C 这样的多级跳转。能合并成一步的，尽量合并。
4xx：404 与 403 要分开看
404 表示页面不存在。少量 404 很正常，但如果大量内链指向 404，蜘蛛会反复撞墙，深层 URL 的发现效率会下降。410 比 404 更明确，表示页面已永久删除，蜘蛛通常会更果断地放弃。403 则是权限问题，可能是防火墙、CDN 或机器人规则误拦了搜索蜘蛛。遇到 403 时，先确认是真蜘蛛还是伪造请求，再检查服务器和 WAF 配置。
5xx：服务器稳定性的直接信号
5xx 对抓取的影响通常比 4xx 更大。蜘蛛遇到 500、502、503 时，会认为服务器暂时不可用，可能降低抓取频率，甚至暂停一段时间。如果日志里 5xx 集中出现，并且伴随响应时间升高，优先排查数据库、后端服务、内存和 CDN 回源。服务器稳定是 URL 发现的基础，页面再合理，请求失败也无法继续。
按状态码排查的简单顺序
- 先看 5xx 比例，确认服务器是否稳定，排除短期故障。
- 再看 3xx 是否形成链，检查重定向目标是否可直达。
- 然后看 4xx 分布，区分真 404、软 404 和 403 拦截。
- 最后看 2xx 页面的响应时间和内容质量，判断抓取效率。
状态码之外还要看什么
状态码只说明一次请求的结果，不能单独解释 URL 发现的全貌。建议同时记录蜘蛛访问的 URL、响应时间、页面大小和来源链接。把状态码和抓取路径放在一起看，才能判断问题出在入口、内链、服务器还是内容本身。Sitemap 里提交的 URL 也可以和日志对照，看看哪些地址长期只有 4xx 或 5xx，而不是正常抓取。
抓取状态码不是排名承诺，而是一份诊断线索。稳定返回正确状态码，让蜘蛛能顺畅走完发现路径，比追求某个单一指标更实际。
日常运营中，可以定期导出日志，按状态码聚合，再结合分类目录查看。重点不是消灭所有 4xx，而是确保重要页面和关键路径不因 5xx、重定向链或错误拦截而中断。