蜘蛛抓取一个 URL 时，最先看到的不是标题，也不是正文，而是服务器返回的状态码。它决定这个地址接下来被怎么处理：是继续解析内容，还是记下来晚点再来，还是从索引里慢慢移走。所以排查收录问题，状态码是比内容更早的一层。
状态码是蜘蛛听到的第一句话
可以把状态码理解成服务器对蜘蛛的应答语气。200 是“内容在这，请拿走”，301 是“我搬走了，新地址在 Location 里”，404 是“这里没有你要的东西”，503 是“我现在忙不过来，过会儿再来”。蜘蛛会按这些应答调整自己的行为，长期看到同一种应答，就会形成对这个站点的判断习惯。
2xx：正常返回
- 200：最标准的正常响应，内容会被解析，是否进索引还要看质量、重复度、canonical 等信号。
- 204：没有内容可返回，蜘蛛拿不到正文，通常不会产生索引价值。
需要留意的是“软 404”：页面其实已经不存在，却仍然返回 200，再配一个空壳页面或“抱歉没找到”的提示。这种页面在蜘蛛眼里就是正常内容，不会被当作失效处理，反而容易占着索引位置。
3xx：跳转类
301 永久跳转
旧地址永久迁移到新地址。蜘蛛会据此把新地址视为旧地址的替代，旧 URL 在索引里慢慢消失。改版、换目录、合并页面时用 301，不要拿 302 顶替。
302、307 临时跳转
临时跳转意味着原地址还会回来，蜘蛛一般不会立刻把新地址当作正式替代，索引里可能继续保留原 URL。如果明明是长期跳转却用了 302，容易出现新旧两个地址同时出现在结果里的尴尬局面。
另外注意跳转链：A→B→C→D 这种连续多跳会浪费抓取额度，也增加解析出错的机会，尽量压成一跳。
4xx：客户端错误
404 与 410 的区别
404 表示“暂时找不到”，410 表示“确定永久删除”。两者都会让页面退出索引，但 410 的意图更明确，处理通常更快。如果只是临时下架某个页面，用 404 或 503 更合适；确实永久不要了，410 更干脆。
403 与 429
403 是拒绝访问，可能是防火墙或权限设置挡到了蜘蛛；429 是请求过多，说明抓取频率超出服务器愿意承受的范围。403 长期出现，蜘蛛会减少来访；429 处理得当，通常只是短暂降速。
5xx：服务端错误
5xx 是服务器自己的问题。蜘蛛看到 5xx 会认为这是临时故障，不会立刻删除索引，但会降低抓取频率，过一段时间再来试探。如果 5xx 持续几天甚至几周，索引里的页面就可能被移走。
计划维护时，相对稳妥的做法是返回 503 并带上 Retry-After 头，告诉蜘蛛多久之后再来。直接把站点关掉返回一连串 500，或者返回 200 但页面其实是空的，都不是好选择。
不同状态码对收录的含义
- 200：正常候选，能否进索引取决于内容与规范化信号。
- 301：旧地址逐步被新地址替代，退出索引。
- 302：原地址可能继续留在索引里。
- 404：逐步移出索引，速度相对慢。
- 410：明确告知永久删除，移出通常更快。
- 503：临时保留索引，抓取延后。
- 403、429：影响的是抓取顺畅度，不一定直接改变索引状态。
几个常见的坑
- 错误页返回 200：批量下架后满站都是 200 的空页面，蜘蛛照抓不误。
- 把 301 写成 302：跳转长期存在，新旧地址的替代关系迟迟不成立。
- 整站维护返回 200 加“系统升级中”：蜘蛛会把这个提示当成页面正文，甚至可能替换掉原来的内容。
- 前端路由接管后所有路径都返回 200：找不到的地址也没有真实 404，蜘蛛无法识别失效页面。
状态码不会直接带来收录或排名，它的作用是让蜘蛛准确理解你的意图。意图传错了，后面的工作再多也容易白费。
自查顺序
- 用 curl -I 或浏览器开发者工具看响应头，确认返回码和 Location 是否正确。
- 在服务器日志里按状态码统计分布，看 3xx、4xx、5xx 各占多少，异常集中在哪些目录。
- 把导航和热门入口上的链接逐个验证，确认没有隐藏的 404 或过长跳转链。
- 对前端渲染的站点，检查不存在的路径是否也被返回成 200。
- 站点改版后，核对旧 URL 是 301 到对应新页，而不是统一跳首页。
状态码处理是收录里成本较低、见效也相对快的一环。它不解决内容质量问题，但能让蜘蛛把有限的抓取用在真正存在的页面上，这本身就是一种基础优化。