蜘蛛抓取一個 URL 时，最先看到的不是标题，也不是正文，而是服務器返回的狀態碼。它决定這個地址接下来被怎么處理：是繼續解析内容，還是记下来晚点再来，還是從索引里慢慢移走。所以排查收錄問题，狀態碼是比内容更早的一层。
狀態碼是蜘蛛听到的第一句话
可以把狀態碼理解成服務器對蜘蛛的應答语气。200 是“内容在這，請拿走”，301 是“我搬走了，新地址在 Location 里”，404 是“這里没有你要的東西”，503 是“我現在忙不過来，過會儿再来”。蜘蛛會按這些應答調整自己的行為，長期看到同一種應答，就會形成對這個站点的判断习惯。
2xx：正常返回
- 200：最标准的正常响應，内容會被解析，是否進索引還要看质量、重复度、canonical 等信号。
- 204：没有内容可返回，蜘蛛拿不到正文，通常不會产生索引價值。
需要留意的是“软 404”：頁面其實已经不存在，却仍然返回 200，再配一個空壳頁面或“抱歉没找到”的提示。這種頁面在蜘蛛眼里就是正常内容，不會被当作失效處理，反而容易占着索引位置。
3xx：跳轉類
301 永久跳轉
舊地址永久迁移到新地址。蜘蛛會據此把新地址视為舊地址的替代，舊 URL 在索引里慢慢消失。改版、換目錄、合並頁面时用 301，不要拿 302 顶替。
302、307 临时跳轉
临时跳轉意味着原地址還會回来，蜘蛛一般不會立刻把新地址当作正式替代，索引里可能繼續保留原 URL。如果明明是長期跳轉却用了 302，容易出現新舊两個地址同时出現在结果里的尴尬局面。
另外注意跳轉鏈：A→B→C→D 這種连續多跳會浪費抓取額度，也增加解析出错的机會，尽量压成一跳。
4xx：客戶端错誤
404 與 410 的区別
404 表示“暂时找不到”，410 表示“确定永久刪除”。两者都會让頁面登出索引，但 410 的意图更明确，處理通常更快。如果只是临时下架某個頁面，用 404 或 503 更合适；确實永久不要了，410 更干脆。
403 與 429
403 是拒绝訪問，可能是防火墙或權限設定挡到了蜘蛛；429 是請求過多，說明抓取频率超出服務器愿意承受的范围。403 長期出現，蜘蛛會减少来訪；429 處理得当，通常只是短暂降速。
5xx：服務端错誤
5xx 是服務器自己的問题。蜘蛛看到 5xx 會認為這是临时故障，不會立刻刪除索引，但會降低抓取频率，過一段時間再来试探。如果 5xx 持續几天甚至几周，索引里的頁面就可能被移走。
計划维護时，相對稳妥的做法是返回 503 並带上 Retry-After 头，告诉蜘蛛多久之後再来。直接把站点關掉返回一连串 500，或者返回 200 但頁面其實是空的，都不是好選擇。
不同狀態碼對收錄的含义
- 200：正常候選，能否進索引取决于内容與規范化信号。
- 301：舊地址逐步被新地址替代，登出索引。
- 302：原地址可能繼續留在索引里。
- 404：逐步移出索引，速度相對慢。
- 410：明确告知永久刪除，移出通常更快。
- 503：临时保留索引，抓取延後。
- 403、429：影响的是抓取顺畅度，不一定直接改變索引狀態。
几個常见的坑
- 错誤頁返回 200：批量下架後满站都是 200 的空頁面，蜘蛛照抓不誤。
- 把 301 寫成 302：跳轉長期存在，新舊地址的替代關系迟迟不成立。
- 整站维護返回 200 加“系統升級中”：蜘蛛會把這個提示当成頁面正文，甚至可能替換掉原来的内容。
- 前端路由接管後所有路径都返回 200：找不到的地址也没有真實 404，蜘蛛無法识別失效頁面。
狀態碼不會直接带来收錄或排名，它的作用是让蜘蛛准确理解你的意图。意图传错了，後面的工作再多也容易白費。
自查顺序
- 用 curl -I 或浏览器開發者工具看响應头，確認返回碼和 Location 是否正确。
- 在服務器日誌里按狀態碼統計分布，看 3xx、4xx、5xx 各占多少，異常集中在哪些目錄。
- 把導航和热门入口上的連結逐個驗證，確認没有隐藏的 404 或過長跳轉鏈。
- 對前端渲染的站点，检查不存在的路径是否也被返回成 200。
- 站点改版後，核對舊 URL 是 301 到對應新頁，而不是统一跳首頁。
狀態碼處理是收錄里成本較低、见效也相對快的一环。它不解决内容质量問题，但能让蜘蛛把有限的抓取用在真正存在的頁面上，這本身就是一種基础優化。