狀態碼是服務器给搜尋蜘蛛的第一句回答。蜘蛛来到一個 URL，先看到的不是标题和正文，而是 HTTP 狀態碼。它决定這次抓取是成功、跳轉、失效，還是需要稍後再来。很多站点运营問题不是内容不好，而是狀態碼给错了信号，让蜘蛛在错誤的方向上消耗抓取预算。
為什么狀態碼比頁面内容更早影响判断
当蜘蛛收到 200，它會認為這個地址有效，接着解析頁面、提取連結、评估内容。如果返回的是 200，但頁面只有“内容已刪除”或一片空白，蜘蛛仍可能把它当作正常頁面，這就是常说的软 404。反過来，一個正常頁面如果因為配置错誤返回 404 或 503，蜘蛛會减少訪問，甚至把已有索引逐步移除。
狀態碼還會影响連結權重的传递。301 表示永久跳轉，302 表示临时跳轉。長期使用的临时跳轉，可能让蜘蛛反复確認，也可能让目标地址的權重传递不如预期稳定。把两者混用，是站点改版、栏目調整後常见的問题。
容易寫错的几類狀態碼
软 404：返回 200 的無效頁面
常见于商品下架、文章刪除、搜尋结果為空、篩選無结果等頁面。頁面框架還在，标题可能是“未找到”，但 HTTP 狀態是 200。蜘蛛會繼續抓取，也可能把這類頁面加入索引。更合理的做法是：确實不存在的资源返回 404；确定永久刪除且不再提供的頁面返回 410；搜尋结果為空可以返回 200 但加上 noindex，或根據策略返回 404。
301 與 302 混用
如果舊地址永久不再使用，優先 301。临时活動、A/B 測試、短期维護跳轉，用 302。不要因為配置简單，就把所有跳轉都寫成 302。也不要让跳轉鏈太長，一次跳轉能到目标就不要经過三四個中間地址。
404 與 410 的選擇
410 表示资源已永久刪除，语义比 404 更明确。對于确定不再恢复的内容，410 可以帮助蜘蛛更快放弃。但並不是所有 404 都要改成 410，尤其是可能恢复的頁面，或者只是暂时路径错誤的頁面，仍可用 404。重点是保持真實，不要用 200 掩盖。
503 與 429：维護和限流
服務器维護、資料库升級时，返回 503 比返回 200 的空頁面更合适。可以配合 Retry-After 告诉蜘蛛多久後再来。429 用于請求過多，适合接口或高频訪問场景。滥用 503 也可能让蜘蛛降低抓取频率，所以维護結束後要及时恢复。
304 不是错誤
304 表示内容未修改，蜘蛛可以使用缓存版本。它通常出現在带 If-Modified-Since 或 ETag 的請求中。看到 304 不必紧張，但要確認服務器没有把大量正常頁面错誤地固定返回 304，導致更新無法被感知。
自查方法：從日誌到命令行
可以從几個入口交叉检查：
- 用浏览器開發者工具或 curl -I 查看關键頁面的响應头，確認狀態碼、Location、Cache-Control。
- 從抓取日誌中篩選 404、410、301、302、503、429 等狀態，按 URL 分组看频率。
- 用站点爬虫工具抓取全站，導出狀態碼报告，重点看内鏈指向的失效地址。
- 抽查首頁、栏目頁、詳情頁、搜尋頁、篩選頁、分頁、404 頁面，確認狀態碼與頁面實际内容一致。
- 检查 sitemap 中提交的 URL 是否返回 200，避免把 404 或 301 地址寫進清單。
修复顺序與注意点
- 先處理被大量内鏈指向的 404。 這些地址浪費抓取，也影响用戶。能恢复就恢复，不能恢复就 301 到最相關的新頁面。
- 不要把所有失效頁面 301 到首頁。 大量無關跳轉到首頁，可能被当成软 404 處理，也不利于用戶找到需要的内容。
- 维護頁面用 503，並設定合理的 Retry-After。 维護結束後尽快恢复正常响應。
- 改版後同步更新内鏈、sitemap 和導航。 狀態碼正确只是第一步，入口也要指向新地址。
- 记錄狀態碼變更。 特別是批量 301、410、noindex 操作，方便後續排查流量和抓取變化。
狀態碼本身不直接决定排名，但它决定蜘蛛如何理解你的站点。把 200、301、302、404、410、503 用對，能减少誤判和抓取浪費，也让真正需要被訪問的頁面更容易被持續發現。
自查时不必追求一次改完。先處理高频、影响面大的错誤，再逐步清理長尾地址，观察抓取日誌的變化，比一次性大改更稳妥。