蜘蛛抓取網站时，看到的第一個信息不是标题，也不是正文，而是 HTTP 狀態碼。狀態碼决定它接下来是繼續解析頁面，還是直接放弃、稍後再来。很多站点运营者习惯只盯着抓取量和收錄數，却很少按狀態碼把日誌拆開看一遍，结果就是错誤頁面長期混在正常抓取里，占着预算還不产生價值。
狀態碼分布能反映什么
把最近一周的訪問日誌按狀態碼分组統計，通常能看到几類情况：
- 200：正常返回，但要留意其中是否混着内容為空、或只在頁面上提示“没有找到”的软 404。
- 301 / 308：永久跳轉，數量稳定属于正常；如果持續增長，說明站内有連結還在指向舊地址。
- 302 / 307：临时跳轉，用在活動頁、登入跳轉上很常见，但不适合用来處理長期改址。
- 404 / 410：前者表示暂时找不到，後者表示明确刪除。已经確認不再提供的内容，用 410 表達更干净。
- 5xx：服務器端错誤，蜘蛛遇到這類响應通常會降低抓取频率，嚴重时暫停一段時間。
软 404 是最容易被忽略的一類
有些站点在没有内容时仍然返回 200，只在頁面里寫一句“抱歉，没有找到相關内容”。蜘蛛看到的是一次成功抓取，于是把這個地址当作正常頁面處理。數量一多，整站的頁面质量就會被稀释。自查时可以抽几個已知不存在的地址，看返回碼到底是 404 還是 200。
查哪些维度
- 按狀態碼看總量占比：正常情况下 200 應占绝大多數，3xx 和 4xx 是少數，5xx 應尽量接近零。
- 按目錄看分布：如果某個栏目集中出現 404，多半是栏目改版後内鏈没有同步更新。
- 按来源看：站内連結造成的 404 和外部連結造成的 404，處理優先級並不一样。
- 按時間看：5xx 是否集中在某個时段，往往和备份、批量任務或资源占用打满有關。
- 只看搜尋引擎 UA 的日誌：普通用戶看到的错誤頁可能有友好提示，蜘蛛拿到的必须是标准狀態碼。
狀態碼是给机器看的第一句话，頁面里的提示文字寫得再好，也替代不了一個准确的狀態碼。
處理节奏與優先級
- 5xx 優先處理，先查服務器负载、資料库连接和缓存回源是否正常。
- 有内鏈指向的 404 優先修，改連結或补重定向，二選一即可，不要同时做两件事。
- 確認永久刪除的内容，可以考虑從 404 改為 410，並在站内鏈和站点地图里一並清理。
- 临时跳轉確認已经稳定後，改成 301，避免長期挂着临时狀態。
- 權限頁、登入頁、後台入口，不该让蜘蛛拿到 200 的正常頁面。
這件事不需要每天做，按周或按月抽一次日誌就够。记錄下每次的错誤碼數量和主要来源，下一次對比就能看出修复有没有生效。狀態碼干净了，抓取预算才更可能落在真正需要被發現的地址上。