抓取日誌里最容易看到的是狀態碼分布。同样是 404，有的是内容真的下线，有的是内鏈寫错，有的是篩選參數拼出的空结果。把它們混在一起處理，往往會出現两種偏差：该消失的 URL 一直占着抓取配額，该保留的 URL 被過早清掉，等有流量回来时又要重新等發現。
判断一個 URL 该保留、修复還是移除，關键不是狀態碼本身，而是它背後代表的是永久變化、临时變化，還是站点侧的错誤。
三種動作，先分類再動手
- 保留：URL 仍然有效，只是這次没抓成功或内容没變。動作是修服務端、修跳轉，不動地址。
- 修复：URL 本身有問题，例如拼寫、參數、大小寫、层級冲突。動作是改正内鏈、补跳轉、统一寫法。
- 移除：内容确實不再存在，且没有等價替代頁。動作是返回明确狀態、清理入口、從 Sitemap 中撤下。
常见狀態碼的處理思路
200 與 304：不用動地址
200 說明被抓成功，重点看内容是否與目标一致，例如列表頁返回了空结果却仍是 200。304 表示内容未變，說明缓存协商有效，站侧無需調整，抓取频率由搜尋引擎自行判断。
3xx：先看跳轉是否稳定
301 表示永久迁移，搜尋引擎會逐步把记錄與權重轉向新地址；302 或 307 是临时跳轉，長期使用會让舊地址繼續被反复抓取。核對重点是：跳轉是否一跳到位、是否跳向最终可訪問的 URL、是否存在鏈式跳轉（A 到 B 再到 C）。跳數越多，單次抓取消耗越大，落地 URL 的發現也越慢。
404 與 410：区分暂时没有和彻底没有
404 表示未找到，410 更明确地表示已刪除。两者都能让 URL 逐步登出，但前提是内鏈和 Sitemap 里不再出現该地址。如果頁面仍在導航、面包屑或站点地图中被引用，搜尋引擎會一次次重试，等于用内鏈反复把死鏈推回抓取队列。
429 與 503：看临时性，別急着删
這两個通常代表現在抓不了。429 是請求過多，503 是服務暂时不可用。處理方向是降低服務端压力、必要时给出合理的重试提示，而不是把 URL 下线。只有確認某個地址長期不可恢复时，才考虑移除。
5xx：先修服務器，再谈 URL
如果同一批 URL 集中出現 5xx，問题多半在應用、資料库或回源上。此时任何 URL 层面的調整都是次要的，先恢复稳定响應，再回看抓取日誌中的狀態變化。
保留、修复還是移除：核對清單
- 该 URL 是否有等價替代頁？有就做 301，没有才考虑返回 404 或 410。
- 内鏈、導航、面包屑、Sitemap 中是否還引用它？
- 它是否出現在搜尋结果或外部連結中，突然返回 404 會不會造成体驗断裂？
- 它是參數组合拼出的地址吗？能否用規則收敛，而不是逐個處理？
- 處理之後，日誌中该路径的抓取次數是否下降？
狀態碼决定了搜尋引擎怎么理解這個 URL，而内鏈和 Sitemap 决定了它還會不會被反复送進抓取队列。两者不一致时，處理效果通常不會理想。
實际操作中，可以按周對比抓取日誌的狀態碼分布，找出反复出現 404 或 5xx 的路径段，再回到内鏈和站点地图里定位入口。狀態碼是信号，真正决定结果的是站点侧有没有把入口一起收拾干净。