蜘蛛每次訪問一個 URL，最先拿到的不是頁面内容，而是响應狀態碼。它决定了接下来是解析頁面、換個地址重试，還是把這條 URL 暂时搁置。内容和内鏈平时有人盯，狀態碼却常常要等到“頁面打不開”才被翻出来看，這时候影响往往已经持續了一段時間。
各個狀態碼段在抓取里的含义
不需要背完整的碼表，但下面這几段的区別要分清楚：
- 2xx：正常返回，蜘蛛會繼續解析頁面内容。要注意的是，返回 200 不代表頁面没問题，一個内容為空或明顯是错誤提示的 200 頁面，對抓取同样没有價值。
- 3xx：跳轉。單次跳轉通常可以接受，鏈條越長，蜘蛛能走到的概率越低。跳轉本身有單獨的自查項，這里只看它在狀態碼統計里占比是否異常。
- 4xx：404 表示地址确實不存在，属于正常信号；401、403 則表示“存在但不让訪問”，两者對蜘蛛的意义完全不同，別混在一起看。
- 5xx：服務端出错，属于临时性信号。偶尔出現可以重试，長期或大面积出現，會让蜘蛛降低来訪频率。
巡检從哪几個地方取數
服務器日誌
日誌里能拿到蜘蛛的真實訪問记錄，包括 URL、狀態碼、時間戳和 UA。把蜘蛛 UA 過滤出来，按狀態碼分组，是成本最低的一次体检。
搜尋後台的抓取統計
後台给出的抓取错誤通常已经做了归類，能看到哪類错誤集中在哪些地址。它和日誌互為补充：日誌信息更全，後台更贴近蜘蛛實际的處理结果。
按目錄分组，而不是只看總量
整站 5xx 占比 0.3% 听起来不高，但如果這 0.3% 全部集中在核心栏目下，實际影响就完全不同。建议按一級目錄分別統計，看清楚問题是全局性的還是局部性的。
几類容易被忽略的情况
- 間歇性 5xx：只在某個时段出現，比如定时任務跑的时候。整点抓一次看不出問题，需要按小时维度翻日誌。
- 長期挂着的 503：维護頁上线後忘了撤，或者某個接口一直返回 503。蜘蛛會把它当临时狀態反复重试，反复消耗抓取次數。
- 集中在某個目錄的 403：如果 403 只出現在特定路径，先確認是不是權限配置或防護策略的問题，而不是直接当成“頁面不存在”處理。
- 429 和請求限速：短時間大量請求被拒时會返回 429。偶尔出現無妨，持續出現說明訪問节奏需要調整。
- 改版後的批量 404：改版正常會带走一批舊地址，重点是這批地址是否還有外部入口指向它們，需要逐個確認该跳轉還是该放弃。
一個可执行的巡检节奏
- 每天掃一眼 5xx 和 429 的數量，出現明顯波動就记下来，先不急着改，观察两天。
- 每周按一級目錄統計一次狀態碼分布，和上周的資料做對比。
- 每月挑一批長期返回 4xx 的舊 URL，確認是该做跳轉、该更新内容，還是该让它保持 404。
- 每次上线或改版之後單獨跑一次全站狀態检查，重点看新增的 5xx 和異常 403。
狀態碼是蜘蛛和站点之間最基础的對话。它不需要多复杂的工具，但需要有人定期看一眼，並且知道異常數字背後的含义。
把狀態碼纳入日常巡检，並不需要額外搭一套系統。日誌、後台統計和一次全站掃描，三样凑齐就够用了。真正拉開差距的，是發現問题之後有没有人跟進處理。