做蜘蛛池时，很多人更關注“加了多少入口頁”，却很少回头看“有多少入口頁已经變成死鏈”。抓取次數是有限的，蜘蛛每次来訪扑空，都消耗掉一次本可以用在有效頁面上的机會。狀態碼是告诉蜘蛛“這一頁現在是什么情况”最直接的信号，處理干净，蜘蛛的回訪和抓取节奏通常會更稳定。
蜘蛛遇到不同狀態碼會做什么
爬虫拿到 HTTP 狀態碼後，會决定下一步：繼續抓、暂时搁置，還是把 URL 移出待抓队列。
- 200：正常返回内容，蜘蛛會繼續解析頁面里的連結。
- 301 / 308：永久跳轉，蜘蛛會把抓取目标轉到新地址，但跳轉鏈條越長，损耗越大。
- 302 / 307：临时跳轉，蜘蛛往往仍會反复回訪原地址，長期用它代替永久跳轉會持續浪費抓取。
- 404：頁面不存在，多次確認後回訪會减少，但不等于立刻彻底放弃。
- 410：明确告知已永久刪除，處理速度通常比 404 更快。
- 403 / 503：拒绝訪問或服務不可用，蜘蛛會当成临时問题保留重试，但一直如此會让抓取變慢。
软 404 更容易被忽略
頁面返回 200，内容却是“資料不存在”“该内容已下架”“請從首頁重新進入”，這就是软 404。蜘蛛看到的是一個正常頁面，但既拿不到有效信息，又占住了一個抓取位。入口頁批量生成时，模板里带空資料逻辑，最容易产生這類頁面。
入口頁和目标頁的處理方式不同
入口頁的作用是把蜘蛛带到目标頁，入口頁失效，它指向的連結也就断了。目标頁失效，則是蜘蛛顺着入口頁走到空處，同样影响後續抓取意愿。
- 按狀態碼把日誌和歷史 URL 分堆：200、3xx、404/410、其他。
- 入口頁确實废弃且没有替代地址，直接返回 410，並從前台連結中移除。
- 目标頁換過地址，用一次 301 指到新地址，不要串成多級跳轉。
- 同批入口頁大面积失效时，先判断是程序問题還是模板問题，再决定是否整批下架。
- 清理後观察一到两周日誌，看蜘蛛對這批 URL 的訪問是否收敛。
不要為了“看起来没有死鏈”把 404 统一改成 200 首頁。硬 404 變软 404，短時間看不出問题，長期會让蜘蛛對整站的判断變得模糊。
几個运维小习惯
给入口頁加一层狀態监控，比如每天定时批量請求入口頁 URL，把非 200 的结果记下来，比等日誌堆积後再翻要省事。改版、換域名、換服務器之後，先跑一遍狀態检查，再谈加量。
刪除入口頁时，顺手检查目标頁的入鏈數量：如果某個目标頁只靠一條入口頁被發現，入口頁消失就等于這條發現路径断了。补一條新入口頁，或在站内加一條内鏈，比單纯清死鏈更完整。
蜘蛛池只是 URL 發現的一环，狀態碼和連結结构理清楚，蜘蛛才愿意把抓取次數花在你的頁面上；至于最终收錄表現，還要看内容质量、站点整体信任度等更多因素。