站点运营里，URL 的生命周期往往比頁面内容更長。栏目合並、商品下架、文章重寫、域名迁移，都會让一批地址失效或者換位置。對用戶来说，一個跳轉、一個 404 頁面就結束了；對搜尋蜘蛛来说，這條抓取路径還要再走几步，而這几步的處理方式，會影响它對整個站点的判断。
蜘蛛拿到一個 URL 之後，先看的是狀態碼
不管是内鏈、Sitemap 還是歷史记錄里的地址，蜘蛛最终都是發一個請求過去，然後看响應狀態。狀態碼是它對這條路径的第一次判断，比頁面内容更早生效。
- 200：頁面還在，繼續解析内容和出鏈。
- 3xx：地址變了，跟着跳轉繼續走。
- 404 / 410：這里没有内容，通常不再深入。
- 5xx：服務器出問题，多半會稍後再来。
所以處理下线 URL 时，第一步不是删文件，而是確認服務器返回的狀態是否和你的意图一致。
301：把抓取路径平移到新地址
頁面只是換了地址、内容仍然存在时，301 是最常见的做法。它相当于告诉蜘蛛：這個 URL 的职责已经交给另一個地址，後續請去那邊。
几個容易忽略的细节
- 不要串成長鏈。A 跳 B、B 再跳 C，每多一跳就多一次請求。能直接跳到终点就跳终点。
- 跳轉目标必须能正常打開。如果 301 指向的頁面本身是 404，或者被 robots 挡住，蜘蛛走到一半就断了。
- 站内連結要同步改。只改跳轉不改内鏈，頁面上仍然到處是舊地址，等于人為制造了大量绕路。
- 別用 302、307 長期代替 301。临时跳轉表達的语义和永久跳轉不同，長期使用容易让蜘蛛反复確認舊地址。
404 和 410：明确告诉蜘蛛這里没有了
内容确定不再提供、也没有對應新頁面时，返回 404 是干净的處理方式。410 的语义更明确，表示這是主動刪除並且不會恢复。两者對蜘蛛来说都属于“不必再来”，實际表現可能接近，不必為了用 410 而把简單的刪除复杂化。
真正要避免的是两種情况：一是刪除内容後仍然返回 200，頁面上只留一句“内容已刪除”；二是把失效地址全部 301 到首頁。前者會让蜘蛛繼續把空頁面当成有效内容，後者會让首頁被大量無關入口指向，两件事都會让抓取路径變得含糊。
只删文件不删連結，會發生什么
頁面删掉了，但導航、相關推荐、Sitemap 里還留着舊地址，蜘蛛每次来都會重新走一遍這些死路。少量無妨，成規模时，抓取资源就會持續消耗在没有结果的地址上。
判断标准很简單：如果你自己從首頁出發，還會不會点到這個舊地址。會，就說明連結没清干净。
批量下线时，把节奏拆開
- 先確認這批 URL 是“換地址”還是“彻底消失”，分別對應 301 和 404。
- 更新内鏈：導航、面包屑、正文里的相關連結優先處理。
- 同步清理 Sitemap，不要让文件里繼續保留已经下线的地址。
- 分批下线，避免同一天把大量路径變成死路，也让观察日誌时更容易分辨原因。
- 下线一段時間後回看服務器日誌，確認這些地址的訪問量是否在下降。
換域名或改结构时，注意抓取入口
改版或迁移时，蜘蛛往往要通過舊地址才能找到新地址。如果舊域名整体停止服務、没有任何跳轉，蜘蛛就失去了入口。比較稳妥的顺序是：先让新地址可訪問，再在舊地址上做好跳轉，最後才考虑關停舊服務。Sitemap 里的地址也應切換到新域名，而不是新舊混放。
把清理当成日常動作
URL 下线不是一次性項目。每次栏目調整、商品下架、文章合並，都會产生一批需要收尾的地址。把它們记進常規流程，比积累几百個失效連結之後再去集中排查要省力得多。抓取路径越清楚，站点在抓取层面的表現就越可预期——這不需要額外技巧，只需要把每次迁移做完整。