内容有上线就有下线。活動頁過期、产品停产、舊版教程被新規范取代，這些都是正常的站点运营動作。但不少站点在下线内容时只做了一步——把頁面删掉，剩下的交给服務器返回 404。對用戶来说可能只是少了一個入口，對搜尋蜘蛛来说却是一串需要重新判断的信号。
下线處理做得好，抓取预算不會被浪費在成片的死鏈上；做得随意，轻則抓取日誌里 404 比例飙升，重則站内大量連結指向不存在的地址，蜘蛛反复来回確認。
先分清下线的几種情况
- 彻底不需要：内容没有替代品，也不會再有用戶訪問，适合直接返回 404 或 410。
- 内容合並：舊文章的核心信息已经並入新頁面，應该用 301 指向新地址，而不是直接删掉。
- 临时下线：比如系統维護、活動間歇期。這類頁面不要返回 404，避免地址被当作永久失效；用 503 加 Retry-After 更合适。
- 栏目整体調整：栏目合並或拆分时，先規划好新的 URL 结构，再逐條做跳轉，不要一次性全部刪除。
狀態碼別用错
404 和 410 都表示頁面不存在，410 更明确地表達“永久移除”。两者都能让蜘蛛知道地址已失效，差別在于 410 通常能让蜘蛛更快停止回訪。至于用 200 狀態碼返回一個“内容已刪除”的空壳頁，是最容易混淆的做法——蜘蛛看到 200，會認為頁面正常，繼續抓取和保留，而用戶点進来只看到一句提示。
判断标准很简單：這個地址以後還會不會有内容？會，就用 301 跳到新地址；不會，就用 404 或 410，不要用 200 遮掩。
入口清理比删頁面更重要
頁面文件删掉了，站内指向它的連結往往還在。這些連結散落在導航、推荐位、侧邊栏、标簽頁、相關阅讀、舊文章正文和 RSS 里，需要顺着連結關系逐個排查。
- 導航和面包屑里如果有已下线栏目，要同步調整。
- 正文里的内鏈如果指向已删頁面，改成新地址或去掉連結。
- 站点地图、RSS、分類聚合頁要重新生成，別繼續把死鏈交出去。
- 站外連結無法控制，但可以通過 301 把用戶引導到替代頁面。
归档頁怎么處理
有些内容不适合直接删，比如歷年公告、舊版本說明。可行的做法是保留一個归档索引頁，詳情頁下线後，把索引頁里的連結去掉或改為文字說明。注意归档頁本身不要變成只有标题堆叠的空壳——如果它没有任何可讀内容，對用戶和蜘蛛都没有價值，可以考虑合並進主栏目或直接下线。
下线前後的自查動作
- 列出待下线 URL 清單，标注每條的處理方式：301、404、410 或保留。
- 為 301 的目标頁確認内容相關度，別把用戶和蜘蛛送到一個不相關的首頁。
- 清理站内入口，重新生成站点地图與聚合頁。
- 用抓取工具抽查几十條地址，確認狀態碼與预期一致。
- 上线後观察一到两周的抓取日誌，看這些地址的訪問是否在减少，404 總量是否回到正常区間。
下线不是“删掉就完事”，它更像一次小型的内容迁移。把狀態碼、跳轉和入口清理三件事做完整，站点结构才不會因為几次内容調整留下大面积的空白。