頁面下架是运营里很常见的動作：活動結束、商品停产、文章過时、栏目裁撤。但很多人只處理了頁面文件本身，没有想清楚這個 URL 之後要以什么狀態存在。搜尋蜘蛛下次来抓取时看到的東西，會直接影响這個地址是繼續留在索引里、被替換，還是被移除。
先確認一件事：這個位置以後還會不會有内容
處理方式其實由业務决定，而不是由收錄指标决定。動手前先回答三個問题：這個位置以後還會不會放新内容？原来的内容有没有合适的替代頁？用戶從搜尋结果点進来时，你希望他看到什么？答案不同，做法就不同。
三種常见做法及它們在收錄上的表現
一、返回 404 / 410：位置彻底废弃
頁面刪除後让服務器正常返回 404，确定永久不再提供时可返回 410，這是最直接的信号。要注意抓取和收錄是两件事：返回 404 之後，蜘蛛可能還會来訪問几次確認狀態，索引里的這條记錄通常要過一段時間才會消失。
- 适合：内容确實不再提供，也没有合适的替代頁。
- 注意：不要返回 200 再展示“该内容已刪除”的提示頁，這會變成软 404，让狀態判断變模糊。
- 注意：不要顺手在 robots.txt 里屏蔽這些 URL，否則蜘蛛看不到 404 狀態，反而可能長期保留记錄。
二、保留 URL，但換成另一個主题的内容
把舊頁面原地改成完全不同的内容，短時間看是“省下了一個 URL”，實际會让索引里的标题、摘要與用戶预期错位。如果新舊内容毫無關联，建议刪除或重定向；如果有關联，例如“2023 年活動”改成“2024 年活動”，那更接近内容更新，此时要保證頁面主体、标题、结构化資料同步改掉，不要只換正文。
三、301 重定向：位置換了，内容還在
内容迁移到新 URL 时使用 301。要点是一對一指向最相關的那個頁面，而不是全部丢到首頁或栏目頁。批量重定向到不相關頁面，给用戶的感受和给蜘蛛的信号都不清晰。
决策顺序參考
- 先判断内容是否還有價值、是否還有替代頁。
- 有替代頁且主题接近 → 301 到替代頁。
- 没有替代頁、位置也不再使用 → 返回 404 或 410。
- 位置還會繼續用，只是換内容 → 原地更新，同时清理舊的内鏈锚文本和结构化資料。
- 只是短期不可用，例如临时维護 → 用 503 而不是 404，恢复後及时撤掉。
几個容易踩的坑
- 只删頁面，不處理内鏈：站内還在指向這個地址，蜘蛛就會反复抓到 404，占用抓取资源。
- 刪除後立刻在 robots.txt 里 Disallow：表面看是清理，實际會让蜘蛛無法確認失效狀態。
- 把 404 頁面重定向到首頁：用戶和蜘蛛都拿不到明确答案，是典型的软 404 做法。
- 站点地图没有同步更新：下架 URL 還留在 sitemap 里，等于持續向搜尋引擎提交失效地址。
判断标准其實很简單：站在用戶從搜尋结果点進来的角度想，他看到的應该是“内容還在，只是換了地址”，還是“這個内容已经没有了”。两種狀態對應两種返回碼，不要含糊。
處理完成後的自查
- 用浏览器或抓取工具直接訪問舊 URL，確認返回碼符合预期。
- 检查站内連結、導航、面包屑是否還有指向已废弃地址的入口。
- 更新站点地图，移除下架 URL，加入新 URL。
- 观察索引數量的變化，给狀態收敛留出時間，不必一天之内反复調来調去。
下架處理的难点不在于技術動作，而在于提前想清楚這個 URL 未来的角色。狀態明确、指向清晰，蜘蛛和用戶都不需要猜。