把頁面删掉只是第一步。對于已经被抓取、甚至已经進入索引的 URL，搜尋引擎不會因為文件消失就立刻忘记它。接下来它還會回来確認几次，而每一次回来，服務器给出的响應都在影响這個舊地址的去留。所以真正需要想清楚的是：這個頁面属于哪種下线情况，對應的响應應该怎么给。
先分清三種下线情况
在動手之前，把頁面归到下面三類里，處理方式會清晰很多。
- 内容只是暂时不可用：比如活動結束、系統维護、商品临时缺货，之後還可能恢复。
- 内容永久迁移到了新地址：文章換了 URL、栏目調整、站点合並。
- 内容彻底不要了：過期信息、重复頁面、被合並掉的低價值頁。
三種情况用错狀態碼，會让搜尋引擎反复来抓一個不存在的地址，或者把原本可以保留的流量白丢掉。
404 與 410：都表示“没有”，但语气不同
404 的含义是“目前找不到這個资源”。它留有余地，搜尋引擎通常會在之後一段時間内再试探几次，观察這個地址是否只是临时異常。410 的语气更明确，表示资源已永久移除，一般能让搜尋引擎更干脆地放弃该 URL。
- 404：适合不确定未来是否恢复的頁面，属于比較温和的處理。
- 410：适合确定永久刪除、不會再上线的頁面。
- 两者都不應该被“软化”成返回 200 的空頁面，也不该一律跳到首頁。
很多站点习惯把不存在的地址 301 或 302 到首頁，想给用戶一個去處。但這样一来，搜尋引擎會把首頁当作该 URL 的落点；当大量不相關的舊地址都指向首頁时，首頁自身的主题反而被稀释。如果只是想让用戶有路可走，在 404 頁面上放導航和推荐入口就够了，不必用跳轉解决。
301：是搬家，不是刪除
内容換了地址，用 301 指向新 URL，是让已收錄頁面平稳過渡的常規做法。几個容易忽略的点：
- 尽量一跳到位，避免 A 轉 B、B 再轉 C 的鏈條，鏈條越長，信号传递越容易损耗。
- 舊頁與新頁的主题要對應，不要把過期文章统一指向某個不相干的栏目頁。
- 站内指向舊地址的内鏈，最好也逐步改成新地址。
- 舊 URL 上有外鏈时，保留 301 的收益通常比直接返回 404 更大。
301 保留多久没有统一期限，通常建议留到舊 URL 的抓取频次和流量明顯衰减之後，再考虑收掉。
有些场景不适合用狀態碼硬删
- 頁面暂时下线：可以考虑返回 503 並說明恢复時間，而不是直接 404。
- 两篇内容重复、想合並：用 301 指向保留頁，而不是让两個地址長期並存。
- 參數頁、篩選頁需要挡住：優先用 robots.txt 或頁面級 noindex，而不是刪除文件。
- 頁面還在，只是不想被索引：noindex 與刪除是两件事，別混着做。
狀態碼是在陈述资源的現状，不是用来隐藏頁面的手段。用错地方，往往會给後續抓取留下反复確認的麻烦。
下线之後值得核對的几件事
- 看索引报告或 site 查询，確認舊 URL 是否仍被列為已收錄。
- 翻服務器日誌，看爬虫還在抓哪些已删地址，數量是否在减少。
- 检查站内是否還有連結指向已删頁面，包括導航、侧栏和文章内鏈。
- 检查 sitemap，已删 URL 不该繼續留在里面。
- 確認同一批舊地址的响應保持一致，不要出現有的 404、有的 200 的混杂狀態。
刪除不是终点。之後的一两個月里，爬虫仍可能回来確認，這属于正常過程。真正能控制的是响應是否清晰、是否稳定——今天 404、明天又恢复 200，反而會延長搜尋引擎判断的時間。
收錄狀態何时變化，取决于站点抓取频率、頁面本身的重要程度和外鏈情况，没有统一的時間表。把狀態碼给對、把内鏈和 sitemap 清理干净，剩下的交给時間即可。