把页面删掉只是第一步。对于已经被抓取、甚至已经进入索引的 URL，搜索引擎不会因为文件消失就立刻忘记它。接下来它还会回来确认几次，而每一次回来，服务器给出的响应都在影响这个旧地址的去留。所以真正需要想清楚的是：这个页面属于哪种下线情况，对应的响应应该怎么给。
先分清三种下线情况
在动手之前，把页面归到下面三类里，处理方式会清晰很多。
- 内容只是暂时不可用：比如活动结束、系统维护、商品临时缺货，之后还可能恢复。
- 内容永久迁移到了新地址：文章换了 URL、栏目调整、站点合并。
- 内容彻底不要了：过期信息、重复页面、被合并掉的低价值页。
三种情况用错状态码，会让搜索引擎反复来抓一个不存在的地址，或者把原本可以保留的流量白丢掉。
404 与 410：都表示“没有”，但语气不同
404 的含义是“当前找不到这个资源”。它留有余地，搜索引擎通常会在之后一段时间内再试探几次，观察这个地址是否只是临时异常。410 的语气更明确，表示资源已永久移除，一般能让搜索引擎更干脆地放弃该 URL。
- 404：适合不确定未来是否恢复的页面，属于比较温和的处理。
- 410：适合确定永久删除、不会再上线的页面。
- 两者都不应该被“软化”成返回 200 的空页面，也不该一律跳到首页。
很多站点习惯把不存在的地址 301 或 302 到首页，想给用户一个去处。但这样一来，搜索引擎会把首页当作该 URL 的落点；当大量不相关的旧地址都指向首页时，首页自身的主题反而被稀释。如果只是想让用户有路可走，在 404 页面上放导航和推荐入口就够了，不必用跳转解决。
301：是搬家，不是删除
内容换了地址，用 301 指向新 URL，是让已收录页面平稳过渡的常规做法。几个容易忽略的点：
- 尽量一跳到位，避免 A 转 B、B 再转 C 的链条，链条越长，信号传递越容易损耗。
- 旧页与新页的主题要对应，不要把过期文章统一指向某个不相干的栏目页。
- 站内指向旧地址的内链，最好也逐步改成新地址。
- 旧 URL 上有外链时，保留 301 的收益通常比直接返回 404 更大。
301 保留多久没有统一期限，通常建议留到旧 URL 的抓取频次和流量明显衰减之后，再考虑收掉。
有些场景不适合用状态码硬删
- 页面暂时下线：可以考虑返回 503 并说明恢复时间，而不是直接 404。
- 两篇内容重复、想合并：用 301 指向保留页，而不是让两个地址长期并存。
- 参数页、筛选页需要挡住：优先用 robots.txt 或页面级 noindex，而不是删除文件。
- 页面还在，只是不想被索引：noindex 与删除是两件事，别混着做。
状态码是在陈述资源的现状，不是用来隐藏页面的手段。用错地方，往往会给后续抓取留下反复确认的麻烦。
下线之后值得核对的几件事
- 看索引报告或 site 查询，确认旧 URL 是否仍被列为已收录。
- 翻服务器日志，看爬虫还在抓哪些已删地址，数量是否在减少。
- 检查站内是否还有链接指向已删页面，包括导航、侧栏和文章内链。
- 检查 sitemap，已删 URL 不该继续留在里面。
- 确认同一批旧地址的响应保持一致，不要出现有的 404、有的 200 的混杂状态。
删除不是终点。之后的一两个月里，爬虫仍可能回来确认，这属于正常过程。真正能控制的是响应是否清晰、是否稳定——今天 404、明天又恢复 200，反而会延长搜索引擎判断的时间。
收录状态何时变化，取决于站点抓取频率、页面本身的重要程度和外链情况，没有统一的时间表。把状态码给对、把内链和 sitemap 清理干净，剩下的交给时间即可。