下架不等于立刻从索引里消失
页面删掉了、换了路径、或者整个栏目下线，几周后在搜索结果里还能看到旧 URL，这是很常见的现象。索引是一份独立的数据副本，站点端的删除动作只是提供了一个“这个地址已经不可用”的信号，什么时候把它清掉，取决于搜索引擎重新抓取后怎么理解这个信号。所以，处理顺序往往比处理动作本身更重要。
先分清页面属于哪一种下线
永久不再需要
这类页面直接返回 404 即可。如果希望信号更明确，返回 410 也可以，它表达的是“永久移除”，语义上没有歧义。关键是让服务器真实返回这个状态码，而不是返回 200 再在页面上写一句“内容已删除”——那属于软 404，容易被当成正常页面继续保留。
临时下线，之后可能恢复
如果只是短期维护或暂时隐藏，不要用 404，因为一旦被当成永久移除，恢复后需要重新走一遍发现和索引流程。可以用 503 配合 Retry-After 表达“暂时不可用”，但要控制时长，长期挂 503 对整站抓取节奏并不友好。另一种折中是页面保留、内容加 noindex，等确定不再恢复时再改成 404。
内容搬到了新地址
用 301 指向新 URL，同时确认新页面可正常抓取、内容与旧页面确实对应。多个旧地址指向同一个新地址是可以的，但不要做成链条，也不要让中间环节随意变动，否则信号在传递过程中容易断掉。
推荐的清理顺序
- 定状态码：先让旧 URL 返回正确的状态码，这是最核心的一步。
- 拆内链：检查导航、面包屑、正文里的旧链接，能改的改成新地址，确实不需要的去掉。
- 改 sitemap：从 sitemap 中移除旧 URL，避免继续主动推荐已经失效的地址。
- 保留可用的 404 页面：给用户一个返回入口，不影响状态码。
- 观察与复查：按批次处理，记录每批的时间点，隔一段时间再回看。
几个容易踩的坑
- 用 robots.txt 屏蔽旧目录：页面抓不到，noindex 也就永远读不到，索引里的旧版本反而可能长期留着。
- 把失效 URL 全部跳转到首页：这会让旧地址和首页内容对不上，既不利于判断，也容易干扰首页自身的收录表现。
- 只删内容不改模板：列表页、聚合页仍在输出这些条目，蜘蛛会反复发现并访问。
- 期望一两天见效：索引刷新有自己的节奏，通常需要几次抓取周期才能观察到变化。
怎么确认有没有生效
可以从三个方向看：用 URL 检查工具或站内搜索抽查几个代表性地址；看服务器日志里旧 URL 的访问频率和返回码是否稳定在目标状态；看索引覆盖报告里对应分类的数量变化趋势。抽样比看总量更可靠，因为总量会同时受到新页面发布的影响。
提示：清理旧 URL 和发布新内容是两条互不干扰的线。不必等旧地址全部清完才继续做内链和内容更新，但也不要把失效地址长期留在重要路径上。