页面下架是运营里很常见的动作：活动结束、商品停产、文章过时、栏目裁撤。但很多人只处理了页面文件本身，没有想清楚这个 URL 之后要以什么状态存在。搜索蜘蛛下次来抓取时看到的东西，会直接影响这个地址是继续留在索引里、被替换，还是被移除。
先确认一件事：这个位置以后还会不会有内容
处理方式其实由业务决定，而不是由收录指标决定。动手前先回答三个问题：这个位置以后还会不会放新内容？原来的内容有没有合适的替代页？用户从搜索结果点进来时，你希望他看到什么？答案不同，做法就不同。
三种常见做法及它们在收录上的表现
一、返回 404 / 410：位置彻底废弃
页面删除后让服务器正常返回 404，确定永久不再提供时可返回 410，这是最直接的信号。要注意抓取和收录是两件事：返回 404 之后，蜘蛛可能还会来访问几次确认状态，索引里的这条记录通常要过一段时间才会消失。
- 适合：内容确实不再提供，也没有合适的替代页。
- 注意：不要返回 200 再展示“该内容已删除”的提示页，这会变成软 404，让状态判断变模糊。
- 注意：不要顺手在 robots.txt 里屏蔽这些 URL，否则蜘蛛看不到 404 状态，反而可能长期保留记录。
二、保留 URL，但换成另一个主题的内容
把旧页面原地改成完全不同的内容，短时间看是“省下了一个 URL”，实际会让索引里的标题、摘要与用户预期错位。如果新旧内容毫无关联，建议删除或重定向；如果有关联，例如“2023 年活动”改成“2024 年活动”，那更接近内容更新，此时要保证页面主体、标题、结构化数据同步改掉，不要只换正文。
三、301 重定向：位置换了，内容还在
内容迁移到新 URL 时使用 301。要点是一对一指向最相关的那个页面，而不是全部丢到首页或栏目页。批量重定向到不相关页面，给用户的感受和给蜘蛛的信号都不清晰。
决策顺序参考
- 先判断内容是否还有价值、是否还有替代页。
- 有替代页且主题接近 → 301 到替代页。
- 没有替代页、位置也不再使用 → 返回 404 或 410。
- 位置还会继续用，只是换内容 → 原地更新，同时清理旧的内链锚文本和结构化数据。
- 只是短期不可用，例如临时维护 → 用 503 而不是 404，恢复后及时撤掉。
几个容易踩的坑
- 只删页面，不处理内链：站内还在指向这个地址，蜘蛛就会反复抓到 404，占用抓取资源。
- 删除后立刻在 robots.txt 里 Disallow：表面看是清理，实际会让蜘蛛无法确认失效状态。
- 把 404 页面重定向到首页：用户和蜘蛛都拿不到明确答案，是典型的软 404 做法。
- 站点地图没有同步更新：下架 URL 还留在 sitemap 里，等于持续向搜索引擎提交失效地址。
判断标准其实很简单：站在用户从搜索结果点进来的角度想，他看到的应该是“内容还在，只是换了地址”，还是“这个内容已经没有了”。两种状态对应两种返回码，不要含糊。
处理完成后的自查
- 用浏览器或抓取工具直接访问旧 URL，确认返回码符合预期。
- 检查站内链接、导航、面包屑是否还有指向已废弃地址的入口。
- 更新站点地图，移除下架 URL，加入新 URL。
- 观察索引数量的变化，给状态收敛留出时间，不必一天之内反复调来调去。
下架处理的难点不在于技术动作，而在于提前想清楚这个 URL 未来的角色。状态明确、指向清晰，蜘蛛和用户都不需要猜。