页面被删掉、下架，或者搬到新地址之后，很多人的第一反应是“这条已经不存在了”。但对搜索来说，索引里保存的是过去某次抓取到的那条 URL 记录，它和服务器现在的状态是两回事。搞清楚 404、410、301 这几个响应分别传递什么信号，才知道该催哪一步。

索引记录不会因为页面删除就自动消失

索引里的一条记录，代表搜索引擎曾经抓取并处理过这个 URL。当页面内容不再返回，爬虫需要再次来访、看到新的响应状态，才会考虑更新这条记录。

所以下线的第一步不是盯着索引看，而是让这个 URL 能被正常抓取，并返回明确的状态码。

如果 URL 被 robots.txt 屏蔽，或者服务器持续返回 5xx，爬虫拿不到明确信号，旧记录反而可能留存更久。

404：默认的“这里没有东西了”

404 表示资源不存在。对已经删除、也不打算恢复的页面，返回 404 是可行的做法。

不过 404 本身是个中性信号：它既可能是“暂时找不到”，也可能是“永久没了”，搜索引擎需要结合时间和其他线索来判断，处理周期可能偏长。

• 适合：页面确实已删、没有替代内容、也不需要把权重传给别处
• 注意：要返回真正的 404 状态，而不是返回 200 再显示“页面不存在”
• 注意：不要用全站统一的页面去兜所有缺失 URL，容易让人和爬虫都分不清

410：更明确的“不会再有了”

410 表示资源已被永久移除。信号比 404 更确定，理论上被移出索引的速度会快一些。

实际快多少，取决于爬虫再次抓取的频率。这个 URL 本身的外链多不多、访问是否频繁，都会影响时间。不要指望换了状态码第二天就消失。

如果页面只是暂时下线、以后还可能恢复，不建议用 410。

301：不是删掉，而是搬家

301 表示永久重定向到新地址。用它的场合是内容还在，只是换了 URL。

• 适合：改版、合并栏目、把重复页面指向主版本
• 注意：目标 URL 要和原页面内容对应，不要全部跳到首页
• 注意：尽量保持一跳，避免 A 跳 B、B 又跳 C 的链条

301 的目的不是让旧 URL 消失得越快越好，而是让新 URL 承接原来的信号。所以只要旧地址还有访问，对应的 301 就应当长期保留，而不是过渡几周就撤掉。

三种响应怎么选

1. 内容彻底删除、没有替代、也不迁移——404 或 410
2. 内容还在，只是换了地址——301 到新地址
3. 暂时下线、之后可能恢复——考虑 503 或保留原页面，不要急着删
4. 多个相似页面合并——其余页面 301 到保留的那一个

这里没有统一答案，关键是先想清楚：这个 URL 以后还会不会有内容。

几个常见的处理误区

• 把删除的 URL 全部 301 到首页：用户和爬虫都得不到对应信息，容易被当成软 404 处理
• 返回 404 状态码，但页面内容看起来像正常页：信号自相矛盾
• 删除后立刻用 robots.txt 屏蔽：爬虫进不来，反而可能让旧记录留得更久
• 只删了内容页，留下大量空目录和空列表页：这些页面本身也需要一并处理

下线之后该看什么

处理完之后，观察点主要有两个。一是这些 URL 是否还能被抓取到，服务器日志里能看到爬虫来访和返回的状态码；二是索引中这类 URL 的数量趋势。

索引更新本身有延迟，几天到几周都算正常。与其频繁查询，不如固定一个周期看趋势，避免因为单次波动就反复改动。

如果长期没有任何变化，再回头检查：状态码是否正确、是否被 robots 规则拦住、服务器是否间歇性返回 5xx。

小结

页面下线的处理，本质上是给爬虫一个明确的答复。404、410、301 分别对应“没有了”“永久没有了”“搬到别处了”。选对响应、保证 URL 能被抓取、再给它足够的时间，剩下的交给索引自行更新即可。