内容下架、活动结束、产品停产，页面删掉了，但过几周在搜索结果里还能看到旧标题和旧摘要。这种情况不是蜘蛛“忘了”，而是让它从索引里抹掉一条记录，需要明确的信号，也需要时间。

先分清是“不再维护”还是“彻底删除”

• 只是不再更新，但页面还有参考价值：保留，在页面里补一句说明，别急着删。
• 与当前业务无关，希望它彻底消失：走删除流程，返回明确的状态码。
• 只是换了地址：用 301 指向新页面，这不是删除，不要当删除处理。

三种情况的操作完全不同。最常见的失误是：本来只想换地址，却直接把旧页面删掉返回 404，旧入口被清掉，新页面又没接住，等于自己把流量入口关了。

返回正确的状态码，别让蜘蛛猜

页面确定不要了，服务器应该返回 404 或 410，而不是继续返回 200。

• 404：内容不存在，语义相对模糊，可能被理解成临时状态。
• 410：明确告知页面已永久移除，通常处理会更干脆。
• 200：哪怕页面是个空壳，也会被当成正常页面。这就是软 404，很容易长期留在索引里。

还有一种做法是把删除的页面全部重定向到首页。对用户看起来友好，但对搜索引擎来说，这等于告诉它“这个旧地址现在指向首页”。如果成批这么做，多数会被当成软 404 处理，反而拖慢清理进度。

别用 robots.txt 去“藏”页面

这是很常见的误操作。把想删除的 URL 写进 robots.txt 屏蔽掉，蜘蛛就无法访问它，自然也就看不到页面上的 410 状态或 noindex 标签。结果是：蜘蛛不再来了，但索引里的旧记录可能一直留着。

更合理的顺序是：先让页面返回 410，或者允许抓取并放置 noindex，等索引确实移除之后，再考虑要不要屏蔽。

noindex 和删除是两件事

noindex 的意思是“可以抓取，但不要收录”，适合那些还想让用户访问、只是不希望进搜索的页面，比如登录页、内部说明页。它需要页面能被蜘蛛抓到才会生效，一旦同时加了 robots 屏蔽，noindex 就形同虚设。

清理索引要做的配套动作

1. 更新站点地图，把已经删除的 URL 移出去，别让旧地址继续被反复提交。
2. 清理站内指向这些页面的链接，或改成指向替代页面，避免内部还在往死链上送蜘蛛。
3. 检查外部是否还有指向旧地址的链接，能改的尽量改成新地址，改不了的就让它自然衰减。
4. 站长平台的 URL 移除工具可以处理少量紧急页面，但它只是临时压制，最终还是要靠 404 或 410 把状态说清楚。

大批量删除要分批来做

一次性删掉成百上千个页面，蜘蛛下次来访时会撞见大量 404，抓取分配会重新调整，这个阶段收录波动是正常的。如果这些页面本身还有流量或外链，建议分批处理，并提前给重点内容准备好替代地址。

判断清理是否生效，可以看抓取日志里这些 URL 的返回码是否稳定在 404 或 410，以及索引状态里对应的排除原因，而不是每天去搜索结果里手动搜一遍。

删除之后，索引更新需要时间，几周甚至更久都算正常。把状态码、内链、站点地图这几件事做干净，剩下的交给抓取周期就好。