内容下架、栏目关停、活动结束、商品停售，这些动作在后台点一下就能完成，但搜索引擎索引里的那条记录不会跟着一起消失。很多人以为链接打不开就等于被删掉了，其实“页面下线”和“索引条目消失”是两件事，中间隔着一次抓取、一次判断和一段不确定的等待时间。

先分清两件事

页面下线指的是服务器对某个 URL 的响应变了；索引条目消失指的是搜索引擎在重新抓取后，确认这个 URL 不再值得保留，把它从索引里拿掉。前者你完全可控，后者只能通过前者释放的信号去影响。所以下线的关键不是“删得干净”，而是“信号给得清楚”。

三种常见的下线方式

404：默认选择

页面不再存在，也没有合适的替代内容时，返回 404 是常规做法。它表达的是“这个地址现在没有东西”。缺点是不够明确——搜索引擎会把它当成一种临时性的不确定状态，可能保留观察一段时间，也可能认为是你配置错了，隔一阵再来确认。

410：态度更明确

410 表示“资源已永久移除”。对搜索引擎来说这是个更确定的信号，理论上索引清理会相对干脆一些。但不要为了求快就把所有 404 都改成 410：如果页面日后还可能恢复，或者只是暂时的技术故障，410 会造成不必要的麻烦。

301：有替代内容时才用

如果下线是因为内容合并、改版迁移、商品换了链接，那应该用 301 指向新的地址，而不是让它 404。这里有个常见误区：把一个已经决定不要的页面 301 到首页。首页和原页面的主题无关，用户和搜索引擎都会觉得被糊弄，这种做法对双方都没有好处。

noindex 该在什么时候用

noindex 的作用是“可以访问，但不要收录”。它适合页面还在、但你不希望它出现在索引里的情况，比如临时的登录后页面、站内检索结果、还在评审中的内容。需要注意的是，noindex 是页面级的 meta 标签，如果页面本身返回 404，或者被 robots.txt 拦住抓取，搜索引擎根本看不到这个标签，也就无从执行。常见的错误是既用 robots.txt 屏蔽抓取，又指望 noindex 生效。

下线之后还要做的收尾

• 把该 URL 从 sitemap 里移除，别让站点地图继续推荐一个已经下线的地址。
• 清理站内指向它的链接。留着大量指向 404 的内链，既浪费抓取，也让用户走到死路。
• 检查导航、面包屑、相关推荐、聚合页这些容易漏掉的入口。
• 如果页面被 301 到新地址，确认新页面自己的 canonical 指向自己，不要指回旧地址。
• 外部链接无法控制，但可以留意那些点击量较大的外链来源，必要时联系对方更新。

观察节点

下线后的一段时间里，可以做几次抽样：用 site 查询或直接搜索页面的特征标题，看旧条目是否还在；翻蜘蛛日志，看搜索引擎是否还来抓这个地址，返回的是不是你想要的状态码。索引清理本来就没有固定周期，几周、几个月都算正常。如果迟迟没有变化，先回头确认状态码、noindex 标签、robots 规则是不是互相打架，而不是急着再叠一层处理。

把“删除内容”和“删除索引”当成同一件事，是下线环节最常见的错位。前者是操作，后者是结果。