改版、下架商品、合并栏目、清理过期活动页,这些操作最后都会落到同一个问题:一批 URL 不再需要了,该怎么处理。处理方式不仅影响用户从搜索结果点进来看到什么,也影响索引里这些地址要留多久。下面按“先判断、再选择、最后检查”的顺序梳理一遍。
先回答三个问题
动手之前,先对每个 URL 或每一批 URL 问清楚:
- 这个地址以后还会不会再上线内容?
- 站内有没有一个内容等价、可以承接它的新页面?
- 它有没有外链、有没有搜索流量、有没有被用户收藏?
答案不同,处理方式就不同。最怕的是一批 URL 统一做成“全部跳首页”,看起来干净,实际上把信号打散了。
四种常见处理方式
301 永久重定向:有等价新页面时用
适用场景是栏目合并、文章换了固定链接、商品换了新地址。要点是一对一、内容相关,A 页面对应到最接近的 B 页面,而不是全部指向首页或栏目页。大面积全站跳首页,容易被当成软 404 处理。
404 / 410:确实不再提供的内容
两者都是告诉搜索引擎这个地址没有内容了,410 的语气更明确一些。差别在实际操作中并不大,重点在于服务器要直接返回 404 或 410 状态码,而不是返回一个 200 的“内容已删除,请返回首页”提示页。后者属于软 404,索引里的旧地址更难清理。
noindex + 保留页面:页面还要给人看
过期活动页、仅供登录用户使用的页面、只作为流程中间步骤的页面,适合这种处理:页面照常访问,但通过 meta robots 或响应头加上 noindex。注意这类页面不要同时出现在 sitemap 里,也不要在导航和内链里大面积指向它。
暂时保留:内容会回来
短期下架、季节性页面,可以先把页面对用户隐藏或保留,但不做永久性处理。频繁在 404、301、200 之间来回切换,比稳定在一个状态更难判断。
建议的处理顺序
- 先盘点:从 sitemap、日志、搜索表现报告里把要处理的 URL 列全,避免漏掉带参数、带斜杠变体、旧协议版本的地址。
- 能对应的先做 301:一对一映射,跳转链条控制在一跳,不要 A 到 B 再到 C。
- 不能对应的判断是否还会上线:会上线的保留,不会再上线的走 404 或 410。
- 清理站内入口:导航、面包屑、相关推荐、站内搜索建议、XML sitemap 里同步移除。
- 观察:索引更新是异步的,几周内旧地址仍出现在结果里属于常见情况,不必每天改动策略。
处理完一批 URL 之后,隔一段时间再看收录和抓取数据,比上线当天反复检查更有意义。
几个容易踩的坑
- 用 JS 跳转或 meta refresh 代替 301,处理效率会低很多。
- 把删除的页面 302 到首页,语义上是临时跳转,实际上长期存在。
- 页面内容清空了,但模板仍然返回 200,形成软 404。
- 加了 noindex 却又让页面同时被 sitemap 和内链大量指向,信号互相冲突。
- 只处理了 HTML 页面,漏掉了被索引的 PDF、图片等附件地址。
怎么确认处理已经生效
可以从两个方向看:一是用站点工具或命令行请求旧地址,确认返回的状态码与预期一致,跳转只跳一跳;二是在搜索表现和抓取数据里观察这些 URL 是否还在被访问、数量是否逐步减少。索引层面的变化通常比抓取层面的变化慢,把观察周期放到几周更合适。
把删除和下线也当成 URL 生命周期的一部分,形成固定规则:先判断归属,再选状态码,最后同步站内入口并定期回看。这样做的好处不是立刻看到索引变化,而是以后每次改版都不用重新讨论一遍。