收录是搜索引擎自己保存的副本
把页面删掉,或者把整批内容下架,并不等于索引里的记录会同步消失。搜索引擎保存的是上一次抓取到的结果,它需要在下一次访问时看到新的状态,才会更新自己的副本。所以下架动作和收录清理之间存在时间差,这是正常现象,不必因为隔天还能搜到就反复改动设置。
先判断属于哪种情形
处理方式取决于你想要的结果,而不是页面本身写了什么。常见的是三类:
- 内容彻底不要了:页面应返回 404 或 410,同时从站点地图和内链里拿掉。
- 内容搬到了新地址:用 301 指向新页面,并确保新页面能承接旧页的完整内容。
- 暂时不想被搜到,但页面还要用:比如季节活动页、临时下线的商品页。这种情况适合保留 200 状态码再加 noindex,等重新开放时再去掉。
301 的用法和容易踩的坑
301 是告诉搜索引擎这个地址永久换成了另一个,旧页面积累的信号会向目标页合并。用得对是一次干净的搬家,用得不干净会留下很长的尾巴。
- 多个旧页合并到同一个新页时,要确认新页的主题确实能覆盖它们。把不相关的页面全部指向首页,通常会被当作无效跳转处理。
- 避免链式跳转,比如 A 到 B 再到 C。蜘蛛要多跳几次才能到终点,信号也会在中间损耗,目标地址最好一步到位。
- 302 表示临时跳转,长期使用会让搜索引擎保留对原地址的判断。确实是永久搬家,就不要顺手写成 302。
- 跳转目标页要返回 200 且内容可访问。跳到一个 404 或者需要登录的页面,等于搬到了空地。
404 与 noindex 的顺序问题
两者都能让页面退出索引,差别在于生效路径。noindex 需要蜘蛛重新抓取并读到这个标签之后才起作用;404 则是蜘蛛下次访问时直接看到资源不存在。对已经收录、又有一定抓取频率的页面来说,两者速度差别不会特别大,真正决定快慢的是这个地址被访问的频率。
批量下架时可以按这个顺序走:先把页面从导航、列表和站点地图里移除,再决定是直接返回 404,还是先 noindex 过渡一段时间。如果站点改状态码的成本很高,或者页面内容还需要留给内部使用,noindex 过渡更实际;如果这批页面确定不会再回来,直接 404 更省事,也少一层状态需要维护。
内容合并时别只做跳转
合并页面最容易出的问题是:旧页上有一部分独特内容,比如用户评论、参数表、特殊说明,被 301 直接冲掉了,而新页并不包含这些信息。对用户和搜索引擎来说,这都是内容变少。
更合理的做法是先把旧页里值得保留的部分迁到新页,确认新页结构完整、可正常访问,再设置 301。内链也要同步改:导航、面包屑、正文链接、相关推荐位,凡是还指向旧地址的地方都改成新地址。只要旧地址还被大量内链指向,蜘蛛就会反复去访问它。
下架之后要核对的几个入口
- 站点地图里是否还留着已删除的地址。
- 页面实际返回的状态码是否和预期一致,尤其要确认没有出现返回 200 却没有内容的软 404。
- 首页、栏目页、标签页、历史归档里是否还有指向旧地址的链接。
- 站内搜索、推荐模块、外部投放的落地页是否还在引用旧 URL。
- 访问日志里这批地址是否仍有蜘蛛访问,频率是否在下降。
收录清理是让搜索引擎逐步更新认知的过程,不是一次开关。动作发出后,给蜘蛛留出重新抓取的时间,比反复修改状态码更有用。
一个简单的判断顺序
先问这个地址以后还要不要,再问内容去了哪里,最后才问用什么方式告诉搜索引擎。顺序反了,容易在 404、noindex、301 之间来回切换,反而把整个过程拉得更长。