一、先分清是路径搬家还是页面重组
站点改版通常伴随 URL 变动,但变动类型不同,处理方式也不同。一类是路径搬家:内容本身没变,只是目录名、参数或后缀调整,例如 /news/123.html 变成 /article/123/。这类可以做到一一对应,用 301 指向新地址即可。另一类是页面重组:多个旧页面合并成一个新栏目页,或一个旧页面拆成多个新页面。这时没有干净的一一对应关系,需要人工决定每个旧 URL 的归宿。
区分这两类之后再动手,否则容易出现“旧页面全部 301 到首页”的做法,蜘蛛会把这些跳转视为低价值入口,抓取预算花掉却没有换来新 URL 的发现。
二、旧路径下线的三种处理方式
- 301 永久跳转:适用于有明确新对应页面的情况。跳转目标应是内容最接近的页面,而不是站点首页或栏目首页。
- 410 明确消失:适用于内容确实下架、且没有替代页面的情况。相比 404,410 表达更明确,长期看有利于旧入口收缩。
- 保留 200:只适合内容仍要保留、只是换了模板的页面。若旧页面与新页面内容高度重复,应考虑 canonical 指向,而不是让两套 URL 同时对外。
要避免的是长期使用 302 或 307。临时跳转不会传递明确的永久迁移信号,蜘蛛可能反复回来确认,形成额外的抓取往返。
三、新入口的铺设顺序
- 先改站内导航和栏目列表页,让新 URL 出现在离首页最近的层级。
- 再处理内容页之间的内链,尤其是正文中的引用链接和“相关阅读”模块。
- 更新 Sitemap,只放最终返回 200 的规范 URL,不要把跳转链放进去。
- 观察日志中新 URL 的首次抓取时间,以及旧 URL 抓取量的变化趋势。
Sitemap 是补充入口,不是替代内链的手段。如果新页面在内链里完全不可达,只靠 Sitemap 提交,发现速度通常更慢,也不利于后续的信号传递。
四、过渡期值得盯的几个指标
改版后的几周内,日志是主要依据。可以按天统计旧 URL 中 301 与 410 的抓取占比、新 URL 中返回 200 的比例、以及新 URL 从首次被请求到稳定抓取之间的间隔。
过渡期的目标是让蜘蛛把注意力从旧入口挪到新入口,而不是追求某一天抓取量的高低。抓取量短期波动属于正常现象。
五、容易踩的坑
- 跳转链过长:旧地址 301 到过渡地址,再 301 到新地址。尽量一步到位。
- 跳转目标失效:301 指向的新页面本身返回 404,或被 robots.txt 屏蔽。
- 入口不一致:导航、Sitemap、外链分别指向三种不同的旧地址变体。
- 缓存留旧:CDN 或浏览器缓存了旧的 301 与 410 响应,导致新规则迟迟不生效。
- 相对链接未改:模板里的相对路径在目录调整后指向了错误位置。
把这些项逐条对账一遍,通常比盯着抓取总量更有用。改版迁移不是一次性操作,而是一段需要持续观察的对账过程,建议按周做一次记录,直到旧入口请求量明显回落、新入口请求趋于稳定为止。