搜索抓取

站点改版后的抓取路径:旧 URL、重定向与新内链怎么衔接

改版时蜘蛛看到的路径最容易断。本文按旧 URL 分类处理、重定向链长度、内链同步修改、Sitemap 替换节奏和日志观察指标五个方面,梳理改版期间如何让旧地址与新结构平稳衔接,避免抓取量被跳转和重复页面消耗。

搜索抓取

站点改版后的抓取路径:旧 URL、重定向与新内链怎么衔接

改版是抓取路径最容易断掉的时候。旧地址还在被蜘蛛访问,新地址已经上线,中间如果没有清晰的承接,蜘蛛看到的可能是一串断链、一堆跳转,或者两套内容同时存在。下面按“蜘蛛会怎么走”的顺序梳理一遍。

一、先分清三类旧 URL

改版后的旧地址,大致能分成三种,处理方式并不一样。

  • 有对应新页面的:用 301 指向最接近的那个新 URL,一跳到位。
  • 内容被合并的:多个旧页并成一个新页,全部 301 到同一个目标地址。
  • 彻底下线的:返回 410 或 404,不要再 301 到首页。

最常见的错误是把所有旧地址统一跳到首页。蜘蛛跟过去发现内容对不上,这次跳转的意义基本就没了,用户也会多一次迷惑。

二、重定向链尽量控制在两跳以内

蜘蛛遇到 301 会继续跟,但每多一跳就多一次请求和一次判断。实践中尽量做到:

  1. 旧 URL 直接指向最终地址,不经过中间层。
  2. 不要 A→B→C 的接力,把 A 直接改成指向 C。
  3. 跳转目标本身不要再跳向别处。
判断标准很简单:如果你自己要点三次才到终点,蜘蛛那边也要走三次。

三、内链要一起改,不能只改跳转

301 只是兜底,真正决定蜘蛛以后走哪条路的,是新页面之间的内链。改版时容易被漏掉的几个位置:

  • 导航和面包屑里指向旧目录的链接。
  • 正文里手工写的旧文章地址。
  • 专题页、标签页聚合出来的旧链接。
  • 图片、附件指向的旧路径。

只要这些链接没改,蜘蛛每次爬到这里都会走一次 301,相当于把跳转当成常态。时间久了,抓取路径上会一直挂着一层历史包袱。

四、Sitemap 与替换的节奏

新 URL 上线后,Sitemap 应尽快换成新地址。旧 Sitemap 里的地址如果已经做了 301,不必长期留着,否则蜘蛛会持续把抓取量花在跳转上。

站点规模大时,可以分阶段推进:先让新结构的内链跑通,再替换 Sitemap,最后清理旧链接。一次性全改,日志里容易同时出现大量 404 与跳转,排查起来更累。

五、改版后该盯的几个信号

  • 访问日志里 301、404、410 的比例变化。
  • 蜘蛛访问旧目录的频率是否逐步下降。
  • 新目录的抓取量是否稳步上升。
  • 是否有页面同时被新旧两个地址访问到。

最后一条尤其要留意:如果新旧地址都能正常返回 200,蜘蛛会把它们当作两个页面,抓取量被拆成两份,内链也会被分散。要么跳转,要么用规范标签明确主地址,不要两头都留着。

改版本身不复杂,难的是把“蜘蛛看到的路径”和“你心里的路径”对上。把跳转做短、内链改干净、Sitemap 换成新的,剩下的交给时间慢慢观察。