搜索抓取

换域名或大改版时,蜘蛛抓取重心是怎么转移的

站点换域名或做结构性改版,从蜘蛛视角看是一次抓取重心的转移。文章梳理迁移前的可抓取检查、301 映射原则、站点地图与内链的同步切换,以及新旧 URL 并存期值得盯的几个观察点,帮你在过渡期少走弯路。

搜索抓取

换域名或大改版时,蜘蛛抓取重心是怎么转移的

站点换域名或者做结构性改版时,很多人以为把 301 配好就算完事。从蜘蛛的视角看,这更像一次抓取重心的转移:旧地址还会被访问一段时间,新地址的发现要靠新的内链和站点地图,中间还会有一段两套 URL 并存的时期。过渡期处理得是否干净,会直接影响新 URL 被稳定发现的节奏。

抓取重心不是一次切换完成的

蜘蛛对旧 URL 是有记忆的。即使 301 已经生效,它仍可能按之前的列表继续访问,只是每次都会被引导到新地址。新地址的抓取量上升,通常要等它从内链、站点地图以及 301 目标这几个渠道反复确认之后才会趋于稳定。所以观察迁移效果时,别只看第一天,至少看两到四个抓取周期。

迁移前先确认新站可被抓

  • 域名解析、证书、默认端口正常,www 与非 www 只保留一个入口并统一跳转。
  • robots.txt 别把测试环境的规则带上线,尤其是 Disallow: / 这类误配置。
  • 服务器和 CDN 能承受一次集中的抓取,迁移当天不要同时做维护或压测。
  • 新站的模板、面包屑、内链已经指向新域名,而不是还写着旧地址。

301 映射尽量一对一

旧页面到新页面最好有明确的对应关系,能用一条跳转直达的,就不要串成两三条。整站批量跳到首页看起来省事,但等于告诉蜘蛛所有旧 URL 都指向同一个新地址,剩下的内容只能靠内链重新发现,速度会慢很多。数量大的站点可以先用规则映射,再对重点栏目做人工核对。

重定向不是告诉蜘蛛旧页面搬家了就结束,它还要在新地址上重新确认内容、内链和层级。

站点地图与内链同时换

新站的 sitemap 应该在切换当天就能访问,并且只包含新域名下的地址。旧 sitemap 如果继续挂在旧域名上,蜘蛛可能还是会去读,拿到一批已经 301 的地址,白跑一趟。内链同理:导航、面包屑、列表页、相关推荐里的链接,只要还有旧地址,蜘蛛就会顺着旧路径走。

并存期的观察点

  • 日志里旧 URL 的访问量是否在逐周下降,新 URL 是否开始成规模出现。
  • 301 命中是否稳定,有没有出现链式跳转或者跳回旧站的情况。
  • 新 URL 的抓取是否集中在少数几个入口,那通常说明内链分布不均。
  • 站点地图里的地址是否都在被访问,长期没被访问的部分往往意味着链接层级太深。

容易踩的几个坑

  1. 新旧域名同时提供内容,既没有跳转也没有 canonical,形成两套地址。
  2. 只改了首页跳转,栏目页和详情页仍是 404。
  3. 迁移后立刻大改模板和 URL 结构,一次改两件事,出问题很难判断是哪一步引起的。
  4. 把新站整段拦在 robots.txt 里做灰度测试,上线前忘了放开。

迁移的节奏大致可以概括为:先保证新站可被抓,再让跳转和内链准确,然后观察抓取重心是否随着时间自然移动。抓取量变化、入口分布和跳转命中率是三个比较实用的观察指标。不用指望提交一次站点地图或点一次抓取请求就能完成切换,中间反复的来回访问是正常过程。