换域名、换目录结构、从 HTTP 切到 HTTPS,本质上都是把一批旧地址换成新地址。搜索蜘蛛记录的是 URL,而不是页面标题,旧地址的历史抓取记录不会自动转移到新地址上。新地址要从头走一遍 URL 发现,这个过程没有捷径,但可以把入口铺得清楚一些,减少抓取资源消耗在跳转和无效地址上。
旧地址的发现链路不会自动跟着走
旧地址之所以还能被持续抓取,是因为它出现在历史抓取队列、外链、Sitemap 这些入口里。新地址如果没有出现在任何入口中,就只能等着被偶然发现,节奏很难预测。迁移期最容易忽略的一点是:站内模板、正文内链、分页链接里往往还散落着硬编码的旧域名,相当于持续向蜘蛛输出已经过时的地址。
让新地址先具备可发现的入口
301 跳转是兜底,不是发现入口
301 解决的是“访问旧地址后去哪里”,它并不会主动告诉搜索蜘蛛应该去抓新地址。蜘蛛需要先抓到旧地址,才可能顺着跳转看到新地址。对于外链本来就少、访问量很低的旧页面,这条路径会越来越窄。所以新地址最好同时存在指向自身的直链,而不是只依赖跳转。
站内入口重写
- 主导航、面包屑、页脚等模板位置改成新地址,避免继续输出旧域名;
- 正文内链、相关推荐、上下篇链接指向新地址;
- 分页、标签页、聚合页这类中继入口同步更新,它们是 URL 发现的重要扩散节点;
- Sitemap 换成新域名下的地址,并保留一份旧地址的做过渡。
站外入口的更新节奏
外链更新通常不受自己控制,能做的有限:官方账号、合作方页面、说明页、转载来源尽量替换成新地址。旧外链继续指向旧地址并不算坏事,前提是 301 长期稳定可用,否则这部分入口会直接断掉。
过渡期里新旧地址怎么取舍
常见的两种做法:
- 全部 301 到新地址,旧地址在过渡期结束后逐步退出;
- 部分页面长期保留双份,例如活动页、打印页、对外分享用的短地址。
保留双份时要保证两版内容不完全重复,或者用 canonical 指明主版本。否则相当于给同一份内容多铺了一个入口,会分散有限的抓取资源。
过渡期自查清单
- 新域名能否直接访问,DNS、证书、CDN 是否稳定,有无间歇性 5xx;
- 旧地址 301 是否指向对应页面,而不是统一跳首页;
- Sitemap 内是否全是新地址,有没有混入旧域名;
- 模板与正文里是否还有硬编码的旧域名;
- robots.txt、HTML 站点地图等入口文件是否可正常访问;
- 服务器日志里新域名是否已经开始出现蜘蛛请求。
换域名后抓取量通常先降后回升,具体节奏受站点规模、外链数量和历史抓取情况影响,不要用几天内的日志波动判断迁移是否成功。
用日志观察新地址有没有被走到
关注三个信号:新域名下蜘蛛请求数量的变化趋势;请求集中在哪些入口,是首页、Sitemap 还是列表页;旧地址的 301 是否被反复抓取。如果旧地址被反复抓而新地址始终没有动静,通常说明入口铺得不够,或者跳转链路太长,蜘蛛需要多次跳转才能到达目标页。
迁移不是一次操作,而是一段需要持续观察的过程。把入口铺清楚、把跳转链路缩短、把重复地址收口,剩下的就交给时间,以及站点本身是否值得被反复抓取。