換域名、換目錄结构、從 HTTP 切到 HTTPS,本质上都是把一批舊地址換成新地址。搜尋蜘蛛记錄的是 URL,而不是頁面标题,舊地址的歷史抓取记錄不會自動轉移到新地址上。新地址要從头走一遍 URL 發現,這個過程没有捷径,但可以把入口铺得清楚一些,减少抓取资源消耗在跳轉和無效地址上。
舊地址的發現鏈路不會自動跟着走
舊地址之所以還能被持續抓取,是因為它出現在歷史抓取队列、外鏈、Sitemap 這些入口里。新地址如果没有出現在任何入口中,就只能等着被偶然發現,节奏很难预测。迁移期最容易忽略的一点是:站内模板、正文内鏈、分頁連結里往往還散落着硬编碼的舊域名,相当于持續向蜘蛛輸出已经過时的地址。
让新地址先具备可發現的入口
301 跳轉是兜底,不是發現入口
301 解决的是“訪問舊地址後去哪里”,它並不會主動告诉搜尋蜘蛛應该去抓新地址。蜘蛛需要先抓到舊地址,才可能顺着跳轉看到新地址。對于外鏈本来就少、訪問量很低的舊頁面,這條路径會越来越窄。所以新地址最好同时存在指向自身的直鏈,而不是只依赖跳轉。
站内入口重寫
- 主導航、面包屑、頁脚等模板位置改成新地址,避免繼續輸出舊域名;
- 正文内鏈、相關推荐、上下篇連結指向新地址;
- 分頁、标簽頁、聚合頁這類中繼入口同步更新,它們是 URL 發現的重要扩散节点;
- Sitemap 換成新域名下的地址,並保留一份舊地址的做過渡。
站外入口的更新节奏
外鏈更新通常不受自己控制,能做的有限:官方帳號、合作方頁面、說明頁、轉载来源尽量替換成新地址。舊外鏈繼續指向舊地址並不算坏事,前提是 301 長期稳定可用,否則這部分入口會直接断掉。
過渡期里新舊地址怎么取舍
常见的两種做法:
- 全部 301 到新地址,舊地址在過渡期結束後逐步登出;
- 部分頁面長期保留双份,例如活動頁、打印頁、對外分享用的短地址。
保留双份时要保證两版内容不完全重复,或者用 canonical 指明主版本。否則相当于给同一份内容多铺了一個入口,會分散有限的抓取资源。
過渡期自查清單
- 新域名能否直接訪問,DNS、證书、CDN 是否稳定,有無間歇性 5xx;
- 舊地址 301 是否指向對應頁面,而不是统一跳首頁;
- Sitemap 内是否全是新地址,有没有混入舊域名;
- 模板與正文里是否還有硬编碼的舊域名;
- robots.txt、HTML 站点地图等入口文件是否可正常訪問;
- 服務器日誌里新域名是否已经開始出現蜘蛛請求。
換域名後抓取量通常先降後回升,具体节奏受站点規模、外鏈數量和歷史抓取情况影响,不要用几天内的日誌波動判断迁移是否成功。
用日誌观察新地址有没有被走到
關注三個信号:新域名下蜘蛛請求數量的變化趋势;請求集中在哪些入口,是首頁、Sitemap 還是列表頁;舊地址的 301 是否被反复抓取。如果舊地址被反复抓而新地址始终没有動静,通常說明入口铺得不够,或者跳轉鏈路太長,蜘蛛需要多次跳轉才能到達目标頁。
迁移不是一次操作,而是一段需要持續观察的過程。把入口铺清楚、把跳轉鏈路缩短、把重复地址收口,剩下的就交给時間,以及站点本身是否值得被反复抓取。