站点換域名或者做结构性改版时,很多人以為把 301 配好就算完事。從蜘蛛的视角看,這更像一次抓取重心的轉移:舊地址還會被訪問一段時間,新地址的發現要靠新的内鏈和站点地图,中間還會有一段两套 URL 並存的时期。過渡期處理得是否干净,會直接影响新 URL 被稳定發現的节奏。
抓取重心不是一次切換完成的
蜘蛛對舊 URL 是有记忆的。即使 301 已经生效,它仍可能按之前的列表繼續訪問,只是每次都會被引導到新地址。新地址的抓取量上升,通常要等它從内鏈、站点地图以及 301 目标這几個渠道反复確認之後才會趋于稳定。所以观察迁移效果时,別只看第一天,至少看两到四個抓取周期。
迁移前先確認新站可被抓
- 域名解析、證书、預設端口正常,www 與非 www 只保留一個入口並统一跳轉。
- robots.txt 別把測試环境的規則带上线,尤其是 Disallow: / 這類誤配置。
- 服務器和 CDN 能承受一次集中的抓取,迁移当天不要同时做维護或压测。
- 新站的模板、面包屑、内鏈已经指向新域名,而不是還寫着舊地址。
301 映射尽量一對一
舊頁面到新頁面最好有明确的對應關系,能用一條跳轉直達的,就不要串成两三條。整站批量跳到首頁看起来省事,但等于告诉蜘蛛所有舊 URL 都指向同一個新地址,剩下的内容只能靠内鏈重新發現,速度會慢很多。數量大的站点可以先用規則映射,再對重点栏目做人工核對。
重定向不是告诉蜘蛛舊頁面搬家了就結束,它還要在新地址上重新確認内容、内鏈和层級。
站点地图與内鏈同时換
新站的 sitemap 應该在切換当天就能訪問,並且只包含新域名下的地址。舊 sitemap 如果繼續挂在舊域名上,蜘蛛可能還是會去讀,拿到一批已经 301 的地址,白跑一趟。内鏈同理:導航、面包屑、列表頁、相關推荐里的連結,只要還有舊地址,蜘蛛就會顺着舊路径走。
並存期的观察点
- 日誌里舊 URL 的訪問量是否在逐周下降,新 URL 是否開始成規模出現。
- 301 命中是否稳定,有没有出現鏈式跳轉或者跳回舊站的情况。
- 新 URL 的抓取是否集中在少數几個入口,那通常說明内鏈分布不均。
- 站点地图里的地址是否都在被訪問,長期没被訪問的部分往往意味着連結层級太深。
容易踩的几個坑
- 新舊域名同时提供内容,既没有跳轉也没有 canonical,形成两套地址。
- 只改了首頁跳轉,栏目頁和詳情頁仍是 404。
- 迁移後立刻大改模板和 URL 结构,一次改两件事,出問题很难判断是哪一步引起的。
- 把新站整段拦在 robots.txt 里做灰度測試,上线前忘了放開。
迁移的节奏大致可以概括為:先保證新站可被抓,再让跳轉和内鏈准确,然後观察抓取重心是否随着時間自然移動。抓取量變化、入口分布和跳轉命中率是三個比較實用的观察指标。不用指望提交一次站点地图或点一次抓取請求就能完成切換,中間反复的来回訪問是正常過程。