搜尋抓取

換域名或大改版时,蜘蛛抓取重心是怎么轉移的

站点換域名或做结构性改版,從蜘蛛视角看是一次抓取重心的轉移。文章梳理迁移前的可抓取检查、301 映射原則、站点地图與内鏈的同步切換,以及新舊 URL 並存期值得盯的几個观察点,帮你在過渡期少走弯路。

搜尋抓取

換域名或大改版时,蜘蛛抓取重心是怎么轉移的

站点換域名或者做结构性改版时,很多人以為把 301 配好就算完事。從蜘蛛的视角看,這更像一次抓取重心的轉移:舊地址還會被訪問一段時間,新地址的發現要靠新的内鏈和站点地图,中間還會有一段两套 URL 並存的时期。過渡期處理得是否干净,會直接影响新 URL 被稳定發現的节奏。

抓取重心不是一次切換完成的

蜘蛛對舊 URL 是有记忆的。即使 301 已经生效,它仍可能按之前的列表繼續訪問,只是每次都會被引導到新地址。新地址的抓取量上升,通常要等它從内鏈、站点地图以及 301 目标這几個渠道反复確認之後才會趋于稳定。所以观察迁移效果时,別只看第一天,至少看两到四個抓取周期。

迁移前先確認新站可被抓

  • 域名解析、證书、預設端口正常,www 與非 www 只保留一個入口並统一跳轉。
  • robots.txt 別把測試环境的規則带上线,尤其是 Disallow: / 這類誤配置。
  • 服務器和 CDN 能承受一次集中的抓取,迁移当天不要同时做维護或压测。
  • 新站的模板、面包屑、内鏈已经指向新域名,而不是還寫着舊地址。

301 映射尽量一對一

舊頁面到新頁面最好有明确的對應關系,能用一條跳轉直達的,就不要串成两三條。整站批量跳到首頁看起来省事,但等于告诉蜘蛛所有舊 URL 都指向同一個新地址,剩下的内容只能靠内鏈重新發現,速度會慢很多。數量大的站点可以先用規則映射,再對重点栏目做人工核對。

重定向不是告诉蜘蛛舊頁面搬家了就結束,它還要在新地址上重新確認内容、内鏈和层級。

站点地图與内鏈同时換

新站的 sitemap 應该在切換当天就能訪問,並且只包含新域名下的地址。舊 sitemap 如果繼續挂在舊域名上,蜘蛛可能還是會去讀,拿到一批已经 301 的地址,白跑一趟。内鏈同理:導航、面包屑、列表頁、相關推荐里的連結,只要還有舊地址,蜘蛛就會顺着舊路径走。

並存期的观察点

  • 日誌里舊 URL 的訪問量是否在逐周下降,新 URL 是否開始成規模出現。
  • 301 命中是否稳定,有没有出現鏈式跳轉或者跳回舊站的情况。
  • 新 URL 的抓取是否集中在少數几個入口,那通常說明内鏈分布不均。
  • 站点地图里的地址是否都在被訪問,長期没被訪問的部分往往意味着連結层級太深。

容易踩的几個坑

  1. 新舊域名同时提供内容,既没有跳轉也没有 canonical,形成两套地址。
  2. 只改了首頁跳轉,栏目頁和詳情頁仍是 404。
  3. 迁移後立刻大改模板和 URL 结构,一次改两件事,出問题很难判断是哪一步引起的。
  4. 把新站整段拦在 robots.txt 里做灰度測試,上线前忘了放開。

迁移的节奏大致可以概括為:先保證新站可被抓,再让跳轉和内鏈准确,然後观察抓取重心是否随着時間自然移動。抓取量變化、入口分布和跳轉命中率是三個比較實用的观察指标。不用指望提交一次站点地图或点一次抓取請求就能完成切換,中間反复的来回訪問是正常過程。