蜘蛛池知识

蜘蛛池搬家:換域名和換服務器,入口頁资产怎么處理

蜘蛛池用久了總會遇到搬家:要么換服務器,要么換域名。本文把两種迁移分開讲,列出動手前该准备的三份清單,给出換服務器时的切換顺序、換域名时舊域名的處理方式,以及迁移後两到四周该盯的日誌信号,尽量把抓取中断的時間压到最短。

蜘蛛池知识

蜘蛛池搬家:換域名和換服務器,入口頁资产怎么處理

先分清是換域名還是換服務器

這两件事经常被混在一起说,但處理方式完全不同。換服務器只是把同一批入口頁搬到新的 IP 和机器上,域名、URL 结构、頁面内容都不動,搜尋引擎看到的是一個站点短暂無法訪問之後又恢复了。換域名則是把入口頁從 A 域名整体挪到 B 域名,原来的抓取记錄、外鏈和索引都還留在舊域名上,需要額外處理。先確認自己属于哪一種,再决定動作。

搬家前先做三份清單

不管哪種迁移,動手之前把下面三样東西列清楚,能省掉後面大半的排查時間。

  • 入口頁清單:現有入口頁的完整 URL 列表,标注哪些還在被蜘蛛定期抓取、哪些已经長期没有抓取记錄。
  • 連結關系清單:入口頁到目标頁的跳轉關系、入口頁之間的内鏈關系。迁移之後這部分最容易断。
  • 外部依赖清單:CDN、WAF、DNS、證书、日誌采集。換服務器时這些配置最容易被忘掉。

換服務器:把停机時間压到最短

換服務器的目标是让蜘蛛几乎感知不到變化。比較稳妥的顺序是:

  1. 先把新机器完整部署好,用本地 hosts 驗證入口頁能正常返回 200。
  2. 提前一天把 DNS 的 TTL 調低,比如改成 300 秒,减少解析缓存的影响。
  3. 切換解析,然後盯日誌,看搜尋蜘蛛是否還能正常抓到頁面。
  4. 舊机器至少保留一周再下线,避免部分地区因為缓存仍指向舊 IP。

換域名:舊域名不要当天就丢

換域名最忌讳的是新域名上线、舊域名当天全部 404。搜尋引擎的索引和抓取记錄還挂在舊域名上,直接断掉等于把之前积累的入口頁路径清零。比較稳妥的做法是让舊域名繼續可訪問一段時間,把入口頁逐個 301 到新域名對應的頁面;如果舊域名不再维護,至少保留一個能返回 301 的跳轉层。

同时要清楚:入口頁的主要作用是引導蜘蛛發現目标頁,而不是靠舊域名做權重搬运。301 只說明這個地址換了位置,並不保證新地址會被抓取或收錄,這部分仍然要靠新域名自身的可訪問性和連結结构。

迁移後的观察期看什么

  • 服務器日誌里搜尋蜘蛛的訪問量是否回到迁移前的水平;
  • 入口頁返回碼是否稳定在 200,有没有出現 5xx 或超时;
  • 抓取是否從入口頁繼續往下走,而不是只停在入口頁;
  • DNS 是否還有残留指向舊 IP 的地区。

观察期一般给两到四周。不要在第一周没看到變化就急着再改一遍,频繁變更本身就是一個不太好的信号。

搬家的關键不是搬得多快,而是搬完之後蜘蛛還能不能沿原来的路径找到目标頁。任何让路径變复杂、變断的改動,都值得先停下来想一想。

几個容易被忽略的点

  • 證书與 HTTPS:新机器上的證书鏈、SNI 配置最好和舊机器一致,否則可能出現握手失敗。
  • robots.txt:新域名下如果忘了放,可能丢失原有規則,也可能誤把整站 Disallow 掉。
  • IP 归属:如果新 IP 段整体信誉不佳,入口頁的抓取频率可能明顯下降,這種情况要考虑再換一段。
  • 日誌格式:換机器後日誌字段常有變化,提前统一格式,否則後面没法做前後對比。

把這几件事按顺序做完,搬家本身不算复杂,麻烦的往往是遗漏的细节。列清單、慢切換、留观察期,比事後反复排查要省力得多。