入口頁站点群做到一定規模後,迁移几乎是绕不開的一件事:服務器到期、IP 段被污染、域名想換、机房线路變差,都可能逼着你把整批站点搬一次家。迁移本身不难,难的是搬完之後蜘蛛還認不認這條路。下面讲的是迁移前後的操作顺序和容易踩的坑。
先分清楚你要迁的是什么
- 換服務器但 IP 不變:影响最小,只要解析指向没變,蜘蛛基本無感。
- 換 IP:最常见也最容易出問题,尤其是原来 IP 段已经有大量抓取记錄的情况。
- 換域名:影响最大,等于把 URL 發現路径重新建一遍。
三種情况的處理节奏完全不同,別用同一套流程硬套。
換服務器與換 IP:並行一段時間再切
- 新机器先把站点部署好,用 hosts 或測試域名驗證頁面能正常返回 200,静態资源、跳轉、證书都對。
- 提前 24–48 小时把 DNS 的 TTL 調低,比如 300 秒,這样切換时生效快。
- 两台机器同时在线一段時間,舊机繼續服務,新机已经能訪問,確認稳定後再改解析。
- 解析切過去之後,舊机不要马上關,保留几天繼續响應,避免還有缓存没過期。
換 IP 时如果新 IP 是干净的、没被大量站点用過,蜘蛛重新适應的周期會短一些;如果新 IP 上已经堆了一堆站,就要有心理预期。
換域名:慢比快好
換域名等于把入口頁的 URL 全換一遍,蜘蛛需要重新發現這些地址。建议:
- 全站 301 到位,不做只跳首頁的半吊子跳轉;
- 新域名先小批量上线,观察日誌里蜘蛛是否正常抓到 200;
- 舊域名不要直接停解析,保留跳轉至少几周,具体多久看日誌里舊域名抓取量的衰减情况;
- 内鏈、sitemap、主動推送里的地址同步換新,別新舊混着来。
迁移期間最忌讳的是“半迁移”:一部分頁面在新域名、一部分還在舊域名,連結又互相指向舊地址。蜘蛛在這種狀態下的抓取效率,往往比迁移前還差。
迁移期間该看哪些指标
不要只看“有没有来蜘蛛”,更要看:
- 日誌里新 IP 或新域名下的狀態碼分布,是不是冒出一批 5xx 和超时;
- 真蜘蛛 UA 的請求量有没有回落,回落幅度和持續時間有多長;
- 被抓取的 URL 是不是你期望的那批入口頁,而不是一堆静態资源和參數頁;
- 頁面返回速度,新机器是不是比舊机器慢。
几個常见誤区
- 切換当天就把舊机下架,導致一部分請求直接失敗;
- 證书鏈没配全,部分客戶端握手失敗,日誌里出現大量異常;
- 迁移时顺手把 robots.txt 或 noindex 加了上去,事後忘了撤掉;
- 新服務器防火墙拦掉了蜘蛛 UA 或 IP,自己却以為是“蜘蛛没来”。
收尾要做的事
迁移後一到两周内,把新环境的配置和舊环境對齐一遍:跳轉規則、缓存策略、日誌保留、监控告警。確認稳定之後,再考虑舊域名、舊 IP 的退役。整個過程的核心是让 URL 發現路径尽量不中断,而不是追求切換速度。