入口页站点群做到一定规模后,迁移几乎是绕不开的一件事:服务器到期、IP 段被污染、域名想换、机房线路变差,都可能逼着你把整批站点搬一次家。迁移本身不难,难的是搬完之后蜘蛛还认不认这条路。下面讲的是迁移前后的操作顺序和容易踩的坑。
先分清楚你要迁的是什么
- 换服务器但 IP 不变:影响最小,只要解析指向没变,蜘蛛基本无感。
- 换 IP:最常见也最容易出问题,尤其是原来 IP 段已经有大量抓取记录的情况。
- 换域名:影响最大,等于把 URL 发现路径重新建一遍。
三种情况的处理节奏完全不同,别用同一套流程硬套。
换服务器与换 IP:并行一段时间再切
- 新机器先把站点部署好,用 hosts 或测试域名验证页面能正常返回 200,静态资源、跳转、证书都对。
- 提前 24–48 小时把 DNS 的 TTL 调低,比如 300 秒,这样切换时生效快。
- 两台机器同时在线一段时间,旧机继续服务,新机已经能访问,确认稳定后再改解析。
- 解析切过去之后,旧机不要马上关,保留几天继续响应,避免还有缓存没过期。
换 IP 时如果新 IP 是干净的、没被大量站点用过,蜘蛛重新适应的周期会短一些;如果新 IP 上已经堆了一堆站,就要有心理预期。
换域名:慢比快好
换域名等于把入口页的 URL 全换一遍,蜘蛛需要重新发现这些地址。建议:
- 全站 301 到位,不做只跳首页的半吊子跳转;
- 新域名先小批量上线,观察日志里蜘蛛是否正常抓到 200;
- 旧域名不要直接停解析,保留跳转至少几周,具体多久看日志里旧域名抓取量的衰减情况;
- 内链、sitemap、主动推送里的地址同步换新,别新旧混着来。
迁移期间最忌讳的是“半迁移”:一部分页面在新域名、一部分还在旧域名,链接又互相指向旧地址。蜘蛛在这种状态下的抓取效率,往往比迁移前还差。
迁移期间该看哪些指标
不要只看“有没有来蜘蛛”,更要看:
- 日志里新 IP 或新域名下的状态码分布,是不是冒出一批 5xx 和超时;
- 真蜘蛛 UA 的请求量有没有回落,回落幅度和持续时间有多长;
- 被抓取的 URL 是不是你期望的那批入口页,而不是一堆静态资源和参数页;
- 页面返回速度,新机器是不是比旧机器慢。
几个常见误区
- 切换当天就把旧机下架,导致一部分请求直接失败;
- 证书链没配全,部分客户端握手失败,日志里出现大量异常;
- 迁移时顺手把 robots.txt 或 noindex 加了上去,事后忘了撤掉;
- 新服务器防火墙拦掉了蜘蛛 UA 或 IP,自己却以为是“蜘蛛没来”。
收尾要做的事
迁移后一到两周内,把新环境的配置和旧环境对齐一遍:跳转规则、缓存策略、日志保留、监控告警。确认稳定之后,再考虑旧域名、旧 IP 的退役。整个过程的核心是让 URL 发现路径尽量不中断,而不是追求切换速度。