蜘蛛池知识

蜘蛛池搬家:换域名和换服务器,入口页资产怎么处理

蜘蛛池用久了总会遇到搬家:要么换服务器,要么换域名。本文把两种迁移分开讲,列出动手前该准备的三份清单,给出换服务器时的切换顺序、换域名时旧域名的处理方式,以及迁移后两到四周该盯的日志信号,尽量把抓取中断的时间压到最短。

蜘蛛池知识

蜘蛛池搬家:换域名和换服务器,入口页资产怎么处理

先分清是换域名还是换服务器

这两件事经常被混在一起说,但处理方式完全不同。换服务器只是把同一批入口页搬到新的 IP 和机器上,域名、URL 结构、页面内容都不动,搜索引擎看到的是一个站点短暂无法访问之后又恢复了。换域名则是把入口页从 A 域名整体挪到 B 域名,原来的抓取记录、外链和索引都还留在旧域名上,需要额外处理。先确认自己属于哪一种,再决定动作。

搬家前先做三份清单

不管哪种迁移,动手之前把下面三样东西列清楚,能省掉后面大半的排查时间。

  • 入口页清单:现有入口页的完整 URL 列表,标注哪些还在被蜘蛛定期抓取、哪些已经长期没有抓取记录。
  • 链接关系清单:入口页到目标页的跳转关系、入口页之间的内链关系。迁移之后这部分最容易断。
  • 外部依赖清单:CDN、WAF、DNS、证书、日志采集。换服务器时这些配置最容易被忘掉。

换服务器:把停机时间压到最短

换服务器的目标是让蜘蛛几乎感知不到变化。比较稳妥的顺序是:

  1. 先把新机器完整部署好,用本地 hosts 验证入口页能正常返回 200。
  2. 提前一天把 DNS 的 TTL 调低,比如改成 300 秒,减少解析缓存的影响。
  3. 切换解析,然后盯日志,看搜索蜘蛛是否还能正常抓到页面。
  4. 旧机器至少保留一周再下线,避免部分地区因为缓存仍指向旧 IP。

换域名:旧域名不要当天就丢

换域名最忌讳的是新域名上线、旧域名当天全部 404。搜索引擎的索引和抓取记录还挂在旧域名上,直接断掉等于把之前积累的入口页路径清零。比较稳妥的做法是让旧域名继续可访问一段时间,把入口页逐个 301 到新域名对应的页面;如果旧域名不再维护,至少保留一个能返回 301 的跳转层。

同时要清楚:入口页的主要作用是引导蜘蛛发现目标页,而不是靠旧域名做权重搬运。301 只说明这个地址换了位置,并不保证新地址会被抓取或收录,这部分仍然要靠新域名自身的可访问性和链接结构。

迁移后的观察期看什么

  • 服务器日志里搜索蜘蛛的访问量是否回到迁移前的水平;
  • 入口页返回码是否稳定在 200,有没有出现 5xx 或超时;
  • 抓取是否从入口页继续往下走,而不是只停在入口页;
  • DNS 是否还有残留指向旧 IP 的地区。

观察期一般给两到四周。不要在第一周没看到变化就急着再改一遍,频繁变更本身就是一个不太好的信号。

搬家的关键不是搬得多快,而是搬完之后蜘蛛还能不能沿原来的路径找到目标页。任何让路径变复杂、变断的改动,都值得先停下来想一想。

几个容易被忽略的点

  • 证书与 HTTPS:新机器上的证书链、SNI 配置最好和旧机器一致,否则可能出现握手失败。
  • robots.txt:新域名下如果忘了放,可能丢失原有规则,也可能误把整站 Disallow 掉。
  • IP 归属:如果新 IP 段整体信誉不佳,入口页的抓取频率可能明显下降,这种情况要考虑再换一段。
  • 日志格式:换机器后日志字段常有变化,提前统一格式,否则后面没法做前后对比。

把这几件事按顺序做完,搬家本身不算复杂,麻烦的往往是遗漏的细节。列清单、慢切换、留观察期,比事后反复排查要省力得多。