站点改版时，URL 迁移是最容易出问题的一环。内容没变，但地址换了，蜘蛛手里的旧路径就全部作废，需要重新发现并建立新的抓取路径。这个过程不是一次切换，而是一段交接期，通常要持续几周甚至更久。
交接期的目标：让两条路径都通
迁移期里，站点实际上同时存在两套地址体系：旧 URL 还在被访问、还在被蜘蛛抓取，新 URL 则需要被逐步发现。比较理想的状态是，旧 URL 通过 301 指向对应的新地址，新地址能从内链和 Sitemap 中被找到，最终蜘蛛把抓取重心从旧地址挪到新地址。
如果只做了一半，比如把旧页面直接删掉、内链却还指向旧地址，蜘蛛顺着旧链接过来会撞到 404 或跳转链，抓取节奏就会被打乱。
301 怎么用才不添乱
- 一对一：每个旧 URL 尽量指向内容最接近的那个新 URL，不要全部导向首页。
- 一层就够：避免 A 到 B 再到 C 的多级跳转，跳转层级越深，蜘蛛追到最终页面的成本越高。
- 别用 302 长期顶替：临时跳转传递的信号较弱，长期迁移应当使用 301。
- 保留时间要够长：旧地址上仍有外部链接和用户收藏，短期内撤掉跳转容易造成流量与抓取的断档。
内链：发现新 URL 的主干道
蜘蛛发现新地址最稳定的来源往往不是 Sitemap，而是页面之间真实存在的链接。改版后，导航、面包屑、正文推荐位、分页这些位置的链接都要指向新地址，否则蜘蛛即使知道新 URL 存在，也缺少持续访问的入口。
一个常见疏漏是：内容里的历史链接没有批量替换，正文中仍留有大量旧地址。这些链接虽然会经过 301 到达新页面，但每一次都多花一跳，深层页面的抓取会被拖慢。
Sitemap 的更新节奏
Sitemap 应尽量只保留当前有效的规范化地址。迁移期可以这样安排：
- 新地址确定后，尽快生成包含新 URL 的 Sitemap。
- 旧 URL 不必立刻从 Sitemap 中移除，但如果它们会 301 跳转，就不要再当作有效页面提交。
- 分批更新，避免一次性替换全部文件，方便对照日志观察抓取变化。
日志里值得盯的几个信号
- 旧 URL 的抓取量是否逐步下降，新 URL 是否逐步上升。
- 新 URL 从上线到首次被访问，间隔了多久。
- 是否出现大量跳转链接被反复抓取，这通常说明内链没改干净。
- 是否有新 URL 长期无人访问，需要回头检查它有没有可爬取的入口。
迁移期的判断标准不是新页面被抓了一次，而是蜘蛛的抓取重心是否真正转移过去。抓取频次和入口数量，比单次访问更能说明问题。
几个容易踩的坑
- 改版同时换了 URL 结构、模板和内容，变化过大，出问题时很难判断是哪一步导致。
- 旧站直接关停，跳转在新站做，但新站还没被充分抓取。
- 只改了首页内链，栏目页和列表页的链接仍是旧的。
- 迁移期服务器同时承受两套地址的访问压力，响应变慢，反过来又影响抓取。
迁移没有一步到位的做法。把 301、内链、Sitemap 三件事对齐，再用日志持续观察一两个月，通常能看到抓取逐步回到稳定状态。节奏急不来，也不适合频繁反复调整。