栏目调整、模板重做、域名更换，这些动作对站点来说很常见，但对搜索蜘蛛来说，等于手里的地图被换掉了一半。它记住的是旧URL，你上线的是新URL，中间这段时间就是URL发现最容易出问题的窗口。

先做一份可对照的URL清单

迁移之前，把旧站的URL抓一遍，形成一份清单，至少包含三列：旧URL、页面类型（首页、栏目页、内容页、标签页等）、迁移后的处理方式。清单不必多精细，但要覆盖到能带来流量和转化的那部分页面。很多站点出问题，是因为只登记了栏目页，漏掉了内容页和分页。

清单做完后，按价值分层：

• 保留：URL结构和内容都没变的页面，直接沿用，改动越少越好。
• 映射：内容还在、只是换了位置或路径的页面，用301跳到最对应的新URL。
• 放弃：确实不再提供的页面，给它一个明确的结局，而不是长期返回200。

301要指到最接近的页面，而不是首页

把大批旧内容页统一301到首页，是迁移里最常见也最浪费的做法。蜘蛛跟过去，看到的是一个和原页面主题无关的页面，这条路径的传递价值基本就断了；用户点进来也会立刻退出。更稳妥的做法是逐个对应：文章跳文章，栏目跳栏目，实在没有对应物的，再考虑410或者保留一个说明页。

另外，跳转不要叠成链条。A到B再到C这种多级跳，蜘蛛每次都要多走一步，路径越长，中途被放弃的概率越高。理想状态是一跳到位。

导航和内链要跟着改，别只改数据库

迁移时最容易被忽略的是页面里的链接。数据库里的URL改了，但模板中的内链、面包屑、相关推荐、底部导航可能还指着旧路径。结果是：蜘蛛从旧链接进来，被301带走，新页面里又出现一批旧链接，来回打转。上线后可以用站内爬取工具跑一遍，检查是否还有指向旧路径的内链残留。

判断迁移是否干净，有个简单标准：从首页出发，能不能在三到四次点击内，走到任何一个重要内容页。

站点地图和提交渠道同步更新

新URL上线后，站点地图要整体重新生成，旧的sitemap不要继续挂在robots.txt里。如果是分块提交的，建议按栏目分批，让蜘蛛有顺序地重新认识站点结构。主动提交工具也可以用来推一批重点URL，但它只是加速通道，替代不了内链的作用。

迁移后看什么

上线后一到两周，重点看三件事：日志里蜘蛛访问旧URL的比例有没有下降；旧URL返回的状态码是否符合预期，是301、410还是404；新URL的抓取量是否在缓慢上升。如果旧URL长期被高频抓取且返回404，说明还有外部链接或内部残留指向它，需要继续清理。

有些团队会想用外部工具或者蜘蛛池来“催”一下抓取。这其实解决不了迁移本身的问题——路径没理顺，来的蜘蛛越多，浪费的抓取预算也越多。

迁移这件事没有太多技巧，就是清单要全、映射要准、内链要同步、观察要持续。把这四步做扎实，URL发现基本不会出大岔子。