栏目調整、模板重做、域名更換，這些動作對站点来说很常见，但對搜尋蜘蛛来说，等于手里的地图被換掉了一半。它记住的是舊URL，你上线的是新URL，中間這段時間就是URL發現最容易出問题的窗口。

先做一份可對照的URL清單

迁移之前，把舊站的URL抓一遍，形成一份清單，至少包含三列：舊URL、頁面類型（首頁、栏目頁、内容頁、标簽頁等）、迁移後的處理方式。清單不必多精细，但要覆盖到能带来流量和轉化的那部分頁面。很多站点出問题，是因為只登记了栏目頁，漏掉了内容頁和分頁。

清單做完後，按價值分层：

• 保留：URL结构和内容都没變的頁面，直接沿用，改動越少越好。
• 映射：内容還在、只是換了位置或路径的頁面，用301跳到最對應的新URL。
• 放弃：确實不再提供的頁面，给它一個明确的结局，而不是長期返回200。

301要指到最接近的頁面，而不是首頁

把大批舊内容頁统一301到首頁，是迁移里最常见也最浪費的做法。蜘蛛跟過去，看到的是一個和原頁面主题無關的頁面，這條路径的传递價值基本就断了；用戶点進来也會立刻登出。更稳妥的做法是逐個對應：文章跳文章，栏目跳栏目，實在没有對應物的，再考虑410或者保留一個說明頁。

另外，跳轉不要叠成鏈條。A到B再到C這種多級跳，蜘蛛每次都要多走一步，路径越長，中途被放弃的概率越高。理想狀態是一跳到位。

導航和内鏈要跟着改，別只改資料库

迁移时最容易被忽略的是頁面里的連結。資料库里的URL改了，但模板中的内鏈、面包屑、相關推荐、底部導航可能還指着舊路径。结果是：蜘蛛從舊連結進来，被301带走，新頁面里又出現一批舊連結，来回打轉。上线後可以用站内爬取工具跑一遍，检查是否還有指向舊路径的内鏈残留。

判断迁移是否干净，有個简單标准：從首頁出發，能不能在三到四次点击内，走到任何一個重要内容頁。

站点地图和提交渠道同步更新

新URL上线後，站点地图要整体重新生成，舊的sitemap不要繼續挂在robots.txt里。如果是分块提交的，建议按栏目分批，让蜘蛛有顺序地重新認识站点结构。主動提交工具也可以用来推一批重点URL，但它只是加速通道，替代不了内鏈的作用。

迁移後看什么

上线後一到两周，重点看三件事：日誌里蜘蛛訪問舊URL的比例有没有下降；舊URL返回的狀態碼是否符合预期，是301、410還是404；新URL的抓取量是否在缓慢上升。如果舊URL長期被高频抓取且返回404，說明還有外部連結或内部残留指向它，需要繼續清理。

有些团队會想用外部工具或者蜘蛛池来“催”一下抓取。這其實解决不了迁移本身的問题——路径没理顺，来的蜘蛛越多，浪費的抓取预算也越多。

迁移這件事没有太多技巧，就是清單要全、映射要准、内鏈要同步、观察要持續。把這四步做扎實，URL發現基本不會出大岔子。