網站改版时，頁面视觉往往最先被讨论，但真正影响蜘蛛和訪客体驗的是 URL、内鏈和跳轉關系。改版不是把新頁面传上去就結束，舊地址如果没人管，會持續产生 404、重复内容或多跳重定向，抓取预算被浪費，用戶也可能找不到原来收藏的内容。
為什么先做 URL 盘点
蜘蛛發現 URL 的渠道很多：歷史抓取记錄、站点地图、内鏈、外鏈、RSS、结构化資料等。改版後，新地址要能被發現，舊地址要能被正确引導。如果直接替換頁面而不處理舊地址，等于让搜尋引擎和用戶同时面對一批突然失效的入口。
迁移前的准备清單
整理舊 URL 與訪問資料
- 導出服務器訪問日誌或統計後台中近 3—6 個月有訪問的 URL，按訪問量排序。
- 标出有外鏈、有收錄、有轉化的地址，這些優先級最高。
- 记錄舊栏目结构，判断哪些是内容頁、列表頁、分頁、附件頁、搜尋頁。
建立新舊地址映射
- 能一對一對應的，直接寫 301 到新地址，不要经過中間頁。
- 栏目合並或拆分时，把舊列表頁指向最相關的新列表頁，而不是首頁。
- 已经下线的功能頁、活動頁，可指向同類内容或返回 410；不要全站 302 到首頁。
- 映射表保留在表格里，上线前逐條核對，避免大小寫、參數和斜杠寫法不一致。
處理不能一一對應的頁面
有些舊頁面没有直接替代品，比如過期的专题、舊版帮助文档。這類頁面可以合並到新内容中，或在舊頁面保留简短說明並给出相關入口。重点不是保住每一個舊 URL，而是让抓到舊地址的蜘蛛能顺畅到達有维護的新頁面。
上线时的操作顺序
- 先在新服務器或新目錄完成全站自测，確認頁面可訪問、资源可加载、返回碼正常。
- 配置 301 規則，從小批量地址開始抽样測試，检查跳轉次數和最终落点。
- 更新站内連結、導航、面包屑和站点地图，让新地址成為主要入口。
- 检查 robots.txt，確認没有誤挡新目錄，也没有放開測試目錄。
- 切換 DNS 或上线新版本後，观察服務器狀態碼和抓取日誌。
如果站点規模較大，可以按栏目分批迁移。每批迁移後留出几天观察期，確認日誌中舊地址的抓取請求逐步减少，新地址開始出現，再繼續下一批。
上线後的观察重点
- 404 與 5xx：舊地址如果大量返回 404，說明映射遗漏；5xx 則要检查服務器承载和程序报错。
- 重定向鏈：避免 A→B→C 的多跳，尽量一步到位。
- 重复内容：新舊地址同时可訪問时，及时用 301 或 canonical 明确主版本。
- 抓取频率：观察蜘蛛是否仍停留在舊路径，如果長時間没有發現新地址，可從内鏈和站点地图再引導。
改版迁移的目标不是“看起来換了新站”，而是让用戶和蜘蛛都能用最短路径找到有效内容。跳轉越少、入口越清晰，後續维護越省力。
几個常见坑
- 只改導航，不改正文里的舊連結，導致站内大量 404。
- 把舊域名所有頁面 302 到新首頁，用戶和蜘蛛都得不到有效信息。
- 站点地图仍提交舊地址，或者新舊地址混在一起。
- 迁移後立刻刪除舊服務器日誌，失去排查依據。
迁移完成後，保留一段時間的舊地址映射表和日誌记錄，定期抽查重点頁面。等新地址稳定參與抓取，舊地址的請求明顯回落，再逐步清理临时規則。