站点改版是抓取路径最容易出問题的时候。頁面结构一調整，原来蜘蛛走熟的那條路可能就断了：老 URL 變成 404，新 URL 還没被收錄，内鏈指向的地方跟實际内容對不上。抓取中断往往不是一夜之間發生的，而是顺着這些断点一点点累积出来的。下面按改版前後要處理的事情梳理一遍。
先盘清楚哪些 URL 會變
改版之前，把受影响的 URL 列成清單，比改完之後再回头找要省力得多。重点看几類：
- 栏目頁、列表頁的路径层級是否調整；
- 詳情頁 URL 里的 slug、ID、日期等規則是否變化；
- 域名、协议、www 前缀是否同时改動；
- 大小寫、结尾斜杠、參數格式是否统一。
同一批頁面如果既換了路径又換了參數規則，處理难度會成倍上升。能分步就分步，先改结构，再調參數。
老連結別直接断掉
舊 URL 有外鏈和搜尋入口的，尽量用 301 指向新地址，並且保證一跳到位。中間绕两三跳，蜘蛛虽然可能跟下去，但信号會被稀释，抓取效率也變低。确實没有對應頁面的，让它返回 404 或 410，比统一跳回首頁或做软性跳轉要干净。
有一点容易忽略：改版後短時間内的跳轉規則要尽量稳定。今天 A 跳到 B，明天 A 跳到 C，蜘蛛的抓取记錄會變得很乱，重新判断新地址要花更長時間。
内鏈和導航要同步改
内鏈是蜘蛛發現新 URL 最日常的途径，改版时如果導航和正文内鏈還指着老地址，等于让蜘蛛沿着舊路一直撞到重定向。检查顺序可以這样：全局導航、面包屑、列表頁連結、正文相關推荐、頁脚。這些位置改完之後，新頁面的可達性基本就有了保障。
深层頁面尤其要注意。如果原来只有一條内鏈能走到某個頁面，改版时這條鏈一断，頁面就彻底孤立了。改版其實也是补几條备用路径的好时机。
Sitemap 與提交节奏
Sitemap 在改版中的角色，是把新地址明确说一遍。新的 XML 站点地图上线後，舊地址要從里面删掉，不要让新舊地址同时待在一份文件里。分片文件有變動的话，索引文件也要一起更新。
提交之後不用反复重發同一份。观察日誌里新 URL 的抓取情况，如果几天内没有動静，再回头看内鏈和入口是否通了，比重复提交更有效。
服務器這段時間要稳
改版常伴随發版、缓存刷新、临时维護。蜘蛛刚好在這段時間来訪，遇到 5xx 或長時間超时，抓取节奏會被打乱。發版安排在訪問低谷、维護时给出明确的狀態碼、避免在改版期間做大幅限速，都是成本不高的措施。
上线後的自查顺序
- 挑几個新頁面，從首頁出發按内鏈走一遍，看能不能走通；
- 抽查老 URL 的跳轉，確認是一跳並且目标正确；
- 看 Sitemap 里的地址與實际可訪問地址是否一致；
- 翻服務器日誌，观察蜘蛛對新路径的抓取是否在增加；
- 確認没有大批量 404 集中在改版前就存在的頁面上。
改版本身不一定伤抓取，真正带来麻烦的往往是改完之後新舊两套路径長期並存，谁也不清楚蜘蛛最後認的是哪一套。
把路径收敛干净、内鏈指向明确、服務器保持可用，蜘蛛重新走顺這條路通常只是時間問题。改版越有計划地推進，抓取恢复得越平稳。