站点改版是抓取路径最容易出問题的时候。舊連結還在被蜘蛛和用戶訪問，新連結刚上线還没被收錄，两套 URL 同时存在。這個阶段蜘蛛的行為會變得难以预测，但只要按顺序處理好几件事，路径重建通常能在几周内稳定下来。
改版期間蜘蛛面對的三種情况
- 舊 URL 仍可訪問：蜘蛛繼續按老路径抓，抓到的還是舊内容，新内容的發現被推迟。
- 舊 URL 直接返回 404：已经抓過的 URL 變成死鏈，蜘蛛需要重新從某個入口發現新地址。
- 舊 URL 跳轉到新 URL：路径延續，蜘蛛跟着跳轉走，這是损耗最小的做法。
301 是首選，但要注意成對與层級
舊頁面對應新頁面时，用 301 一對一指向。要避免两種情况：
- 跳轉鏈：A→B→C，蜘蛛要多跳几次才到终点，中間环节越多，损耗越明顯。
- 跳轉到不相關頁面：把整站舊 URL 全部跳到首頁，蜘蛛看到的是所有舊内容都指向同一個地址，新頁面很难被單獨發現。
跳轉的目标應当是内容最接近的新頁面，而不是最省事的那個頁面。
先改内鏈，再改 Sitemap
不少站点改版时顺序是反的：先把 Sitemap 換成新地址，内鏈還指着舊地址。蜘蛛從 Sitemap 拿到新 URL，抓回来解析頁面时，看到的導航和正文連結仍然是舊路径，于是又沿着舊路径走一遍，新地址的發現效率並不高。
比較合理的顺序是：模板與導航先改，正文内的站内連結（尤其是歷史文章里的）尽量批量替換，最後再更新 Sitemap。這样蜘蛛從任意一個入口進来，讀到的連結结构都是一致的，不必在两套路径之間反复切換。
舊 URL 怎么處理
- 有對應新頁面的，301 指向最接近的那一個。
- 确定不再提供的栏目，返回 410 或 404 都可以，410 语义更明确；不要返回 200 却顯示“内容已刪除”。
- 仍然有搜尋需求、也确實保留的舊頁面，可以不動，避免制造無意义的跳轉。
用日誌看重建進度
改版後的一到两周，可以按几個信号判断是否顺利：
- 日誌里新 URL 的抓取次數是否在上升，舊 URL 是否在下降。
- 狀態碼分布：404、5xx 的比例是否異常升高。
- 新 URL 是從多個入口被發現的（首頁、栏目頁、内鏈、Sitemap），還是只靠 Sitemap 一條线。
如果新 URL 長期只出現在 Sitemap 的抓取记錄里，通常說明站内連結還没改干净，蜘蛛缺少從頁面出發的路径。
几個容易被忽略的细节
改版常常同时調整 URL 規則，這时候末尾斜杠、大小寫、參數顺序這些细节會被放大。如果新舊規則不统一，同一個頁面可能以两種形式同时存在，蜘蛛會在两份之間来回抓。改版前先定下一套規則：大小寫统一、末尾斜杠统一、參數尽量少用或按固定顺序排列。
分頁和篩選參數頁面也容易在改版时被重新生成一遍，产生大量低價值 URL。如果這些頁面本来就不需要被抓，改版时顺手在 robots 或 noindex 上做一次清理，比之後再收拾省事得多。
改版不會让抓取量立刻恢复，一般需要几周時間让蜘蛛把新路径走熟。這段時間保持服務器稳定、减少报错，比反复提交地址更有用。