站点改版最容易被忽略的，不是頁面好不好看，而是蜘蛛原来记住的那條路被拆掉了。原来從首頁三級就能点到詳情頁，改版後可能變成從频道頁绕四层，或者干脆有一批頁面從内鏈里消失了。蜘蛛不會讀需求文档，它只按当时能看到的連結走，所以改版期間真正要處理的是路径的连續性。
先整理一張 URL 映射表
改版動手之前，把新舊 URL 的對應關系列成表，比事後补 301 划算得多。重点不是把所有舊連結都保留，而是分清哪几類是蜘蛛和外部連結主要入口的。
- 栏目頁、列表頁：通常是被抓最多的一层，優先級最高。
- 詳情頁：數量大，注意是否有規則可循，能否用規則批量映射。
- 带參數的舊地址：確認是否還有外部引用，否則可以整批收敛到規范地址。
- 已经下线的頁面：不要随手 301 到首頁，改成 410 或 404 更容易被正确理解。
内鏈是抓取路径的主干
蜘蛛在新结构里能不能走到深處，取决于内鏈是否把重要頁面串起来。改版後常见的情况是導航變简洁了，但頁尾、面包屑、相關推荐這些位置被砍掉，结果深頁面的入口只剩下 Sitemap 一條路。
- 面包屑保留完整层級，让蜘蛛随时能判断自己在哪一层。
- 列表頁到詳情頁的連結數量別骤减，尤其是原来靠分頁带入的頁面。
- 相關推荐、上一篇下一篇這類尾部連結，尽量指向同主题下的稳定 URL，而不是带大量參數的结果頁。
- 新结构上线後，從首頁手動走一遍到最深的詳情頁，记錄需要几次点击。
Sitemap 與舊入口的過渡
Sitemap 是补充，不是主干。改版後應先更新 Sitemap 里的 URL 清單，把已下线的舊地址移除，同时保留一小段舊 Sitemap 或舊栏目頁的入口，让蜘蛛在過渡期還能顺着老路回到新地址。這段過渡不用太久，通常几周足够，之後可以彻底下线。
如果站点同时還挂着蜘蛛池或大量主動推送，注意不要把新上线但還没稳定的路径一次性全部推出去。路径本身没定型时推得越多，蜘蛛抓到的空頁面、半成品頁面也越多。
给新路径留出观察窗口
改版後不要只看總抓取量，那個數字往往短期是涨的，因為蜘蛛在反复確認舊地址。更值得看的是新路径的覆盖情况。
- 從訪問日誌里筛出新目錄前缀，看是否有抓取记錄。
- 確認抓取集中在栏目頁還是能下到詳情頁。
- 观察被請求的新 URL 返回狀態是否稳定，是否有大量 301 串联。
- 對比新舊入口的抓取比例，判断主干是否已经切換過去。
改版後抓取量没掉，不代表路径重建成功。真正要看的是新结构里最深的那一层有没有被走到。
几個容易踩的坑
- 舊連結全部 301 到首頁，蜘蛛會把首頁当成萬能兜底頁，反而稀释了對深层頁面的探索。
- 新版導航用 JavaScript 渲染，第一遍抓取看不到入口，深层頁面只能等第二轮。
- Sitemap 更新了，但内鏈還指向舊地址，形成大量跳轉鏈。
- 過渡期同时保留新舊两套完整目錄，蜘蛛在两條路径之間来回跑，抓取被摊薄。
改版本身不會直接影响站点表現，影响来自路径断掉之後蜘蛛找不到東西。把映射表整理清楚，保住内鏈主干，過渡期给舊入口留一條回程路，再用日誌確認新路径真的被走通，這几点做到，改版的抓取波動一般會在几周内收敛。