站点改版最容易被忽略的，不是页面好不好看，而是蜘蛛原来记住的那条路被拆掉了。原来从首页三级就能点到详情页，改版后可能变成从频道页绕四层，或者干脆有一批页面从内链里消失了。蜘蛛不会读需求文档，它只按当时能看到的链接走，所以改版期间真正要处理的是路径的连续性。
先整理一张 URL 映射表
改版动手之前，把新旧 URL 的对应关系列成表，比事后补 301 划算得多。重点不是把所有旧链接都保留，而是分清哪几类是蜘蛛和外部链接主要入口的。
- 栏目页、列表页：通常是被抓最多的一层，优先级最高。
- 详情页：数量大，注意是否有规则可循，能否用规则批量映射。
- 带参数的旧地址：确认是否还有外部引用，否则可以整批收敛到规范地址。
- 已经下线的页面：不要随手 301 到首页，改成 410 或 404 更容易被正确理解。
内链是抓取路径的主干
蜘蛛在新结构里能不能走到深处，取决于内链是否把重要页面串起来。改版后常见的情况是导航变简洁了，但页尾、面包屑、相关推荐这些位置被砍掉，结果深页面的入口只剩下 Sitemap 一条路。
- 面包屑保留完整层级，让蜘蛛随时能判断自己在哪一层。
- 列表页到详情页的链接数量别骤减，尤其是原来靠分页带入的页面。
- 相关推荐、上一篇下一篇这类尾部链接，尽量指向同主题下的稳定 URL，而不是带大量参数的结果页。
- 新结构上线后，从首页手动走一遍到最深的详情页，记录需要几次点击。
Sitemap 与旧入口的过渡
Sitemap 是补充，不是主干。改版后应先更新 Sitemap 里的 URL 清单，把已下线的旧地址移除，同时保留一小段旧 Sitemap 或旧栏目页的入口，让蜘蛛在过渡期还能顺着老路回到新地址。这段过渡不用太久，通常几周足够，之后可以彻底下线。
如果站点同时还挂着蜘蛛池或大量主动推送，注意不要把新上线但还没稳定的路径一次性全部推出去。路径本身没定型时推得越多，蜘蛛抓到的空页面、半成品页面也越多。
给新路径留出观察窗口
改版后不要只看总抓取量，那个数字往往短期是涨的，因为蜘蛛在反复确认旧地址。更值得看的是新路径的覆盖情况。
- 从访问日志里筛出新目录前缀，看是否有抓取记录。
- 确认抓取集中在栏目页还是能下到详情页。
- 观察被请求的新 URL 返回状态是否稳定，是否有大量 301 串联。
- 对比新旧入口的抓取比例，判断主干是否已经切换过去。
改版后抓取量没掉，不代表路径重建成功。真正要看的是新结构里最深的那一层有没有被走到。
几个容易踩的坑
- 旧链接全部 301 到首页，蜘蛛会把首页当成万能兜底页，反而稀释了对深层页面的探索。
- 新版导航用 JavaScript 渲染，第一遍抓取看不到入口，深层页面只能等第二轮。
- Sitemap 更新了，但内链还指向旧地址，形成大量跳转链。
- 过渡期同时保留新旧两套完整目录，蜘蛛在两条路径之间来回跑，抓取被摊薄。
改版本身不会直接影响站点表现，影响来自路径断掉之后蜘蛛找不到东西。把映射表整理清楚，保住内链主干，过渡期给旧入口留一条回程路，再用日志确认新路径真的被走通，这几点做到，改版的抓取波动一般会在几周内收敛。