站点改版、目录调整、换域名之后，常会遇到一段尴尬期：旧链接还时不时有蜘蛛来访，新链接却迟迟没有动静。这不完全是提交一下就能解决的事，本质上是让蜘蛛重新走一遍发现路径，完成一次 URL 的交接。
改版改变的是抓取路径，不只是页面样式
蜘蛛对站点的认识来自两条线：一条是站内可点击的链接路径，另一条是它已经抓过、记在队列里的旧 URL。改版往往同时动了这两条线——导航结构变了，原有内链指向的位置变了，旧 URL 还有一批残留在外链、收藏和搜索结果里。新人不断出现，旧账还没结清，抓取资源就被摊薄了。
所以改版后的第一件事不是急着提交新页面，而是先把旧 URL 的去向定下来。
旧 URL 的三种退场方式
- 301 永久跳转：内容换到了新地址，旧地址不再有独立价值时使用，适合成批、规则清晰的迁移。
- 410 或 404：页面确实下线、也没有替代内容时使用。410 表达得更明确，但对抓取节奏的影响和 404 相近。
- 原样保留：只有当旧页面仍有独立内容、或仍有大量外部链接指向时才考虑。如果新旧页面内容一致却同时返回 200，等于给蜘蛛两个几乎相同的入口。
需要注意的是，跳转要一次到位：旧地址指向新地址，新地址直接返回 200，这是最省事的形态。
新 URL 要靠哪些入口被发现
Sitemap 是一份清单，本身不构成入口。它能帮助蜘蛛知道有哪些新地址，但决定蜘蛛是否愿意顺着走下去的，通常是页面上的链接。
- 主导航和栏目页：新结构里位置最显眼的地方，尽量保证新 URL 在改版上线那天就能从首页点两三次到达。
- 正文内链：老文章里指向旧 URL 的链接，改版时最好同步换成新 URL，别全留给 301 去兜底。
- Sitemap：更新为新 URL，旧的从清单里移除；如果保留跳转，别让跳转地址继续出现在清单里。
- 站内搜索与标签聚合：能补充一部分发现路径，但别让这些动态结果页成为主要入口。
交接期最容易踩的几个坑
- 链式跳转：A 跳 B，B 再跳 C。每多一跳，蜘蛛就多花一次请求，批量出现时对抓取节奏的影响很明显。
- 301 指向 404：跳转目标本身不存在，蜘蛛跟过去只拿到一个空结果，两次请求都没产出。
- Sitemap 新老混存：清单里同时列出旧地址和新地址，会让蜘蛛反复在两边来回。
- 新页面只有 Sitemap 没有内链：发现得了，但缺少站内信号，后续抓取意愿往往偏弱。
- 改版顺手改了 URL 规则：大小写、末尾斜杠、参数顺序一起变，跳转规则就容易漏掉分支。
用日志看交接进度
交接是否顺利，服务器日志里能看出大概：旧 URL 的访问量应该逐步下降，且以 301 为主；新 URL 的首次抓取时间大致集中在改版后的一段时间内。如果旧 URL 长期高频返回 301，可能是内链还没换干净，或者有外部链接一直在推。
同时留意新 URL 的状态码分布。如果新地址出现较多 5xx 或超时，蜘蛛的抓取节奏会明显放慢，交接期自然被拉长。
节奏上留点余地
改版是给蜘蛛换一条路走，不是让它凭空记住一批新地址。旧路要收得干净，新路要铺得清楚，中间别留下太多岔口。
把跳转规则、内链替换和 Sitemap 更新按同一份清单核对一遍，再观察日志里的访问结构变化，通常比反复提交更有效。