网站改版时，页面视觉往往最先被讨论，但真正影响蜘蛛和访客体验的是 URL、内链和跳转关系。改版不是把新页面传上去就结束，旧地址如果没人管，会持续产生 404、重复内容或多跳重定向，抓取预算被浪费，用户也可能找不到原来收藏的内容。
为什么先做 URL 盘点
蜘蛛发现 URL 的渠道很多：历史抓取记录、站点地图、内链、外链、RSS、结构化数据等。改版后，新地址要能被发现，旧地址要能被正确引导。如果直接替换页面而不处理旧地址，等于让搜索引擎和用户同时面对一批突然失效的入口。
迁移前的准备清单
整理旧 URL 与访问数据
- 导出服务器访问日志或统计后台中近 3—6 个月有访问的 URL，按访问量排序。
- 标出有外链、有收录、有转化的地址，这些优先级最高。
- 记录旧栏目结构，判断哪些是内容页、列表页、分页、附件页、搜索页。
建立新旧地址映射
- 能一对一对应的，直接写 301 到新地址，不要经过中间页。
- 栏目合并或拆分时，把旧列表页指向最相关的新列表页，而不是首页。
- 已经下线的功能页、活动页，可指向同类内容或返回 410；不要全站 302 到首页。
- 映射表保留在表格里，上线前逐条核对，避免大小写、参数和斜杠写法不一致。
处理不能一一对应的页面
有些旧页面没有直接替代品，比如过期的专题、旧版帮助文档。这类页面可以合并到新内容中，或在旧页面保留简短说明并给出相关入口。重点不是保住每一个旧 URL，而是让抓到旧地址的蜘蛛能顺畅到达有维护的新页面。
上线时的操作顺序
- 先在新服务器或新目录完成全站自测，确认页面可访问、资源可加载、返回码正常。
- 配置 301 规则，从小批量地址开始抽样测试，检查跳转次数和最终落点。
- 更新站内链接、导航、面包屑和站点地图，让新地址成为主要入口。
- 检查 robots.txt，确认没有误挡新目录，也没有放开测试目录。
- 切换 DNS 或上线新版本后，观察服务器状态码和抓取日志。
如果站点规模较大，可以按栏目分批迁移。每批迁移后留出几天观察期，确认日志中旧地址的抓取请求逐步减少，新地址开始出现，再继续下一批。
上线后的观察重点
- 404 与 5xx：旧地址如果大量返回 404，说明映射遗漏；5xx 则要检查服务器承载和程序报错。
- 重定向链：避免 A→B→C 的多跳，尽量一步到位。
- 重复内容：新旧地址同时可访问时，及时用 301 或 canonical 明确主版本。
- 抓取频率：观察蜘蛛是否仍停留在旧路径，如果长时间没有发现新地址，可从内链和站点地图再引导。
改版迁移的目标不是“看起来换了新站”，而是让用户和蜘蛛都能用最短路径找到有效内容。跳转越少、入口越清晰，后续维护越省力。
几个常见坑
- 只改导航，不改正文里的旧链接，导致站内大量 404。
- 把旧域名所有页面 302 到新首页，用户和蜘蛛都得不到有效信息。
- 站点地图仍提交旧地址，或者新旧地址混在一起。
- 迁移后立刻删除旧服务器日志，失去排查依据。
迁移完成后，保留一段时间的旧地址映射表和日志记录，定期抽查重点页面。等新地址稳定参与抓取，旧地址的请求明显回落，再逐步清理临时规则。