一、先分清是路径搬家還是頁面重组
站点改版通常伴随 URL 變動,但變動類型不同,處理方式也不同。一類是路径搬家:内容本身没變,只是目錄名、參數或後缀調整,例如 /news/123.html 變成 /article/123/。這類可以做到一一對應,用 301 指向新地址即可。另一類是頁面重组:多個舊頁面合並成一個新栏目頁,或一個舊頁面拆成多個新頁面。這时没有干净的一一對應關系,需要人工决定每個舊 URL 的归宿。
区分這两類之後再動手,否則容易出現“舊頁面全部 301 到首頁”的做法,蜘蛛會把這些跳轉视為低價值入口,抓取预算花掉却没有換来新 URL 的發現。
二、舊路径下线的三種處理方式
- 301 永久跳轉:适用于有明确新對應頁面的情况。跳轉目标應是内容最接近的頁面,而不是站点首頁或栏目首頁。
- 410 明确消失:适用于内容确實下架、且没有替代頁面的情况。相比 404,410 表達更明确,長期看有利于舊入口收缩。
- 保留 200:只适合内容仍要保留、只是換了模板的頁面。若舊頁面與新頁面内容高度重复,應考虑 canonical 指向,而不是让两套 URL 同时對外。
要避免的是長期使用 302 或 307。临时跳轉不會传递明确的永久迁移信号,蜘蛛可能反复回来確認,形成額外的抓取往返。
三、新入口的铺设顺序
- 先改站内導航和栏目列表頁,让新 URL 出現在离首頁最近的层級。
- 再處理内容頁之間的内鏈,尤其是正文中的引用連結和“相關阅讀”模块。
- 更新 Sitemap,只放最终返回 200 的規范 URL,不要把跳轉鏈放進去。
- 观察日誌中新 URL 的首次抓取時間,以及舊 URL 抓取量的變化趋势。
Sitemap 是补充入口,不是替代内鏈的手段。如果新頁面在内鏈里完全不可達,只靠 Sitemap 提交,發現速度通常更慢,也不利于後續的信号传递。
四、過渡期值得盯的几個指标
改版後的几周内,日誌是主要依據。可以按天統計舊 URL 中 301 與 410 的抓取占比、新 URL 中返回 200 的比例、以及新 URL 從首次被請求到稳定抓取之間的間隔。
過渡期的目标是让蜘蛛把注意力從舊入口挪到新入口,而不是追求某一天抓取量的高低。抓取量短期波動属于正常現象。
五、容易踩的坑
- 跳轉鏈過長:舊地址 301 到過渡地址,再 301 到新地址。尽量一步到位。
- 跳轉目标失效:301 指向的新頁面本身返回 404,或被 robots.txt 屏蔽。
- 入口不一致:導航、Sitemap、外鏈分別指向三種不同的舊地址變体。
- 缓存留舊:CDN 或浏览器缓存了舊的 301 與 410 响應,導致新規則迟迟不生效。
- 相對連結未改:模板里的相對路径在目錄調整後指向了错誤位置。
把這些項逐條對帳一遍,通常比盯着抓取總量更有用。改版迁移不是一次性操作,而是一段需要持續观察的對帳過程,建议按周做一次记錄,直到舊入口請求量明顯回落、新入口請求趋于稳定為止。