搜尋抓取

搜尋蜘蛛抓取:站点改版後的舊路径下线與新入口接管排查

站点改版後,舊 URL 的下线方式與新入口的铺设顺序,直接决定蜘蛛把抓取预算花在哪里。本文梳理 301 與 410 的适用场景、導航與内鏈的更新顺序、Sitemap 的收尾處理,以及過渡期需要观察的日誌指标和常见踩坑点。

搜尋抓取

搜尋蜘蛛抓取:站点改版後的舊路径下线與新入口接管排查

一、先分清是路径搬家還是頁面重组

站点改版通常伴随 URL 變動,但變動類型不同,處理方式也不同。一類是路径搬家:内容本身没變,只是目錄名、參數或後缀調整,例如 /news/123.html 變成 /article/123/。這類可以做到一一對應,用 301 指向新地址即可。另一類是頁面重组:多個舊頁面合並成一個新栏目頁,或一個舊頁面拆成多個新頁面。這时没有干净的一一對應關系,需要人工决定每個舊 URL 的归宿。

区分這两類之後再動手,否則容易出現“舊頁面全部 301 到首頁”的做法,蜘蛛會把這些跳轉视為低價值入口,抓取预算花掉却没有換来新 URL 的發現。

二、舊路径下线的三種處理方式

  • 301 永久跳轉:适用于有明确新對應頁面的情况。跳轉目标應是内容最接近的頁面,而不是站点首頁或栏目首頁。
  • 410 明确消失:适用于内容确實下架、且没有替代頁面的情况。相比 404,410 表達更明确,長期看有利于舊入口收缩。
  • 保留 200:只适合内容仍要保留、只是換了模板的頁面。若舊頁面與新頁面内容高度重复,應考虑 canonical 指向,而不是让两套 URL 同时對外。

要避免的是長期使用 302 或 307。临时跳轉不會传递明确的永久迁移信号,蜘蛛可能反复回来確認,形成額外的抓取往返。

三、新入口的铺设顺序

  1. 先改站内導航和栏目列表頁,让新 URL 出現在离首頁最近的层級。
  2. 再處理内容頁之間的内鏈,尤其是正文中的引用連結和“相關阅讀”模块。
  3. 更新 Sitemap,只放最终返回 200 的規范 URL,不要把跳轉鏈放進去。
  4. 观察日誌中新 URL 的首次抓取時間,以及舊 URL 抓取量的變化趋势。

Sitemap 是补充入口,不是替代内鏈的手段。如果新頁面在内鏈里完全不可達,只靠 Sitemap 提交,發現速度通常更慢,也不利于後續的信号传递。

四、過渡期值得盯的几個指标

改版後的几周内,日誌是主要依據。可以按天統計舊 URL 中 301 與 410 的抓取占比、新 URL 中返回 200 的比例、以及新 URL 從首次被請求到稳定抓取之間的間隔。

過渡期的目标是让蜘蛛把注意力從舊入口挪到新入口,而不是追求某一天抓取量的高低。抓取量短期波動属于正常現象。

五、容易踩的坑

  • 跳轉鏈過長:舊地址 301 到過渡地址,再 301 到新地址。尽量一步到位。
  • 跳轉目标失效:301 指向的新頁面本身返回 404,或被 robots.txt 屏蔽。
  • 入口不一致:導航、Sitemap、外鏈分別指向三種不同的舊地址變体。
  • 缓存留舊:CDN 或浏览器缓存了舊的 301 與 410 响應,導致新規則迟迟不生效。
  • 相對連結未改:模板里的相對路径在目錄調整後指向了错誤位置。

把這些項逐條對帳一遍,通常比盯着抓取總量更有用。改版迁移不是一次性操作,而是一段需要持續观察的對帳過程,建议按周做一次记錄,直到舊入口請求量明顯回落、新入口請求趋于稳定為止。