搜尋抓取

站点改版後的抓取路径:舊 URL、重定向與新内鏈怎么衔接

改版时蜘蛛看到的路径最容易断。本文按舊 URL 分類處理、重定向鏈長度、内鏈同步修改、Sitemap 替換节奏和日誌观察指标五個方面,梳理改版期間如何让舊地址與新结构平稳衔接,避免抓取量被跳轉和重复頁面消耗。

搜尋抓取

站点改版後的抓取路径:舊 URL、重定向與新内鏈怎么衔接

改版是抓取路径最容易断掉的时候。舊地址還在被蜘蛛訪問,新地址已经上线,中間如果没有清晰的承接,蜘蛛看到的可能是一串断鏈、一堆跳轉,或者两套内容同时存在。下面按“蜘蛛會怎么走”的顺序梳理一遍。

一、先分清三類舊 URL

改版後的舊地址,大致能分成三種,處理方式並不一样。

  • 有對應新頁面的:用 301 指向最接近的那個新 URL,一跳到位。
  • 内容被合並的:多個舊頁並成一個新頁,全部 301 到同一個目标地址。
  • 彻底下线的:返回 410 或 404,不要再 301 到首頁。

最常见的错誤是把所有舊地址统一跳到首頁。蜘蛛跟過去發現内容對不上,這次跳轉的意义基本就没了,用戶也會多一次迷惑。

二、重定向鏈尽量控制在两跳以内

蜘蛛遇到 301 會繼續跟,但每多一跳就多一次請求和一次判断。實践中尽量做到:

  1. 舊 URL 直接指向最终地址,不经過中間层。
  2. 不要 A→B→C 的接力,把 A 直接改成指向 C。
  3. 跳轉目标本身不要再跳向別處。
判断标准很简單:如果你自己要点三次才到终点,蜘蛛那邊也要走三次。

三、内鏈要一起改,不能只改跳轉

301 只是兜底,真正决定蜘蛛以後走哪條路的,是新頁面之間的内鏈。改版时容易被漏掉的几個位置:

  • 導航和面包屑里指向舊目錄的連結。
  • 正文里手工寫的舊文章地址。
  • 专题頁、标簽頁聚合出来的舊連結。
  • 图片、附件指向的舊路径。

只要這些連結没改,蜘蛛每次爬到這里都會走一次 301,相当于把跳轉当成常態。時間久了,抓取路径上會一直挂着一层歷史包袱。

四、Sitemap 與替換的节奏

新 URL 上线後,Sitemap 應尽快換成新地址。舊 Sitemap 里的地址如果已经做了 301,不必長期留着,否則蜘蛛會持續把抓取量花在跳轉上。

站点規模大时,可以分阶段推進:先让新结构的内鏈跑通,再替換 Sitemap,最後清理舊連結。一次性全改,日誌里容易同时出現大量 404 與跳轉,排查起来更累。

五、改版後该盯的几個信号

  • 訪問日誌里 301、404、410 的比例變化。
  • 蜘蛛訪問舊目錄的频率是否逐步下降。
  • 新目錄的抓取量是否稳步上升。
  • 是否有頁面同时被新舊两個地址訪問到。

最後一條尤其要留意:如果新舊地址都能正常返回 200,蜘蛛會把它們当作两個頁面,抓取量被拆成两份,内鏈也會被分散。要么跳轉,要么用規范标簽明确主地址,不要两头都留着。

改版本身不复杂,难的是把“蜘蛛看到的路径”和“你心里的路径”對上。把跳轉做短、内鏈改干净、Sitemap 換成新的,剩下的交给時間慢慢观察。