改版是抓取路径最容易断掉的时候。舊地址還在被蜘蛛訪問,新地址已经上线,中間如果没有清晰的承接,蜘蛛看到的可能是一串断鏈、一堆跳轉,或者两套内容同时存在。下面按“蜘蛛會怎么走”的顺序梳理一遍。
一、先分清三類舊 URL
改版後的舊地址,大致能分成三種,處理方式並不一样。
- 有對應新頁面的:用 301 指向最接近的那個新 URL,一跳到位。
- 内容被合並的:多個舊頁並成一個新頁,全部 301 到同一個目标地址。
- 彻底下线的:返回 410 或 404,不要再 301 到首頁。
最常见的错誤是把所有舊地址统一跳到首頁。蜘蛛跟過去發現内容對不上,這次跳轉的意义基本就没了,用戶也會多一次迷惑。
二、重定向鏈尽量控制在两跳以内
蜘蛛遇到 301 會繼續跟,但每多一跳就多一次請求和一次判断。實践中尽量做到:
- 舊 URL 直接指向最终地址,不经過中間层。
- 不要 A→B→C 的接力,把 A 直接改成指向 C。
- 跳轉目标本身不要再跳向別處。
判断标准很简單:如果你自己要点三次才到终点,蜘蛛那邊也要走三次。
三、内鏈要一起改,不能只改跳轉
301 只是兜底,真正决定蜘蛛以後走哪條路的,是新頁面之間的内鏈。改版时容易被漏掉的几個位置:
- 導航和面包屑里指向舊目錄的連結。
- 正文里手工寫的舊文章地址。
- 专题頁、标簽頁聚合出来的舊連結。
- 图片、附件指向的舊路径。
只要這些連結没改,蜘蛛每次爬到這里都會走一次 301,相当于把跳轉当成常態。時間久了,抓取路径上會一直挂着一层歷史包袱。
四、Sitemap 與替換的节奏
新 URL 上线後,Sitemap 應尽快換成新地址。舊 Sitemap 里的地址如果已经做了 301,不必長期留着,否則蜘蛛會持續把抓取量花在跳轉上。
站点規模大时,可以分阶段推進:先让新结构的内鏈跑通,再替換 Sitemap,最後清理舊連結。一次性全改,日誌里容易同时出現大量 404 與跳轉,排查起来更累。
五、改版後该盯的几個信号
- 訪問日誌里 301、404、410 的比例變化。
- 蜘蛛訪問舊目錄的频率是否逐步下降。
- 新目錄的抓取量是否稳步上升。
- 是否有頁面同时被新舊两個地址訪問到。
最後一條尤其要留意:如果新舊地址都能正常返回 200,蜘蛛會把它們当作两個頁面,抓取量被拆成两份,内鏈也會被分散。要么跳轉,要么用規范标簽明确主地址,不要两头都留着。
改版本身不复杂,难的是把“蜘蛛看到的路径”和“你心里的路径”對上。把跳轉做短、内鏈改干净、Sitemap 換成新的,剩下的交给時間慢慢观察。