換模板、調栏目结构、迁移域名,這些操作在後台可能只是一次發布,但對搜尋引擎蜘蛛来说,等于走進了一個陌生的站点。它手里拿着的還是舊地址、舊路径和舊模板的印象。改版之後如果不做一轮抓取自查,常见的结果有两種:蜘蛛在舊地址上反复撞墙,或者把新舊混杂的頁面一起收進去。
一、先把新舊地址的對應關系理清楚
動手改版之前,先導出一份完整的 URL 清單,改版後逐條标注去向。這份映射表是後面所有自查的基础,也是看日誌时的對照物。大致分為四類:
- 保留:地址和内容都没變,不需要額外處理。
- 迁移:内容還在,只是地址變了,用 301 指向新地址。
- 合並:几篇内容整理成一頁,舊地址 301 到新頁面。
- 下线:内容不再提供,返回 404 或 410,不建议一律跳到首頁。
把最後一類挑出来單獨確認,因為「全部跳首頁」是改版中最常见的偷懒做法,蜘蛛會因此不断發現同一批無意义地址。
二、模板換過之後,重点看三類頁面
模板一換,最容易出問题的不是首頁,而是那些數量最多的模板頁。改版上线後,建议用抓取工具或直接查看頁面源碼,確認以下几点:
- 首頁:新版首屏是否還有正文級的站内連結,而不是把導航全部塞進脚本或图片里。
- 列表頁:分頁是否還能被逐頁訪問,「加载更多」有没有留下可跟随的地址,而不是只有按钮。
- 詳情頁:正文是否還在 HTML 里,标题、栏目归属、上下篇連結有没有因為模板重寫而丢失。
這三類頁面覆盖了站点的大部分入口,先確認它們,再去看零散頁面。
三、当心跳轉鏈,最好只有一跳
改版时经常出現這样的情况:舊地址 301 到中間地址,中間地址再 301 到最终頁。對用戶来说只是慢了一点,對蜘蛛来说却是一條需要反复確認的鏈路。自查时留意几種情况:
- 多條 301 串在一起,能合並成一條就合並。
- 用 302 代替 301,並且長期挂着不換。
- 用 meta refresh 或 JavaScript 做跳轉,蜘蛛可能走不到新頁面。
- 舊地址跳新地址,新地址又因為參數問题跳回舊地址,形成循环。
改版迁移的目标不是「能跳過去」,而是「一跳就到」。鏈路越長,中間任何一個环节出問题,後面的頁面都可能被漏掉。
四、给自己留一個观察窗口
改版不是發布完就結束的動作。上线後建议留出四到六周的观察期,重点看几項變化:
- 蜘蛛對舊地址的訪問量是否在下降,對新地址的訪問是否在上升。
- 服務器日誌里是否還有大量指向已下线路径的抓取,且返回 200。
- 新頁面被發現的节奏是否正常,有没有某類模板長期没有抓取记錄。
- 站内搜尋、标簽頁、侧栏推荐里是否還残留舊地址。
如果某個栏目在观察期内一直没有抓取记錄,通常是内鏈入口的問题,而不是内容本身的問题,可以從這個方向去查。
五、几個容易被忽略的细节
- 舊版 Sitemap 還挂在服務器上,或者 robots.txt 里仍寫着舊路径。
- 内鏈是硬编碼的舊 URL,頁面能打開,但每次都要多跳一次。
- CDN 或頁面缓存仍然返回改版前的版本,蜘蛛拿到的和用戶看到的不一致。
- 移動版模板是單獨一套,改版只改了桌面版。
- 改版期間提交過临时測試域名,没有及时用 301 收回到正式域名。
改版本身不难,难的是让所有舊入口都指向同一個新出口。把地址映射表做好,把跳轉控制在一條,把观察期走完,蜘蛛适應新版的速度通常會比想象中快一些。