先明确一個前提:抓取用哪個版本,索引就更容易按哪個版本走
在移動優先的抓取环境下,搜尋引擎預設使用移動端 UA 来請求頁面,並依據移動版返回的 HTML 判断正文、連結和可索引性。這意味着如果两版不一致,索引里留下的通常是移動版看到的那一份,而不是服務器上那份更完整的桌面版。
常见的誤区是:以為桌面版内容齐全就够了。實际上当移動版是精简模板、正文缺失、内鏈被砍掉时,被抓取到的那一版就會缺這些信息。
三種典型的不一致
1. 内容量不同
移動版只放摘要,正文折叠在“展開全文”里,並且不通過連結或接口加载;或者移動版直接返回一套精简模板。這種情况下,能被讀到的内容就是精简版。
2. 連結與導航缺失
移動版為了省空間,去掉了面包屑、相關推荐和分類入口。這些連結是站内 URL 發現的重要来源,長期缺失會让部分頁面被發現和被抓取的机會變小。
3. 屏蔽與元信息差异
移動版被 robots.txt 屏蔽、加了 noindex,或 canonical 指向桌面版 URL,而桌面版又反向指回来。這種互相指向會削弱信号,索引版本容易摇摆。
自查顺序
- 先看日誌里的 UA:把移動 UA 與桌面 UA 分開統計目标頁面的抓取量,確認搜尋引擎主要在抓哪個版本。
- 再對比两版的渲染结果:用移動 UA 請求頁面,检查正文長度、主要連結數量、结构化資料是否與桌面版對等。不要只看源碼,要看渲染後的结果。
- 检查移動版是否被挡:robots.txt、meta robots、X-Robots-Tag、登入墙、地区限制,任何一項挡在移動版上,都等于把内容挡在索引之外。
- 检查 canonical 與 URL 關系:確認两版是同一 URL 自适應,還是獨立域名。獨立域名时,两邊 canonical 要统一指向同一個首選版本。
- 检查资源是否被屏蔽:CSS、JS、图片被挡會導致渲染结果與用戶看到的不一致,正文可能整块讀不到。
修复的優先級
先让两版内容對等,再谈收錄效率。顺序上建议:
- 正文與主要連結先做到對等,這一步收益最大;
- 再去掉移動版上多余的屏蔽規則;
- 然後统一 canonical 指向;
- 最後才是提交 URL、等待重抓。
如果短期内做不到内容對等,可以考虑直接用响應式同一套 HTML,减少两套模板带来的差异面。
怎么驗證有没有改善
- 抽查目标頁面在索引中的版本,看正文和内鏈是否與目前移動版一致;
- 對比修复前後移動 UA 的抓取量與返回狀態碼分布;
- 索引數的變化要按周观察,不要按天判断。
改完之後不要期望立刻變化,抓取與重新索引都需要時間,值得關注的是趋势,而不是某一天的數字。