先明确一个前提:抓取用哪个版本,索引就更容易按哪个版本走
在移动优先的抓取环境下,搜索引擎默认使用移动端 UA 来请求页面,并依据移动版返回的 HTML 判断正文、链接和可索引性。这意味着如果两版不一致,索引里留下的通常是移动版看到的那一份,而不是服务器上那份更完整的桌面版。
常见的误区是:以为桌面版内容齐全就够了。实际上当移动版是精简模板、正文缺失、内链被砍掉时,被抓取到的那一版就会缺这些信息。
三种典型的不一致
1. 内容量不同
移动版只放摘要,正文折叠在“展开全文”里,并且不通过链接或接口加载;或者移动版直接返回一套精简模板。这种情况下,能被读到的内容就是精简版。
2. 链接与导航缺失
移动版为了省空间,去掉了面包屑、相关推荐和分类入口。这些链接是站内 URL 发现的重要来源,长期缺失会让部分页面被发现和被抓取的机会变小。
3. 屏蔽与元信息差异
移动版被 robots.txt 屏蔽、加了 noindex,或 canonical 指向桌面版 URL,而桌面版又反向指回来。这种互相指向会削弱信号,索引版本容易摇摆。
自查顺序
- 先看日志里的 UA:把移动 UA 与桌面 UA 分开统计目标页面的抓取量,确认搜索引擎主要在抓哪个版本。
- 再对比两版的渲染结果:用移动 UA 请求页面,检查正文长度、主要链接数量、结构化数据是否与桌面版对等。不要只看源码,要看渲染后的结果。
- 检查移动版是否被挡:robots.txt、meta robots、X-Robots-Tag、登录墙、地区限制,任何一项挡在移动版上,都等于把内容挡在索引之外。
- 检查 canonical 与 URL 关系:确认两版是同一 URL 自适应,还是独立域名。独立域名时,两边 canonical 要统一指向同一个首选版本。
- 检查资源是否被屏蔽:CSS、JS、图片被挡会导致渲染结果与用户看到的不一致,正文可能整块读不到。
修复的优先级
先让两版内容对等,再谈收录效率。顺序上建议:
- 正文与主要链接先做到对等,这一步收益最大;
- 再去掉移动版上多余的屏蔽规则;
- 然后统一 canonical 指向;
- 最后才是提交 URL、等待重抓。
如果短期内做不到内容对等,可以考虑直接用响应式同一套 HTML,减少两套模板带来的差异面。
怎么验证有没有改善
- 抽查目标页面在索引中的版本,看正文和内链是否与当前移动版一致;
- 对比修复前后移动 UA 的抓取量与返回状态码分布;
- 索引数的变化要按周观察,不要按天判断。
改完之后不要期望立刻变化,抓取与重新索引都需要时间,值得关注的是趋势,而不是某一天的数字。