抓取时看到的是移动版,不是“手机上也能打开”就算过关
现在主流搜索引擎普遍采用移动优先的方式评估页面:爬虫主要用智能手机 UA 抓取,索引里保存下来、用于判断页面主题和质量的版本,通常就是移动版返回的那份 HTML。这意味着如果你的移动版只是把桌面版内容砍掉一半、剩下的靠折叠或懒加载补上,爬虫看到的可能是一个信息量很低的页面。收录与否还受链接、站点整体质量、内容独特性等多种因素影响,但“爬虫实际看到什么”这一环,确实由移动版的实现方式决定。
三种常见做法,注意点各不相同
- 响应式:同一套 HTML、同一个 URL,靠 CSS 适配。风险最小,但要确认没有用 CSS 把整段主体内容隐藏掉。
- 动态服务:同一个 URL 按 UA 返回不同 HTML。要保证两版正文基本一致,别对爬虫 UA 返回空壳页或“请下载 App”的提示。
- 独立移动站(m. 域名或另一套 URL):两套 URL 之间用 alternate 和 canonical 互相指明对应关系,并且两边内容一致、链接可互相到达。
容易被忽略的几类差异
- 正文被折叠进“展开全文”,而那段内容其实是 JS 之后才插入的。
- 移动版图片用懒加载,src 是占位图,真实地址躺在 data-src 里。
- 移动版把表格、参数列表整段删掉,只留一句结论。
- 面包屑、相关阅读等内链模块在移动版被省略,页面之间的关联变少。
- 结构化数据只在桌面版输出,移动版没有。
- 移动版自己写了 noindex,或关键资源被 robots.txt 屏蔽。
自查步骤
- 用常见移动爬虫 UA(或开发者工具的移动模拟)访问一个代表页面,查看返回的 HTML 源码,而不是渲染后的视觉效果。
- 把这份源码里的正文和桌面版逐段对比,看关键段落、数据、链接是否都在。
- 检查移动版是否有正确的 viewport 声明,字号和按钮是否可用。
- 如果是独立移动站,检查 alternate 与 canonical 是否两版互指且自洽。
- 在搜索控制台里看抓取时使用的爬虫类型,确认页面确实是被移动 UA 抓取的。
判断标准很简单:假设你只能看到移动版源码,还能不能准确说出这个页面在讲什么、和哪些页面相关。如果说不出来,抓取这一环就已经吃亏了。
还要提醒一句:手机端体验差,通常先影响用户点进来之后的行为,再间接影响收录与排序。真正要改的是让两版承载同样的信息,而不是去猜搜索引擎“更喜欢”哪一版。