很多站点在桌面端看没有问题,但用手机打开时会换一套模板、隐藏一部分模块,甚至跳转到独立移动域名。问题在于,搜索蜘蛛现在更常以移动端身份访问页面。如果两端内容差异太大,蜘蛛拿到的版本可能不是你想让它看到的那一版。
为什么蜘蛛看到的移动端可能不一样
移动优先索引的意思并不是单独给移动端做一套索引,而是说蜘蛛主要用智能手机的 UA 去抓取页面,并把这个结果作为理解和排序的基础。对于响应式站点,这通常问题不大;但如果站点做了独立移动站,或者用前端脚本在移动端隐藏大量内容,就容易出现两端不一致。
常见表现是:桌面端有完整正文和栏目导航,移动端只留下标题和摘要;桌面端加载了结构化数据,移动端模板没有输出;桌面端内链丰富,移动端为了省流量把相关推荐、面包屑和分页全部砍掉。蜘蛛不会自动脑补缺失内容。
常见差异点自查
正文内容是否被裁剪
有些移动模板会把长文折叠成“展开全文”,或者只输出前几段。如果折叠部分仍然在 HTML 里,只是视觉隐藏,通常不影响;如果服务端只返回摘要,蜘蛛拿到的就是阉割版。需要确认移动端返回的 HTML 中是否包含完整正文。
导航与内链是否被隐藏
移动端为了简化交互,常把栏目入口收进汉堡菜单。只要链接仍在 HTML 中,蜘蛛可以顺着抓。但如果菜单用 JavaScript 动态生成,并且没有可抓取的 a 标签,或者重要内链只在桌面端出现,就会影响 URL 发现。可以检查移动端页面里是否保留了主要栏目、面包屑和分页链接。
元信息与结构化数据是否缺失
标题、描述、canonical、hreflang、文章结构化数据等,在不同模板中容易漏掉。尤其是独立移动站,如果移动端 canonical 指向自己,而没有正确指向桌面版或正确互指,可能让同一内容出现两个地址。需要逐项对比两端 head 区域的关键标签。
图片、视频与懒加载
移动端常用占位图和懒加载。如果真实资源地址只写在脚本变量里,蜘蛛可能看不到图片和视频内容。可以检查移动端 HTML 是否包含 img 的 src 或 srcset,视频是否有可用的 poster 或来源链接。
屏蔽规则是否误伤
有些站点为了禁止移动端某些目录被访问,会在 robots.txt 里单独屏蔽 m 站路径,或者用 meta robots 限制移动端页面。需要确认这些规则没有挡住正文、列表或资源文件。
对比两端内容的几个方法
- 用移动端 UA 抓取几个代表性 URL,保存返回的 HTML。
- 再用桌面端 UA 抓取同样 URL,对比正文长度、链接数量、head 标签。
- 检查移动端是否发生跳转,跳转后的地址是否可索引、内容是否等价。
- 如果使用独立移动站,确认两端有正确的 alternate 和 canonical 互指。
- 用日志观察移动端蜘蛛抓取后,实际访问了哪些 URL,是否有大量重定向或 404。
处理建议
- 优先采用响应式设计,让两端共用一套内容,减少维护分叉。
- 如果必须保留独立移动站,至少保证正文、主要内链、元信息与桌面端等价。
- 不要把重要内容仅放在桌面端模板中,也不要用移动端专属规则屏蔽正文。
- 对依赖 JavaScript 渲染的内容,确认服务端或预渲染能输出可抓取的 HTML。
- 改版或换模板后,重新跑一遍移动端与桌面端对比,避免新模板悄悄丢掉字段。
移动端不只是给手机访客看的界面,也是蜘蛛理解页面的主要入口。两端内容越接近,站点运营中因模板差异带来的抓取偏差就越少。