先确认自己用的是哪种移动端方案
移动端适配没有唯一正确答案,但最怕的是“说一套做一套”:代码里用响应式,服务器又按 UA 跳转到另一套 URL,或者独立移动站和电脑站内容长期不一致。蜘蛛在抓取时通常会用移动端 UA 优先查看页面,如果它拿到的版本和你以为的不一样,后续的索引和展示就可能出问题。
常见方案有三种:响应式设计、动态服务、独立移动 URL。响应式最省心,同一套 HTML、同一套 URL,CSS 控制布局;动态服务是同一个 URL,服务器根据 UA 返回不同 HTML;独立移动 URL 则是 m.example.com 或 /m/ 这样的另一套地址。自查第一步,就是把这三种方案对应到自己的站点,别让它们混着用。
URL 和 canonical 要能说清楚谁是谁
如果使用独立移动 URL,需要在每个移动页面上用 canonical 指向对应的电脑版页面,或者按搜索引擎的建议做双向标注。不要出现移动页 canonical 指向自己、电脑页又 canonical 指向移动页的情况,这会让蜘蛛难以判断主版本。
如果使用响应式或动态服务,URL 通常不变,canonical 保持自指即可。动态服务要注意:同一个 URL 根据 UA 返回不同内容时,应正确设置 Vary 头,至少包含 User-Agent,避免缓存把桌面版页面发给移动蜘蛛,或者反过来。
- 检查移动页和电脑页是否一一对应,避免移动页没有对应电脑页,或电脑页没有移动版。
- 检查 canonical 是否指向正确的主版本,是否出现跨版本互指。
- 检查 Vary 头是否与动态服务方案匹配,CDN 缓存键是否包含 UA 或设备类型。
内容一致性和可读性别忽略
蜘蛛不关心设计好不好看,但它会读取页面上的文字、链接和结构化数据。如果移动版为了加载速度删掉了大量正文、内链或结构化数据,蜘蛛可能认为移动版内容质量较低。比较稳妥的做法是:移动版保留核心正文、主要内链和关键结构化数据,只对非必要的装饰性资源做减法。
另外,移动端常见的弹窗、浮层、折叠菜单也可能影响抓取。如果主要内容被默认折叠,或者需要点击多次才能展开,蜘蛛不一定能拿到。尽量让正文在 HTML 中直接存在,而不是靠 JS 交互后才注入。
自查时可以用移动端 UA 抓取几个代表页面,看看返回的 HTML 里有没有正文和链接,而不是只盯着浏览器截图。
资源加载与抓取日志检查
移动端页面往往依赖 CSS、JS、字体和图片。如果这些资源被 robots.txt 屏蔽,或者因为路径错误返回 404,蜘蛛可能无法完整渲染页面。检查移动端资源是否可访问,尤其是独立移动站的静态资源域名是否允许抓取。
最后回到日志。把移动端蜘蛛的抓取记录单独筛出来,看它抓的是哪些 URL、返回状态码是什么、抓取频次是否异常。如果大量移动 URL 返回 301 到电脑版,或者返回 404,说明适配配置可能有问题。定期看几眼,比等到流量掉了再排查要轻松得多。
- 用移动端 UA 访问核心页面,确认返回内容完整、状态码正常。
- 检查移动资源是否可抓取,robots.txt 和 CDN 规则是否误伤。
- 对比移动端和电脑端的 canonical、hreflang(如涉及多语言)和结构化数据。
- 从日志中筛出移动蜘蛛抓取记录,观察状态码分布和抓取频次。
移动端适配不是一次性任务。模板改版、CDN 调整、栏目新增都可能影响移动版和电脑版的一致性。把上面几项放进例行自查,能减少蜘蛛拿到错误版本的概率,也让后续的索引和展示更稳定。