很多站点在改版时,会同时维护移动版和桌面版两套页面。移动优先索引全面推开之后,蜘蛛在多数情况下抓取和评估的,是移动版 HTML,而不是你在电脑上看到的那一版。如果两边内容不一致,蜘蛛记住的是移动版,而用户可能看到的是桌面版,差异就会变成抓取和收录上的麻烦。
移动优先并不等于“只看手机”
它解决的是同一套索引里用哪个版本作准的问题。蜘蛛仍然会抓桌面版,也会跟桌面版上的链接,但用于内容判断的主版本是移动版 HTML。因此移动版缺了内容、缺了内链,就等于主版本缺了内容。这一点在栏目页和文章页上体现得最明显。
三种常见形态的抓取差异
- 响应式(同一套 URL):最省事。同一份 HTML 经由 CSS 适配,两端下发的内容基本一致,很少出现抓取分歧。
- 独立移动域名或 m 路径:m.example.com 与 www 各自有 HTML。两边模板如果不一起改,很容易出现移动版少模块、少链接的情况。
- 动态下发(服务端判断 UA):按 UA 返回不同 HTML。这种做法本身可行,但两端差异过大,风险就接近隐藏内容。
移动版“少东西”会带来什么
最常见的是三类:正文被折叠或需要点击才加载、内链条目在移动端被砍掉、分页和列表页只保留前几条。蜘蛛拿到的移动版里没有这些内容,等于页面变薄,链接发现也随之变少,深层页面的抓取机会跟着下降。
判断标准不需要太复杂:把移动版 HTML 拿到手,看关键正文、主要内链、分页入口是否都在,缺谁补谁。
自查时看哪几处
- 用移动端 User-Agent 请求页面,对比返回的 HTML 与桌面版是否有关键差异。
- 确认移动版没有在 robots.txt 或页面 meta 里被误屏蔽。
- 确认同一 URL 不会因为 UA 不同而返回不同状态码或跳转。
- 确认移动版与桌面版的 canonical 指向同一个规范地址。
- 确认内链在移动版里没有被脚本延后加载,导致蜘蛛跟不到。
几处容易踩的坑
- 移动版用 302 跳到首页,蜘蛛跟到的是一串跳转,最终落点并不是目标页。
- 移动版模板精简过头,把分页、面包屑、相关推荐都删了,抓取路径立刻变浅。
- CDN 或前端框架只对移动 UA 返回精简内容,且差异很大,容易被视为两套内容。
- 移动子域单独放了一份 robots.txt,屏蔽规则和主站不一致,蜘蛛在那边被拦住。
- 只在桌面版维护 Sitemap,移动版的 URL 清单长期不更新,新页面发现变慢。
运营上的取舍
能合并成响应式就合并,维护成本最低;必须保留两套时,把正文、内链、分页这三件事在两边对齐,并纳入每次改版的上线检查项。抓取策略本身不复杂,难的是长期一致。移动版和桌面版持续同步,蜘蛛看到的站点才和你以为的一样。