网站收录

移动站和桌面站两套 URL:收录以哪一版为准,怎么自查

移动端上线时多开一套 URL,很快就会遇到两套地址都被抓取、索引里来回换版本的情况。本文说明移动优先索引下爬虫实际读取的是哪一份 HTML,响应式、动态服务和独立 m 站三种结构的差异,并给出一份可执行的自查清单,帮助确定规范版本、减少索引在两版之间反复切换。

网站收录

移动站和桌面站两套 URL:收录以哪一版为准,怎么自查

不少站点在做移动端时,会额外开一套域名或路径,比如 m.example.comexample.com/m/,或者给同一篇内容再加一个 AMP 版本。桌面一套、移动一套,内容大体相同但模板不同。这类站点最常问的问题是:两套 URL 都在索引里,收录到底以哪一版为准,会不会互相抢。

先弄清:移动优先索引读的是哪一份 HTML

现在主流搜索引擎以移动版内容作为主要的索引依据。抓取时通常使用移动的 User-Agent 去访问 URL,拿到的 HTML 才是它用来判断页面内容的那一份。如果是动态服务(同一 URL 按 UA 返回不同 HTML),索引用的就是移动版返回的内容;如果是独立 m 站,m 站和桌面站会被当作两个 URL 分别处理,再决定保留哪一版作为展示用的规范版本。

所以「以哪一版为准」没有固定答案,取决于你的结构、canonical 指向、内链指向,以及两版内容是否一致。

三种常见结构,处理方式不同

响应式:一套 URL,最省事

同一 URL 在不同设备上渲染不同布局,HTML 主体一致。这类站点基本不需要考虑双版本收录问题,把精力放在页面质量上即可。

动态服务:一套 URL,两套 HTML

URL 相同,但按 UA 返回不同内容。前提是两版内容要基本一致,移动版不能缺正文、缺关键链接。如果移动版只留了标题和一张图,索引里留存的也就是这份偏薄的版本。

独立 m 站:两套 URL

最容易出问题的一类。常见的坑有:桌面版 canonical 指向自己、m 站也指向自己;或者 m 站被 robots.txt 挡住、被 noindex 掉,导致移动版内容根本进不了索引。

自查清单

  1. 用移动 UA 抓一次页面,看返回的 HTML 里正文、内链、结构化数据是否完整。
  2. 检查两版的 canonical:应该是 m 站指向桌面站,或两边统一指向同一个规范 URL,而不是各自自指。
  3. 看服务器日志里移动爬虫的抓取情况,是否大量返回 5xx、403,或者被重定向到首页。
  4. 确认 m 站没有被 robots.txt 屏蔽、没有加 noindex;一旦屏蔽,移动优先索引下等于把主要内容关在门外。
  5. 对比两版的标题、正文、内链数量。差异太大时,索引容易在两版之间来回切换。

内容不一致时会发生什么

如果两版内容差异明显,搜索引擎需要自己挑一版作为主版本,可能出现几种表现:索引里的 URL 在 m 站和桌面站之间跳动;搜索结果摘要来自移动版而链接指向桌面版;或者只保留其中一版,另一版落到「已抓取,当前未收录」或「重复网页,用户未选定规范网页」这类状态里。

两版内容越接近、canonical 越一致,索引状态就越稳定;把差异留给搜索引擎去猜,结果通常不可控。

实际建议

  • 能合并就合并:长期看,把移动端做成响应式,比维护两套 URL 更省心。
  • 保留 m 站就要对齐:正文、标题、H 标签、内链、结构化数据尽量与桌面版保持一致。
  • canonical 统一:先确定一个规范版本,两边写法保持一致,不要互相指向。
  • 别屏蔽移动版:robots.txt 和 noindex 都不要用在需要被索引的那一版上。
  • 观察日志与索引报告:看爬虫抓的是哪个域名,索引里出现的是哪一版,变化是否频繁。

双 URL 本身不是问题,问题在于两版内容和信号不一致。先把规范版本定下来,把差异填平,再去谈收录表现,才是有意义的顺序。