網站收錄

移動站和桌面站两套 URL:收錄以哪一版為准,怎么自查

移動端上线时多開一套 URL,很快就會遇到两套地址都被抓取、索引里来回換版本的情况。本文說明移動優先索引下爬虫實际讀取的是哪一份 HTML,响應式、動態服務和獨立 m 站三種结构的差异,並给出一份可执行的自查清單,帮助确定規范版本、减少索引在两版之間反复切換。

網站收錄

移動站和桌面站两套 URL:收錄以哪一版為准,怎么自查

不少站点在做移動端时,會額外開一套域名或路径,比如 m.example.comexample.com/m/,或者给同一篇内容再加一個 AMP 版本。桌面一套、移動一套,内容大体相同但模板不同。這類站点最常問的問题是:两套 URL 都在索引里,收錄到底以哪一版為准,會不會互相抢。

先弄清:移動優先索引讀的是哪一份 HTML

現在主流搜尋引擎以移動版内容作為主要的索引依據。抓取时通常使用移動的 User-Agent 去訪問 URL,拿到的 HTML 才是它用来判断頁面内容的那一份。如果是動態服務(同一 URL 按 UA 返回不同 HTML),索引用的就是移動版返回的内容;如果是獨立 m 站,m 站和桌面站會被当作两個 URL 分別處理,再决定保留哪一版作為展示用的規范版本。

所以「以哪一版為准」没有固定答案,取决于你的结构、canonical 指向、内鏈指向,以及两版内容是否一致。

三種常见结构,處理方式不同

响應式:一套 URL,最省事

同一 URL 在不同设备上渲染不同布局,HTML 主体一致。這類站点基本不需要考虑双版本收錄問题,把精力放在頁面质量上即可。

動態服務:一套 URL,两套 HTML

URL 相同,但按 UA 返回不同内容。前提是两版内容要基本一致,移動版不能缺正文、缺關键連結。如果移動版只留了标题和一張图,索引里留存的也就是這份偏薄的版本。

獨立 m 站:两套 URL

最容易出問题的一類。常见的坑有:桌面版 canonical 指向自己、m 站也指向自己;或者 m 站被 robots.txt 挡住、被 noindex 掉,導致移動版内容根本進不了索引。

自查清單

  1. 用移動 UA 抓一次頁面,看返回的 HTML 里正文、内鏈、结构化資料是否完整。
  2. 检查两版的 canonical:應该是 m 站指向桌面站,或两邊统一指向同一個規范 URL,而不是各自自指。
  3. 看服務器日誌里移動爬虫的抓取情况,是否大量返回 5xx、403,或者被重定向到首頁。
  4. 確認 m 站没有被 robots.txt 屏蔽、没有加 noindex;一旦屏蔽,移動優先索引下等于把主要内容關在门外。
  5. 對比两版的标题、正文、内鏈數量。差异太大时,索引容易在两版之間来回切換。

内容不一致时會發生什么

如果两版内容差异明顯,搜尋引擎需要自己挑一版作為主版本,可能出現几種表現:索引里的 URL 在 m 站和桌面站之間跳動;搜尋结果摘要来自移動版而連結指向桌面版;或者只保留其中一版,另一版落到「已抓取,目前未收錄」或「重复網頁,用戶未選定規范網頁」這類狀態里。

两版内容越接近、canonical 越一致,索引狀態就越稳定;把差异留给搜尋引擎去猜,结果通常不可控。

實际建议

  • 能合並就合並:長期看,把移動端做成响應式,比维護两套 URL 更省心。
  • 保留 m 站就要對齐:正文、标题、H 标簽、内鏈、结构化資料尽量與桌面版保持一致。
  • canonical 统一:先确定一個規范版本,两邊寫法保持一致,不要互相指向。
  • 別屏蔽移動版:robots.txt 和 noindex 都不要用在需要被索引的那一版上。
  • 观察日誌與索引报告:看爬虫抓的是哪個域名,索引里出現的是哪一版,變化是否频繁。

双 URL 本身不是問题,問题在于两版内容和信号不一致。先把規范版本定下来,把差异填平,再去谈收錄表現,才是有意义的顺序。