網站收錄

移動端和桌面端内容不一样:先確認蜘蛛按哪一版建索引

同一個頁面在手机和电脑上看到的排版、甚至内容都不完全一致时,索引里的标题和正文往往跟着移動版走。本文說明如何從抓取 UA、原始 HTML、索引展示三處確認蜘蛛讀的是哪一版,並對响應式、獨立移動站、按 UA 動態返回三類實現给出核對顺序與常见坑。

網站收錄

移動端和桌面端内容不一样:先確認蜘蛛按哪一版建索引

做收錄核對时常遇到這種情况:手机打開頁面一切正常,桌面浏览器打開也正常,可索引里抓到的标题、摘要却像另一套東西。這时先別急着改内容,先確認一件事——搜尋引擎给這個 URL 建索引时,讀到的到底是移動版還是桌面版。

為什么同一個 URL 會有两個版本

目前主流搜尋引擎都以移動端抓取為主:蜘蛛預設用智能手机的 UA 請求頁面,並把移動版作為建立索引的主要依據。如果站点對移動端和桌面端返回的 HTML 不完全一致,索引里的内容就會跟着移動版走,而你在桌面浏览器里看到的、随手複製出来的,可能只是另一版。

常见的不一致来源有三類:

  • 响應式模板,但移動断点下隐藏了部分模块;
  • 獨立移動站(如 m.example.com),两套模板長期不同步;
  • 同一個 URL 根據 UA 動態返回不同 HTML。

先確認蜘蛛這次讀的是哪一版

核對顺序建议這样走:

  1. 看抓取日誌里的 UA 與請求地址,分清是智能手机型蜘蛛還是桌面型蜘蛛;
  2. 用同样的 UA 請求頁面,拿到原始 HTML,而不是渲染後的截图或工具栏里的源碼视图;
  3. 對比两版 HTML 中的标题、主正文、canonical、robots meta、结构化資料和内鏈是否一致;
  4. 再回看索引里展示的标题與摘要,判断它更接近哪一版。

只有第一步確認了版本,後面“标题為什么被改寫”“正文為什么對不上”才有讨论的基础。

响應式模板:留意被隐藏的模块

响應式一般不會出大問题,但要留意移動断点下用 CSS 隐藏掉的模块,比如侧栏推荐、參數表、补充說明。如果這些内容桌面版有、移動版没有,蜘蛛按移動版建索引时就可能讀不到。核心信息不要只放在會被隐藏的容器里。

獨立移動站:两套模板要對齐

m 域名最容易出現的毛病,是把两版当成两個站来运营:移動版 canonical 指向自己、robots meta 與桌面版不一致、正文被砍掉一半、内鏈全指向 m 站内部頁面。核對时把两版的 canonical、robots、内鏈各列一列,逐項對齐;移動版正文至少要跟桌面版等價,而不是“精简版”。

同一 URL 按 UA 返回不同 HTML

這種做法本身不是問题,前提是两版内容實质等價,只是排版不同。如果移動版少了關键段落、少了内鏈,或干脆返回一個引導下载 App 的中間頁,蜘蛛按移動版建索引,索引质量自然受影响。另外要確認這层按 UA 区分的响應没有被 CDN 或缓存错誤地合並成同一份,導致普通訪客也拿到另一版。

一份核對清單

  • 確認站点的主抓取版本,並以此為准检查内容;
  • 两版的 title、H1、主正文、结构化資料保持一致;
  • 两版 canonical 都指向同一個規范地址,不要互指;
  • 两版 robots meta 一致,避免只有一侧被 noindex;
  • 移動版保留通向詳情頁的内鏈,不要只留首頁和分類;
  • sitemap 里放規范地址,不要移動版桌面版各放一份;
  • 改完等一轮重新抓取後,再回看索引里的版本是否同步。
收錄核對先對齐版本:先弄清蜘蛛讀的是哪一版 HTML,再讨论内容、标题和收錄狀態。版本没對齐,後面的判断很容易跑偏。