抓取时看到的是移動版,不是“手机上也能打開”就算過關
現在主流搜尋引擎普遍采用移動優先的方式评估頁面:爬虫主要用智能手机 UA 抓取,索引里儲存下来、用于判断頁面主题和质量的版本,通常就是移動版返回的那份 HTML。這意味着如果你的移動版只是把桌面版内容砍掉一半、剩下的靠折叠或懒加载补上,爬虫看到的可能是一個信息量很低的頁面。收錄與否還受連結、站点整体质量、内容獨特性等多種因素影响,但“爬虫實际看到什么”這一环,确實由移動版的實現方式决定。
三種常见做法,注意点各不相同
- 响應式:同一套 HTML、同一個 URL,靠 CSS 适配。風險最小,但要確認没有用 CSS 把整段主体内容隐藏掉。
- 動態服務:同一個 URL 按 UA 返回不同 HTML。要保證两版正文基本一致,別對爬虫 UA 返回空壳頁或“請下载 App”的提示。
- 獨立移動站(m. 域名或另一套 URL):两套 URL 之間用 alternate 和 canonical 互相指明對應關系,並且两邊内容一致、連結可互相到達。
容易被忽略的几類差异
- 正文被折叠進“展開全文”,而那段内容其實是 JS 之後才插入的。
- 移動版图片用懒加载,src 是占位图,真實地址躺在 data-src 里。
- 移動版把表格、參數列表整段删掉,只留一句结论。
- 面包屑、相關阅讀等内鏈模块在移動版被省略,頁面之間的關联變少。
- 结构化資料只在桌面版輸出,移動版没有。
- 移動版自己寫了 noindex,或關键资源被 robots.txt 屏蔽。
自查步骤
- 用常见移動爬虫 UA(或開發者工具的移動模拟)訪問一個代表頁面,查看返回的 HTML 源碼,而不是渲染後的视觉效果。
- 把這份源碼里的正文和桌面版逐段對比,看關键段落、資料、連結是否都在。
- 检查移動版是否有正确的 viewport 声明,字号和按钮是否可用。
- 如果是獨立移動站,检查 alternate 與 canonical 是否两版互指且自洽。
- 在搜尋控制台里看抓取时使用的爬虫類型,確認頁面确實是被移動 UA 抓取的。
判断标准很简單:假设你只能看到移動版源碼,還能不能准确说出這個頁面在讲什么、和哪些頁面相關。如果说不出来,抓取這一环就已经吃亏了。
還要提醒一句:手机端体驗差,通常先影响用戶点進来之後的行為,再間接影响收錄與排序。真正要改的是让两版承载同样的信息,而不是去猜搜尋引擎“更喜欢”哪一版。