很多站点在桌面端看没有問题,但用手机打開时會換一套模板、隐藏一部分模块,甚至跳轉到獨立移動域名。問题在于,搜尋蜘蛛現在更常以移動端身份訪問頁面。如果两端内容差异太大,蜘蛛拿到的版本可能不是你想让它看到的那一版。
為什么蜘蛛看到的移動端可能不一样
移動優先索引的意思並不是單獨给移動端做一套索引,而是说蜘蛛主要用智能手机的 UA 去抓取頁面,並把這個结果作為理解和排序的基础。對于响應式站点,這通常問题不大;但如果站点做了獨立移動站,或者用前端脚本在移動端隐藏大量内容,就容易出現两端不一致。
常见表現是:桌面端有完整正文和栏目導航,移動端只留下标题和摘要;桌面端加载了结构化資料,移動端模板没有輸出;桌面端内鏈丰富,移動端為了省流量把相關推荐、面包屑和分頁全部砍掉。蜘蛛不會自動脑补缺失内容。
常见差异点自查
正文内容是否被裁剪
有些移動模板會把長文折叠成“展開全文”,或者只輸出前几段。如果折叠部分仍然在 HTML 里,只是视觉隐藏,通常不影响;如果服務端只返回摘要,蜘蛛拿到的就是阉割版。需要確認移動端返回的 HTML 中是否包含完整正文。
導航與内鏈是否被隐藏
移動端為了简化交互,常把栏目入口收進汉堡菜單。只要連結仍在 HTML 中,蜘蛛可以顺着抓。但如果菜單用 JavaScript 動態生成,並且没有可抓取的 a 标簽,或者重要内鏈只在桌面端出現,就會影响 URL 發現。可以检查移動端頁面里是否保留了主要栏目、面包屑和分頁連結。
元信息與结构化資料是否缺失
标题、描述、canonical、hreflang、文章结构化資料等,在不同模板中容易漏掉。尤其是獨立移動站,如果移動端 canonical 指向自己,而没有正确指向桌面版或正确互指,可能让同一内容出現两個地址。需要逐項對比两端 head 区域的關键标簽。
图片、视频與懒加载
移動端常用占位图和懒加载。如果真實资源地址只寫在脚本變量里,蜘蛛可能看不到图片和视频内容。可以检查移動端 HTML 是否包含 img 的 src 或 srcset,视频是否有可用的 poster 或来源連結。
屏蔽規則是否誤伤
有些站点為了禁止移動端某些目錄被訪問,會在 robots.txt 里單獨屏蔽 m 站路径,或者用 meta robots 限制移動端頁面。需要確認這些規則没有挡住正文、列表或资源文件。
對比两端内容的几個方法
- 用移動端 UA 抓取几個代表性 URL,儲存返回的 HTML。
- 再用桌面端 UA 抓取同样 URL,對比正文長度、連結數量、head 标簽。
- 检查移動端是否發生跳轉,跳轉後的地址是否可索引、内容是否等價。
- 如果使用獨立移動站,確認两端有正确的 alternate 和 canonical 互指。
- 用日誌观察移動端蜘蛛抓取後,實际訪問了哪些 URL,是否有大量重定向或 404。
處理建议
- 優先采用响應式设計,让两端共用一套内容,减少维護分叉。
- 如果必须保留獨立移動站,至少保證正文、主要内鏈、元信息與桌面端等價。
- 不要把重要内容僅放在桌面端模板中,也不要用移動端专属規則屏蔽正文。
- 對依赖 JavaScript 渲染的内容,確認服務端或预渲染能輸出可抓取的 HTML。
- 改版或換模板後,重新跑一遍移動端與桌面端對比,避免新模板悄悄丢掉字段。
移動端不只是给手机訪客看的界面,也是蜘蛛理解頁面的主要入口。两端内容越接近,站点运营中因模板差异带来的抓取偏差就越少。