移動優先抓取已经不算新话题,但很多站点在改版、加广告位、上活動頁之後,手机版和桌面版的内容會慢慢拉開差距:桌面版有完整正文和一组内鏈,手机版只剩标题加一句摘要;桌面版有栏目導航,手机版把入口收進折叠菜單里。這類差异不會立刻报错,却會實實在在影响蜘蛛看到的那個頁面。
為什么手机版的差异會被放大
多數搜尋引擎在设計抓取策略时,以移動端頁面為主要參考。也就是说,蜘蛛模拟手机訪問时拿到的 HTML,很大程度上决定了它對這個 URL 的理解:正文是什么、有多少可跟進的連結、有没有结构性内容。
問题在于,不少站点的手机版和桌面版並不是同一份 HTML,而是两套模板。桌面版模板更新了,手机版可能還是上一版;运营在桌面版加了三行相關推荐,手机版因為位置不够被隐藏。差异就是這样一点点积累起来的。
几類常见的移動端不一致
正文被折叠或截断
有的模板在手机端只展示前两段,剩下内容要点「展開」才出現,而展開動作依赖脚本交互,蜘蛛不一定触發。视觉上訪客能看到,抓取上却只有一小段。
連結入口被隐藏
用隐藏属性處理掉的導航、篩選入口、分頁按钮,在手机端可能是另一套開關。隐藏連結通常不會被当作正常入口,新頁面可能因此失去發現路径。
资源加载被省略
為了省流量,手机版有时不加载某些模块,比如表格、對比图、參數列表。這些内容恰恰是頁面的信息主体,缺失之後手机版和桌面版说的不是同一件事。
结构化資料只留一份
有的站点只在桌面版輸出结构化标记,手机版模板里没有。两邊信息不一致时,容易让搜尋引擎收到互相矛盾的信号。
判断标准其實很简單:把同一個 URL 的移動版和桌面版 HTML 各存一份,去掉模板部分,比較正文文字量、可点击連結數和主要区块數量。差异過大就值得處理。
自查清單
- 分別儲存两份 HTML。用真實手机 UA 和桌面 UA 各請求一次,儲存源碼,不要只看渲染後的截图。
- 比對正文文字量。粗略統計可见文本長度,差异明顯时逐一核對缺失的段落。
- 比對連結數量。統計 a 标簽數量與指向的路径,找出只在其中一邊出現的連結。
- 检查折叠與懒加载。確認「展開更多」「点击加载」之後的内容是否真的會進入 HTML,還是只在点開後由脚本注入。
- 確認返回狀態一致。两邊是否都返回 200,是否都指向同一個規范地址。
- 检查跳轉關系。移動版與桌面版之間如果有自動跳轉,確認方向不會形成循环,也不會把蜘蛛卡在中間頁。
處理时的几個原則
- 優先让两邊輸出同一份内容主体,模板差异留在样式层,而不是内容层。
- 确實需要精简时,精简装饰和次要模块,不要動正文和主要入口。
- 折叠可以保留,但被折叠的内容最好已经存在于 HTML 中,只是預設不展開。
- 改完之後隔一段時間再看抓取日誌里移動 UA 的訪問记錄,確認抓到的内容量與桌面版接近。
放在日常里做
移動端一致性属于那種平时不出声、出問题时又很难定位的事情。與其等收錄量下滑再回头排查,不如在做栏目改版、加广告位、換模板的时候顺手比較两份 HTML,把差异控制在样式范围内。對站点运营来说,這類小動作花不了多少時間,却能省掉後面很多解释不清的麻烦。