搜尋抓取

移動端與桌面端两套地址:URL 發現入口怎么收敛

同一内容存在移動端與桌面端两套可訪問地址时,搜尋蜘蛛的發現入口很容易被分散。文章区分獨立移動域名、同域不同路径、响應式三種形態,给出入口、跳轉、声明的核對顺序,並說明如何把發現入口收敛到一套主版本,减少重复發現與抓取分散。

搜尋抓取

移動端與桌面端两套地址:URL 發現入口怎么收敛

不少站点在做移動适配时,會同时保留多套可訪問地址:桌面端走 www 主域,移動端走 m 子域或带前缀的路径。两套地址都能正常打開,但對搜尋蜘蛛来说,發現入口通常只有一條主路径。入口、跳轉和站点地图如果各说各话,同一篇内容就可能被当成多個 URL 反复發現,抓取次數被摊薄,權重也不容易集中到一處。

先分清你属于哪一種形態

  • 獨立移動域名:m.example.com 與 www.example.com 各有模板,正文内容基本一致。
  • 同域不同路径:例如 /m/ 前缀或 ?from=mobile 這類參數,服務端按 UA 或參數輸出不同模板。
  • 响應式單套地址:同一個 URL 靠样式适配屏幕,HTML 只有一份。

第三種從 URL 角度看只有一條路径,發現层面的麻烦最少。真正需要梳理入口的是前两種,尤其是歷史遗留的獨立移動站。

入口不统一,問题出在哪

当站内導航、正文内鏈、站点地图和外部連結分別指向不同版本时,搜尋蜘蛛會沿着多條路径到達同一内容。结果通常是:

  • 同一内容出現多個候選 URL,抓取請求被分散到不同地址上;
  • 回訪間隔被拉長,更新後的版本不一定是最先被重訪的那個;
  • 两套模板如果正文存在细微差异,判断主版本會更慢。

這些問题不會立刻表現為異常,往往是一段時間後,從抓取频次和落地頁分布里慢慢看出来。

核對顺序:入口、跳轉、声明

  1. 看入口:站内導航、面包屑、正文連結預設輸出哪一套地址,移動端訪問时是否會改成另一套。
  2. 看跳轉:桌面 UA 訪問移動地址、移動 UA 訪問桌面地址时,返回的是 301、302 還是原样頁面;跳轉是否形成了鏈。
  3. 看声明:頁面的 canonical、alternate 标注,以及站点地图里收錄的地址,是否和入口指向一致。
  4. 看抓取结果:抽查几组頁面,確認搜尋蜘蛛實际落到的是哪一套模板,正文是否完整可见。

這四步的顺序不要颠倒。先確認入口,再谈声明,否則很容易出現标注寫的是 A、入口還在推 B 的情况,核對會一直對不上。

把入口收敛到一套的三個做法

  • 统一站内輸出:導航、内鏈、分頁一律輸出同一套地址,移動端差异交给样式或跳轉處理。
  • 站点地图只放主版本:非主版本的地址不主動提交,减少多余的發現入口。
  • 跳轉保持一跳:非主版本收到請求时,一次性跳到主版本,避免 A 跳 B、B 又跳 C。

如果站点還在使用獨立的移動域名,逐步把流量和入口切到主域會更省事;過渡期内,至少保證两套模板的标题、正文和结构化資料一致,降低判断成本。

日誌里能看到的线索

服務端日誌里,可以按 UA 和地址前缀分组,看移動版本與桌面版本各自被請求的频率。如果非主版本長期占到不小的比例,說明站内或站外還有入口在往那邊引流。這时不必急着屏蔽,先把入口逐個改掉,再看比例是否下降。日誌只反映已经發生的請求,抓取频次的變化通常有滞後,观察窗口拉長一些更稳妥。

服務器稳定性也會放大入口問题。响應慢或間歇性超时的时候,抓取可能中途中断,被放弃的那條路径對應的一批 URL,回訪就要等下一轮。所以核對入口的同时,顺手看一下响應時間和错誤率,能避免把問题归错方向。

入口收敛不是一次性的調整。新增栏目、改版、換模板时,都要回到同一套地址上,否則舊的候選 URL 會慢慢重新冒出来。