不少站点在移動端和 PC 端各用一套 URL，平时看着没什么問题，等到核對收錄时才發現：同一個頁面在索引里挂着两個地址；或者 PC 版進去了、移動版迟迟不出現，也可能反過来。這類情况大多不是爬虫在“挑刺”，而是站点自己给出的信号前後不一致。
先分清三種常见的双 URL 形態
同样叫“两套 URL”，實現方式不同，後面要處理的地方也不同。
- 獨立域名或子域：例如 m.example.com 與 www.example.com，两套頁面基本對應，靠跳轉或适配标记關联。
- 同域名不同路径或參數：例如 /m/ 前缀，或者 ?mobile=1 這類參數，地址變了但模板共用。
- 响應式一套 URL：只有一套地址，靠样式适配屏幕，本身不存在归属選擇的問题。
只有前两種才需要讨论归属，第三種主要是確認渲染是否完整，不在本文范围内。
归属混乱时常见的几類現象
- 同一篇内容在索引里出現两個结果，标题或摘要略有差异。
- 只在手机上訪問過的地址被收錄，PC 版反而没有出現。
- 移動版被当作重复内容，代表頁被替換成移動版地址。
- 站点地图里提交的是 PC 版，但抓取记錄中大部分是移動版。
這些現象算不上“故障”，而是站点同时给了两套等價的信号，索引只能挑一個作為代表。單纯抱怨收錄慢，通常解决不了問题。
理清归属的核對顺序
- 先定主版本口径。内部先明确是以 PC 版為主、移動版為辅，還是反過来。定下来之後，所有信号都要跟這個口径對齐。
- 看跳轉關系。如果两套地址都能獨立訪問，從辅版本到主版本是否存在稳定、可被跟随的跳轉，用的是服務端跳轉還是前端脚本跳轉。
- 看 canonical。辅版本頁面的 canonical 是否指向主版本，主版本是否指向自己。两邊各指一個目标，等于自我矛盾。
- 看站点地图。sitemap 里放的是主版本，還是两套都放。两套都提交，往往會让“哪套是主”更模糊。
- 看内鏈。站内連結指向哪一套。如果主版本頁面里的連結大量指向辅版本，主版本的入口信号會被稀释。
- 最後看抓取與收錄记錄。確認爬虫抓的是哪一套、索引里的代表頁是哪一套，再把结论和前面几條對照，找出對不上的地方。
几個容易被忽略的细节
- 參數式移動地址如果被外部連結传播，會比主版本更像一個獨立頁面。
- 移動版為了速度裁掉了大段正文，两套内容差异過大，容易按两個頁面處理。
- 跳轉鏈條太長，例如移動版先跳中間頁再跳主版本，抓取和判断都多了一层不确定。
- 改版时只調了跳轉，canonical 和 sitemap 没同步，遗留信号會持續一段時間。
归属問题说到底就是：你要让搜尋引擎把哪個地址当成這個頁面的代表。站点给出的信号越一致，這個過程越省事。
調整之後怎么观察
改完不要马上要结果。跳轉、canonical、sitemap 的調整需要等重新抓取之後才可能体現，观察周期通常按周来算。核對时把三件事分開看：爬虫是否開始抓主版本、主版本是否進入索引、索引代表頁是否切過来。三者节奏不一致是正常現象，混在一起看很容易誤判。
如果調整後一两周里抓取记錄仍以辅版本為主，先回头查内鏈和外部連結，而不是繼續追加提交動作。信号来源没變，重复提交只是在做無用功。