搜索抓取

移动版与桌面版路径不一致时:蜘蛛会按哪一版走

移动优先抓取下,蜘蛛主要读的是移动版 HTML,桌面版上齐全的内链未必生效。本文说明两版路径不一致会带来哪些断点,如何用不同 UA 对比链接集合,以及把导航、分页、懒加载入口对齐的具体做法,让蜘蛛从首页到详情页的路径保持通畅。

搜索抓取

移动版与桌面版路径不一致时:蜘蛛会按哪一版走

不少站点同时存在桌面版和移动版两套 HTML:桌面版导航齐全、侧栏推荐一堆,移动版为了首屏速度砍掉了大半入口。搜索引擎以移动优先的方式抓取后,蜘蛛看到的主要是移动版页面,桌面版上那些“看得见”的链接,蜘蛛可能一次都没走过。

蜘蛛抓取时用的是哪一版页面

移动优先索引的基本逻辑是:搜索引擎主要用智能手机 UA 抓取页面,并以这次抓到的 HTML 作为判断依据。也就是说,你精心维护的桌面版内链结构,如果移动版没有同步,对抓取路径就不起作用。

  • 同一 URL 按设备返回不同 HTML 的站点:蜘蛛取的是移动端结果,需要确认服务端确实按 UA 输出了对应版本。
  • 独立域名的 m 站:蜘蛛从桌面 URL 出发后,能不能顺着跳转拿到移动版 URL,是关键的一步。
  • 只有一套响应式模板的站点:路径通常一致,但仍要检查窄屏下被隐藏或延迟加载的链接。

移动版最容易断掉的几类入口

  1. 被折叠收起的导航。汉堡菜单里的链接如果只是用 CSS 隐藏,链接仍在 HTML 中,问题不大;如果内容靠点击后由 JS 插入 DOM,就要看渲染阶段能否补上。
  2. 无限滚动。首屏之后的内容通过滚动触发请求,蜘蛛不一定“滚”那么远,列表深处的详情页可能一直没被链接到。
  3. 懒加载的选项卡与折叠面板。默认未展开的内容如果不在初始 HTML 里,其中的链接就抓不到。
  4. 移动版页脚被精简。桌面版页脚往往是全站链接的集散地,删掉之后,深层页面的入口直接少一批。

怎么确认两条路径是否一致

最直接的办法是取同一批 URL,分别用桌面 UA 和移动 UA 抓一次,对比解析出的链接集合。

  • 既看数量差异,也看差异分布:是首页少了几条,还是详情页模板整体少了一层相关推荐。
  • 用日志按 UA 归类,观察移动 UA 的请求是否覆盖到各主要目录,还是只在首页和列表页打转。
  • 把两次抓取结果画成路径图,重点标出只出现在桌面版路径里的 URL。
路径不一致不等于一定出问题,但如果“只有桌面版能到达”的恰好是重要内容页,它被发现的概率就明显变小。

把两版路径对齐的做法

  • 能不拆就不拆:响应式一套模板配一份链接结构,比维护两套导航省事,也少一类不一致。
  • 如果已有 m 站,保证每条桌面版链接在移动版都有对应的可点击 a 标签,而不是靠 JS 事件绑定。
  • 页面间跳转不要来回切换:桌面 URL 跳到移动版后,移动版不要再把蜘蛛弹回桌面版,容易绕圈。
  • 移动版不要屏蔽蜘蛛,也不要在 robots.txt 里只放行桌面版;同时避免移动版与桌面版的标题、主内容差异过大。
  • 无限滚动补一个分页入口,让列表深处的页面有一条静态可达的路径。

改版或日常维护时顺手检查

移动端模板调整、导航重构、前端框架升级之后,抓取路径最容易悄悄变短。上线后挑几个典型目录,用移动 UA 抓一遍,确认从首页到详情页的链路仍然走得通,比等收录数据出现波动再回头排查要省力得多。