蜘蛛池入口页大多是先按桌面端搭好,再顺手加一个移动端样式。但搜索引擎的抓取现在大量使用移动 UA,百度、Google 都在推移动优先。如果移动端返回的内容和桌面端差别太大,蜘蛛从入口页拿到的信息可能和你预期的完全不同。
一、蜘蛛为什么会用移动 UA 访问
移动优先索引的意思是:搜索引擎主要以移动版页面作为收录和排序的依据。抓取端会模拟手机去请求页面,尤其是新页面和更新频繁的页面。对蜘蛛池入口页来说,移动 UA 的请求比例往往不低于桌面 UA,有些站点甚至更高。
这带来一个直接问题:入口页的移动版如果是个空壳,蜘蛛看到的就是空壳。
二、几种常见的移动端处理方式
- 响应式:同一个 URL,同一份 HTML,靠 CSS 适配屏幕。蜘蛛无论用什么 UA,拿到的正文和链接基本一致,最省事。
- 独立 M 站:比如 m.example.com 这样的域名,通过适配规则或跳转关联。蜘蛛需要先到桌面版再发现 M 站,链路更长。
- 同一 URL 按 UA 返回不同 HTML:技术上可行,但维护成本高,两边内容容易不同步。
- JS 判断后跳转:前端检测到手机就跳到 M 站。这种做法对蜘蛛最不友好,因为跳转发生在渲染阶段之后。
三、入口页容易踩的坑
- 用 JS 跳转到移动站。蜘蛛第一次拿到桌面 HTML,如果渲染能力有限或者跳转被拦截,它就不会去到移动版,入口页的正文和链接等于没被发现。
- 移动端内容被砍得太多。为了加载速度,移动版只留标题和一句话,正文、导航、相关链接全砍掉。蜘蛛从移动 UA 进来,只能看到一具骨架。
- UA 判断把蜘蛛当成普通手机用户。有的站点检测到移动 UA 就返回简化页,结果搜索引擎拿到的比真实用户还少。
- 移动端把链接藏起来。折叠菜单、需要点击展开的导航、懒加载的列表,如果没做好,蜘蛛在移动版里走不到下一层。
- canonical 指向不一致。桌面版 canonical 指向 M 站,M 站又指回桌面版,或者两边各写各的,蜘蛛只能二选一。
四、入口页可以怎么处理
优先选响应式方案,同一套 URL、同一份内容,移动端只做布局调整。这样入口页的正文、导航、内链在两种 UA 下都能被拿到。
如果确实需要独立 M 站,尽量用 301 或 302 服务器端跳转,而不是 JS 或 meta refresh。移动版要有和桌面版大致对等的正文与链接,canonical 统一指向桌面版 URL,并在站长平台提交适配关系。
对于按 UA 返回不同内容的做法,要保证移动版不是缩水版。至少让正文、标题、主要链接和桌面版保持一致,差异集中在布局和图片尺寸上。
五、自查清单
- 用手机 UA 请求入口页,看返回的 HTML 里有没有正文,还是只有一段 JS。
- 关掉 JS 再请求一次,看核心内容是否还在。
- 检查移动版的链接数量,和桌面版比是不是少了一大截。
- 确认 canonical、hreflang、适配标签没有互相打架。
- 用搜索引擎的移动友好测试或渲染工具,看蜘蛛实际拿到了什么。
移动端适配解决的是“蜘蛛能不能拿到内容”,拿到之后是否继续抓、是否有效果,还取决于内容质量、更新节奏和目标站本身的基础。适配是必要条件,不是结果保证。
入口页的移动端不需要多花哨,关键是让移动蜘蛛看到和桌面端差不多的东西:正文在、链接在、跳转干净。把这几件事做稳,比再堆一批新入口页更有用。