做蜘蛛池入口頁时，很多人的注意力都在連結數量、更新频率和抓取日誌上，却容易漏掉一件事：現在的搜尋蜘蛛抓取入口頁时，用的往往是移動端 UA。如果入口頁只在桌面版里放了目标連結，移動版是一套被精简過的頁面，那蜘蛛看到的可能就是一個没有任何外鏈的空壳。
為什么移動端 UA 值得單獨確認
主流搜尋引擎的移動優先索引已经執行多年。简單说，同一個 URL，搜尋引擎更倾向于用移動端 UA 去抓取和评估内容。對蜘蛛池入口頁来说，這意味着决定目标 URL 能不能被發現的，往往是移動版 HTML 里有没有這些連結，而不是你在桌面浏览器里看到了什么。
入口頁本身没什么真實訪問量，所以這個問题在人工检查时几乎不會暴露——你用电脑打開一切正常，但蜘蛛拿到的頁面可能完全不是一回事。
三種常见做法，風險不一样
1. 响應式同一套頁面（最省事）
桌面和移動共用同一份 HTML 和同一個 URL，連結在两種设备下都完整存在。不需要額外维護，也不存在某個版本漏了連結的問题。對以連結引導為目的的入口頁来说，這是最稳妥的選擇。
2. 獨立移動站或單獨的移動版頁面
如果你的入口頁本身有 m 子域或單獨的移動模板，需要確認移動版里目标連結是否完整。常见的問题是：移動版為了轻量把侧栏、頁脚、相關推荐都砍掉了，而連結恰好都放在這些位置。
- 移動版和桌面版的連結清單保持一致
- 移動版能正常返回 200，不要出現 403 或者跳回首頁
- 桌面版與移動版之間用 rel=alternate 和 rel=canonical 正确互指，別互相矛盾
3. 靠 UA 判断，给不同设备返回不同内容
這種做法風險最高。如果服務端识別到蜘蛛 UA 就返回一份带連結的頁面，普通移動用戶拿到的是另一份，這在搜尋引擎的規則里属于需要谨慎對待的行為，容易被当作隐藏内容處理。即使没有主观恶意，出了問题也很难解释清楚。
如果确實需要跳轉，用 301 跳到對應的移動版本，比用 JS 判断 UA 再跳轉要清晰得多。
用移動 UA 自测的排查清單
- 用手机 UA 請求入口頁，把返回的 HTML 存下来，數一數目标連結的數量，再和桌面 UA 的结果對比
- 確認移動版没有被 CDN 或 WAF 拦成 403、503
- 確認連結是寫在 HTML 源碼里，而不是靠 JS 二次渲染或点击菜單才加载
- 翻抓取日誌，看移動 UA 抓完入口頁之後，有没有出現對目标 URL 的請求
- 如果两步之間隔了很久，先排除入口頁本身响應慢或超时的問题
几個容易被忽略的细节
- 折叠菜單里的連結：只要在 HTML 源碼中存在，通常仍能被解析到；但如果内容是点击後才由 JS 加载的，就要打上問号
- 简版或 AMP 頁面：確認里面的連結没有被模板逻辑吃掉
- 移動版只放一個跳轉按钮：等于把入口頁變成纯跳轉頁，原本靠它做連結發現的作用基本就没了
给移動端單獨做一套頁面並不是必须的。多數情况下，把入口頁做成响應式、保證两種 UA 拿到的連結一致，就已经解决了問题。真正要避免的，是桌面版有連結、移動版没連結這種無声的漏抓。
抓取和索引最终由搜尋引擎决定，我們能做的是把人為設定的障碍清掉。移動端這一环，花十分钟用手机 UA 抓一次頁面，往往比反复調整連結數量更有用。