不少人在看蜘蛛池日誌时會遇到一種情况：同一個入口頁，桌面蜘蛛来過，移動蜘蛛也来過，但两邊的抓取结果不一样，有的甚至只有一方能顺着連結繼續往下走。問题往往不在蜘蛛池本身，而在入口頁對设备與 UA 的處理方式。
同一張頁面，為什么會出現两個版本
差异主要来自两處：一是頁面内容按设备做了区分輸出；二是頁面加载後由脚本再补出連結。前者是服務端返回不同的 HTML，後者是返回同一份 HTML，但連結要等脚本执行完才出現。對蜘蛛来说，後者的風險更隐蔽，因為日誌里會顯示抓取成功，實际能拿到的連結却可能為零。
常见的三種设备處理方式
- 响應式：同一套 URL、同一份 HTML，靠 CSS 适配。對蜘蛛最友好，連結在源碼里就能看到。
- 動態服務：同一 URL，服務端按 UA 或屏幕信息返回不同 HTML。省事但容易出错，一旦判断逻辑有偏差，蜘蛛可能拿到空白頁或降級版本。
- 獨立移動域名：如 m 開头或另用域名。需要額外的互指與跳轉關系，鏈路一長，蜘蛛跟丢的概率就上去了。
蜘蛛池入口頁最容易踩的几個坑
- 連結全部由 JS 渲染，且没有服務端兜底。蜘蛛拿到的是空壳，日誌好看，URL 發現為零。
- 按 UA 把疑似移動爬虫的請求挡在门外，返回 403 或空頁，蜘蛛几次之後就會降低来訪。
- 移動端頁面只保留導航與广告位，把正文連結放進需要交互才展開的折叠区。
- 桌面與移動两版内容差异過大，一邊有連結一邊没有，等于把一半抓取机會浪費掉。
- m 站跳轉鏈路過長，中途丢參數，或者最终落到登入頁、驗證頁。
用日誌把两個版本對照起来
比較務實的做法是：在訪問日誌里按 UA 分组，把同一入口頁的抓取记錄拉出来，對比三件事——返回碼是否一致、返回体积是否接近、後續是否有点击其它連結的记錄。如果移動蜘蛛的记錄明顯偏少，或返回体积只有桌面版的三分之一，基本可以判断是适配层出了問题，而不是入口頁本身不行。
也可以手動用不同 UA 請求同一 URL，直接看返回的 HTML 里連結是否齐全。這一步比翻統計資料更直接，也更快定位。
给入口頁的几点建议
- 連結尽量放在服務端輸出的 HTML 里，脚本渲染只做增强，不做唯一来源。
- 移動端不要單獨砍掉連結区，折叠可以，但源碼里要保留。
- UA 判断只用于体驗上的微調，不要用来决定是否輸出連結。
- 同一入口頁的桌面版與移動版，連結集合尽量保持一致。
- 改動适配方式後，先观察一轮抓取日誌，再决定是否扩量。
入口頁對蜘蛛的核心價值是能被讀到、能被跟下去。设备适配做得再精细，只要連結没進 HTML，對 URL 發現就没什么帮助。