标签：爬虫UA

蜘蛛池入口页的移动版与桌面版：蜘蛛实际抓到的是哪一份

入口页做了移动适配之后，蜘蛛抓到的很可能是与你预期不同的那一版。本文说明响应式、独立移动站与按 UA 动态返回三种交付方式的差异，版本不一致会造成的链接断裂、重定向中断与 canonical 混乱，并给出用不同 UA 自查、按 UA 分开统计日志等实用做法。