按 UA 或 IP 返回不同页面，属于什么问题
蜘蛛池入口页常见的一种做法是：对普通浏览器的 UA 返回带链接的导航页，对疑似搜索引擎的 UA 返回另一套内容；或者反过来，只对搜索引擎返回链接，对真实访客展示空模板。同一条 URL、不同访问者看到不同内容，行业里一般称为 cloaking（内容伪装）。它不一定马上出问题，但属于需要谨慎对待的操作。
搜索蜘蛛是怎么看到页面的
- 抓取时会带上自己的 UA 字符串，但这个字符串任何人都可以伪造。
- 主流搜索引擎还会做 IP 反向解析、IP 段校验等交叉验证，只看 UA 判断身份并不牢靠。
- 抓取结果通常以搜索引擎自己拿到的那一版为准进入索引，而不是访客看到的那一版。
- 不同产品的验证方式并不完全公开，规则也可能调整，所以“现在没被发现”不等于长期安全。
入口页分流最容易踩的三个坑
1. 蜘蛛拿到的是空壳
如果分流规则写错，爬虫 UA 命中了没有链接的模板，入口页相当于白做：页面能被抓，但里面的目标 URL 一个都发现不了，URL 发现的链路直接断掉。
2. 蜘蛛拿到一堆链接，访客看不到
反过来，如果链接只对爬虫可见、真人访问看不到，这种差异一旦被识别，可能被判定为刻意操纵抓取，进而影响整站或相关域名的信任度，处理起来比重新做个入口页麻烦得多。
3. 分流规则不稳定，抓取结果来回变
爬虫 UA 会更新、IP 段会变化、CDN 与源站的判断逻辑也可能不一致。同一条 URL 今天返回 A 版、明天返回 B 版，搜索引擎需要反复重抓才能确认内容，抓取预算被浪费，入口页的稳定性也会变差。
哪些“差异化”和伪装不是一回事
- 响应式布局与设备适配：内容主体一致，只是排版方式不同。
- A/B 测试：短期、可控，且通常不会专门针对爬虫做单独分支。
- 按地区或语言重定向：稳定地跳到对应语言版本，各版本都能被独立抓取。
- 按 UA 给爬虫单独一份链接列表：这是最容易被判定为伪装的形式，建议避免。
怎么自查有没有踩线
- 用常见搜索引擎的 UA 和普通浏览器 UA 各抓一次同一个入口页，直接对比返回的 HTML 差异。
- 查服务器日志，核对来访 IP 与 UA 是否匹配，顺便筛掉假蜘蛛。
- 用站长平台提供的网址检查或抓取测试工具，看搜索引擎实际拿到的 HTML 是什么。
- 确认 CDN、WAF 或反向代理没有在中间层改写响应内容或状态码。
如果两套内容差异很大，比较稳妥的思路是先假设“搜索引擎看到的那一版才是真实的你”，在这个基础上设计入口页，而不是为爬虫单独定制一份。
更稳妥的处理方式
把目标链接放在服务端就能渲染出来的 HTML 里，对所有访问者保持一致；确实需要按地域或语言分发时，用稳定的 301 跳到对应版本，并保证每个版本都能被正常抓取；不要用爬虫 UA 作为开关来判断“该给谁看什么”。入口页的价值在于让 URL 被稳定发现，而不是和爬虫玩捉迷藏。
小结
按 UA 或 IP 分流本身不是技术难题，难的是它带来的不确定性：蜘蛛看到的、访客看到的、以及搜索引擎最终索引的，可能不是同一个页面。与其把精力花在识别爬虫上，不如把入口页做成对所有访问者都一致、结构清晰、链接可抓的页面，再配合日志观察抓取情况，逐步调整。