很多人在看蜘蛛池入口页日志时，只凭 User-Agent 里出现 Baiduspider 或 Googlebot 就认定搜索蜘蛛来过，然后据此判断入口页是否生效。这个判断很容易出错——UA 是一段客户端可以随意填写的字符串，伪装成本极低。
为什么必须区分真假蜘蛛
入口页的价值在于被真实的搜索蜘蛛抓取，从而把目标 URL 带入发现队列。如果日志里的“蜘蛛”其实来自采集器、扫描器或压测脚本，那么你看到的抓取量、抓取间隔、URL 覆盖情况都是失真的，后续对入口页结构和更新节奏的调整也会建立在错误前提上。
核对的三个线索
UA 只是起点
UA 可以帮你筛出候选记录，但不能作为结论。真实搜索蜘蛛的 UA 相对固定，而伪装者常出现大小写混乱、版本号离谱、附加奇怪后缀等情况。
IP 与反向解析
主流搜索引擎都会公布自己的爬虫 IP 段。把日志里的访问 IP 与官方列表对照，再做一次反向 DNS 解析，并确认解析结果能正向指回该域名，可信度会高很多。只做正向解析是不够的，因为反向解析记录同样可以被伪造。
行为特征
- 是否稳定请求 robots.txt
- 抓取间隔是否呈现一定的节流规律，而不是瞬间并发打满
- 请求头字段是否完整、顺序是否合理
- 是否只抓 HTML 而不加载静态资源，或者反过来无差别抓取所有资源
一套可落地的核对流程
- 从日志中筛出所有声称是搜索蜘蛛的记录，按 IP 聚合。
- 把聚合后的 IP 与搜索引擎官方公布的 IP 段比对，先淘汰明显不在范围内的。
- 对剩余 IP 做反向解析，再用正向解析验证结果是否一致。
- 抽样看请求行为：请求路径分布、时间间隔、请求头完整度。
- 把确认过的 IP 建立白名单，作为后续分析的基线。
几个容易误判的地方
- 把 CDN 回源 IP 当成蜘蛛 IP：日志记录的是回源地址时，真实来源会被掩盖，需要在 CDN 侧开启真实 IP 透传。
- 把健康检查、监控探针当成蜘蛛：这类请求通常只访问固定路径，频率极其规律。
- 把站内自己发起的请求算进去：预渲染、缓存预热、内网巡检都可能留下痕迹。
日志里的抓取量不等于有效发现量。先确认来源，再谈优化，否则很容易在错误的数据上做调整。
把核对变成日常动作
建议在入口页上线初期就完整核对一轮，之后按周抽样复查。重点是看趋势：真实搜索蜘蛛的抓取频次是否稳定、抓取到的目标 URL 数量是否在增长、有没有出现一批新 IP 突然大量抓取。如果发现伪装流量长期占据大部分访问量，可以结合频率限制和行为规则做过滤，但不要一刀切地封禁整个 IP 段，以免误伤真实抓取。
最后提醒一点：确认了真实蜘蛛的抓取，只说明发现链路是通的，并不代表目标 URL 一定会被收录。收录还取决于内容质量、站点整体状况等很多因素，日志核对只是把“到底有没有被看到”这个基础问题说清楚。