标签：UA特征

蜘蛛池入口页的抓取来源识别：怎么判断来的是真蜘蛛还是伪蜘蛛

入口页日志里写着 Googlebot、Baiduspider 的请求，未必是真蜘蛛。本文从 UA 特征、IP 正反解析、官方 IP 段比对和请求行为四个角度，讲清怎么筛掉伪蜘蛛，以及 CDN 回源、预渲染服务等容易被误判的情况，并给出一套可落地的日志分层做法。