标簽：UA特征

蜘蛛池入口頁的抓取来源识別：怎么判断来的是真蜘蛛還是伪蜘蛛

入口頁日誌里寫着 Googlebot、Baiduspider 的請求，未必是真蜘蛛。本文從 UA 特征、IP 正反解析、官方 IP 段比對和請求行為四個角度，讲清怎么筛掉伪蜘蛛，以及 CDN 回源、预渲染服務等容易被誤判的情况，並给出一套可落地的日誌分层做法。