标签：UA伪装

蜘蛛池里来的不一定是蜘蛛：怎么分辨真爬虫和伪装请求

入口页日志里自称 Baiduspider 的请求，很多并不是搜索蜘蛛。本文讲清常见的几类伪装流量，给出反向 DNS、IP 归属、行为特征等判断依据，并说明在 CDN、WAF 与入口页这一层该怎么标记、限速，避免误伤真蜘蛛。