标簽：UA伪装

蜘蛛池里来的不一定是蜘蛛：怎么分辨真爬虫和伪装請求

入口頁日誌里自称 Baiduspider 的請求，很多並不是搜尋蜘蛛。本文讲清常见的几類伪装流量，给出反向 DNS、IP 归属、行為特征等判断依據，並說明在 CDN、WAF 與入口頁這一层该怎么标记、限速，避免誤伤真蜘蛛。