标签：爬虫IP校验

蜘蛛池里的假蜘蛛：怎么分辨真爬虫与伪装 UA 的访问

蜘蛛池日志里，UA 写着 Baiduspider 的访问未必是真爬虫。本文从反向 DNS 校验、IP 段比对和行为特征三个角度，说明怎样区分真实搜索引擎抓取与伪装 UA 的脚本，以及误判真蜘蛛会付出什么代价，并给出一套能落到日常运营里的处理顺序。