标签：爬虫校验

日志里自称搜索蜘蛛的 UA 未必可信，一套基础校验方法

访问日志里出现搜索引擎 UA，并不代表一定就是真的搜索蜘蛛。本文介绍反向 DNS 回查、官方 IP 段比对、行为特征观察三步校验方法，帮助区分真蜘蛛与伪装爬虫，避免因误判而错估蜘蛛池入口页的抓取效果，也避免误封真实抓取。