标签：User-Agent验证

蜘蛛池入口页日志里的蜘蛛，怎么判断是不是真的搜索蜘蛛

日志里带 spider 字样的 UA 可以随意伪造，只凭它判断抓取来源很容易出错。本文给出一套顺序化方法：先做反向 DNS 解析并正向核对，再比对官方蜘蛛 IP 段，接着看路径分布、抓取频率和回访情况，最后确认日志里记录的客户端 IP 是否真实。目的是分清官方抓取与伪装流量，既不误封真蜘蛛，也不把扫描器当成抓取效果。