标签：IP 验证

蜘蛛池日志里的真假蜘蛛：UA 能伪造，抓取量也会注水

日志里带 bot 字样的请求未必是搜索引擎蜘蛛，UA 是可以随手伪造的。本文讲如何用反向解析、IP 段比对和访问行为三重验证来识别真假蜘蛛，以及日志分层清洗的思路，避免抓取量注水影响对入口页效果的判断。