标签：Baiduspider

蜘蛛池日志里的蜘蛛身份识别：UA、IP 反查与行为特征怎么对上

蜘蛛池运营中，日志里的 User-Agent 可以任意伪造，单看 UA 判断身份并不可靠。本文梳理百度、Google、Bing 等常见蜘蛛的 UA 标识与 DNS 反查思路，并给出从抓取频率、资源请求、是否遵守 robots 等行为特征区分真假蜘蛛的方法，最后说明如何把身份分组统计用回入口站的排查。