标签：真伪蜘蛛识别

日志里的真假蜘蛛：怎么判断来访的是搜索引擎还是蜘蛛池

抓取日志里 UA 写着 Googlebot 的访问未必来自搜索引擎。本文讲几个可落地的核验方法——反向 DNS、IP 段、抓取行为特征，并说明蜘蛛池能制造访问记录，却替代不了 Sitemap 和内链带来的真实 URL 发现。