标签：抓取来源核验

抓取来源核验：只靠 User-Agent 认不出真假蜘蛛

日志里出现大量带蜘蛛 User-Agent 的请求，并不代表这些都来自搜索引擎。本文讲几种交叉核验来源的做法：反向 DNS 正向确认、官方 IP 段比对、请求行为与日志交叉判断，以及误封真蜘蛛会带来什么后果，并给出可以直接落地的检查清单。