标簽：抓取来源核驗

抓取来源核驗：只靠 User-Agent 認不出真假蜘蛛

日誌里出現大量带蜘蛛 User-Agent 的請求，並不代表這些都来自搜尋引擎。本文讲几種交叉核驗来源的做法：反向 DNS 正向確認、官方 IP 段比對、請求行為與日誌交叉判断，以及誤封真蜘蛛會带来什么後果，並给出可以直接落地的检查清單。