标簽：User-Agent驗證

蜘蛛池入口頁日誌里的蜘蛛，怎么判断是不是真的搜尋蜘蛛

日誌里带 spider 字样的 UA 可以随意伪造，只凭它判断抓取来源很容易出错。本文给出一套顺序化方法：先做反向 DNS 解析並正向核對，再比對官方蜘蛛 IP 段，接着看路径分布、抓取频率和回訪情况，最後確認日誌里记錄的客戶端 IP 是否真實。目的是分清官方抓取與伪装流量，既不誤封真蜘蛛，也不把掃描器当成抓取效果。