标簽：蜘蛛UA驗證

日誌里的蜘蛛 UA 也可能是假的：怎么驗證真實搜尋蜘蛛

服務器日誌里出現一堆自称 Googlebot、Bingbot 的請求，並不代表它們都是真的，UA 只是一段可以随手改寫的字符串。這篇文章讲清楚怎么用反向 DNS、官方 IP 段和抽样比對把真假蜘蛛分開，以及驗證之後分別该怎么處理，避免誤封真蜘蛛或放過伪装流量。