标簽：爬虫IP校驗

蜘蛛池里的假蜘蛛：怎么分辨真爬虫與伪装 UA 的訪問

蜘蛛池日誌里，UA 寫着 Baiduspider 的訪問未必是真爬虫。本文從反向 DNS 校驗、IP 段比對和行為特征三個角度，說明怎样区分真實搜尋引擎抓取與伪装 UA 的脚本，以及誤判真蜘蛛會付出什么代價，並给出一套能落到日常运营里的處理顺序。