标簽：爬虫校驗

日誌里自称搜尋蜘蛛的 UA 未必可信，一套基础校驗方法

訪問日誌里出現搜尋引擎 UA，並不代表一定就是真的搜尋蜘蛛。本文介绍反向 DNS 回查、官方 IP 段比對、行為特征观察三步校驗方法，帮助区分真蜘蛛與伪装爬虫，避免因誤判而错估蜘蛛池入口頁的抓取效果，也避免誤封真實抓取。