标簽：IP 驗證

蜘蛛池日誌里的真假蜘蛛：UA 能伪造，抓取量也會注水

日誌里带 bot 字样的請求未必是搜尋引擎蜘蛛，UA 是可以随手伪造的。本文讲如何用反向解析、IP 段比對和訪問行為三重驗證来识別真假蜘蛛，以及日誌分层清洗的思路，避免抓取量注水影响對入口頁效果的判断。