标簽：真伪蜘蛛识別

日誌里的真假蜘蛛：怎么判断来訪的是搜尋引擎還是蜘蛛池

抓取日誌里 UA 寫着 Googlebot 的訪問未必来自搜尋引擎。本文讲几個可落地的核驗方法——反向 DNS、IP 段、抓取行為特征，並說明蜘蛛池能制造訪問记錄，却替代不了 Sitemap 和内鏈带来的真實 URL 發現。