蜘
蜘蛛池日誌里的真假蜘蛛：UA 可以伪造，怎么確認来訪的是搜尋引擎
日誌里的 User-Agent 是一行可以被随手改寫的字符串，只按它統計蜘蛛来訪量，數字往往會虚高。本文從 IP 归属校驗、反向解析與正向解析、抓取行為特征三個角度，讲怎么把真蜘蛛和伪装爬虫分開，並给出把驗證做進日誌處理流程的實用建议。
阅讀全文 →蜘
蜘蛛池日誌里的假蜘蛛：UA 可以伪装，行為骗不過去
訪問日誌里带 Googlebot、Bingbot 等 UA 的請求，不一定来自搜尋引擎。本文說明伪装蜘蛛的常见来源、如何用反向解析、行為特征與請求路径交叉驗證，以及誤判给蜘蛛池統計和资源带来的干扰，並给出可落地的区分與處理建议。
阅讀全文 →蜘
蜘蛛池訪問日誌的時間口径：时区、日誌切割與統計誤差
很多站長查看蜘蛛抓取量时發現不同工具數字對不上，第一反應是蜘蛛池失效。其實常见原因是日誌時間口径不一致：服務器时区、日誌切割点和統計窗口都會影响结果。本文說明如何把訪問日誌的時間對齐，减少誤判。
阅讀全文 →