标簽：抓取甄別

日誌里的两類訪客：真實搜尋蜘蛛與模拟抓取怎么区分

日誌里顶着搜尋引擎 UA 的訪問，未必真来自搜尋引擎。本文從 IP 正反向解析、請求行為、静態资源获取、robots 遵守度几個角度给出可落地的甄別流程，並說明分清之後站点在限速、抓取预算和报告口径上该怎么調整。