服務器日誌每天都在增長，其中不少請求會自称是 Googlebot、Bingbot 或百度蜘蛛。但 User-Agent 字符串是可以随手改寫的，僅凭一行 UA 就判断“搜尋引擎来過”，很容易得出错誤结论。對站点运营来说，先分清真假爬虫，再决定要不要調整抓取策略、要不要限流，顺序才不會颠倒。
為什么身份核對值得單獨做一遍
把伪装請求当成真實搜尋蜘蛛，通常會带来两類問题：一是誤判抓取量，以為新頁面已经被發現，其實只是某個脚本在掃站；二是為了“照顾”這些請求而放宽限制，让真正需要防范的采集行為混了進来。反過来，如果因為一次異常訪問就把整個 IP 段封掉，也可能誤伤真實蜘蛛，让正常抓取中断。
三個可以交叉驗證的核對手段
- 反向 DNS 解析：對来源 IP 做一次反向解析，看域名是否落在搜尋引擎公布的官方域内，再用正向解析回查一次，確認两個结果能對上。只做單向解析，容易被伪造的 PTR 记錄骗過。
- 官方 IP 段比對：主流搜尋引擎都會公開自己的爬虫 IP 列表，把日誌里的 IP 與列表核對是最直接的一步。列表會更新，建议定期重新拉取。
- 行為特征观察：真實蜘蛛通常按一定节奏抓取，會請求 robots.txt，會跟随頁面里的連結和静態资源；伪装請求常常表現為短時間内集中掃某個目錄、只抓 HTML 不拿图片样式，或者對同一路径反复請求。
日誌里值得重点看的字段
- IP 與 UA 是否匹配：同一個 IP 频繁更換 UA，或者 UA 寫着某搜尋引擎但 IP 段完全對不上，都值得标记。
- 請求路径分布：真實蜘蛛會沿站内連結逐步扩展，伪装請求更倾向于遍歷式掃描，路径規律性很强。
- 响應碼與频率：大量 404、403 集中出現，或者每秒請求數明顯高于正常抓取节奏，通常不是搜尋蜘蛛的行為。
- 是否讀取 robots.txt：這是最容易观察的一個信号，不少采集脚本會直接跳過這一步。
核對之後怎么處理
確認真實蜘蛛的 IP，可以放進白名單，避免被限流規則誤伤；確認是伪装請求的，按普通訪客對待即可，必要时在服務器或 WAF 层面做频率限制、封禁高频 IP，而不是在 robots.txt 里寫規則——robots.txt 只對守規矩的爬虫有效。
如果發現某類請求量突然上涨，先看它抓的是哪些頁面。若集中在内頁、搜尋结果頁或參數组合頁，說明站内可能有大量低價值 URL 被暴露出来，這时更该處理的是頁面本身的可抓取范围，而不是简單封 IP。
抓取量和收錄没有必然關系。用非正常手段制造訪問量，並不會让頁面内容變得更有價值，反而可能带来不必要的風險。
把核對流程固定成周期動作
- 每月導出一次日誌样本，按 IP 聚合請求數，取前 20 名做身份核對。
- 把核對结果记錄下来，标注哪些是已驗證的真實蜘蛛 IP。
- 對比上個月的名單，看新增了哪些来源、有没有異常的集中掃描。
- 根據结果調整限流規則和服務器配置，而不是一次設定後長期不管。
這件事做起来不复杂，却能让後面很多判断更靠谱：抓取是否正常、要不要調整栏目、服務器压力来自哪里，都需要先知道訪問者到底是谁。