入口頁上线之後，日誌里會涌入大量带着各種 UA 的請求。有人看到 Baiduspider 就預設是百度蜘蛛，看到 Googlebot 就以為谷歌来抓了。實际上 UA 字符串可以随便寫，任何脚本都能把自己标成蜘蛛。分不清真假的直接後果是：要么把伪装爬虫当成搜尋引擎一路放行，被大量無效請求吃掉带宽；要么把真蜘蛛当成恶意流量拦掉，入口頁長期不被發現。
為什么值得花時間区分請求来源
對蜘蛛池来说，入口頁的價值在于让搜尋引擎發現 URL。判断谁在抓取，會直接影响几件事：日誌里的抓取資料是否可信、限速與防火墙規則要不要對某個 IP 放開、服務器资源是否被非目标流量占用。如果日誌里大部分所谓的蜘蛛請求都是假的，那么基于這些資料做出的扩容、調整和判断都會走偏。
三類常见的“蜘蛛”
搜尋引擎真蜘蛛
真蜘蛛通常有公開的 IP 段和反向解析規則。以 Google 為例，官方會公布爬虫 IP 段，並支持反向 DNS 驗證：先把 IP 反解成域名，再對该域名做正向解析，確認能回到同一個 IP。百度、必應等也提供類似的驗證方式或 IP 段列表。真蜘蛛的抓取行為相對有規律：請求間隔稳定、會請求 robots.txt、對同一站点的抓取深度和频率一般不會突然失控。
伪装成蜘蛛的采集器
這類請求的 UA 字符串和真蜘蛛一模一样，但 IP 對不上。常见特征包括：来源 IP 集中在少數几個机房段、不分昼夜地抓、只盯着特定類型的頁面、不請求 robots.txt、Header 字段缺項或顺序異常、並發數明顯高于正常爬虫。有些采集器還會轮換 UA，同一個 IP 一會儿自称 Baiduspider，一會儿又變成 Googlebot。
普通爬虫與监控工具
可用性监控、連結检查、SEO 审計工具也會抓頁面。它們通常带有自己的 UA，或者干脆不带 UA。這類請求量小、周期性明顯，一般不需要特別處理，但在統計抓取量时應当排除，否則會高估蜘蛛的活跃度。
驗證身份的几種實用做法
- 反向 DNS 驗證：IP 反解到域名，再正解回 IP，两邊對得上才認。這是通用性最好的一種方法。
- 核對官方 IP 段：主流搜尋引擎會公布 IP 段列表，定期更新到白名單里。注意列表會變，別配一次就不再管。
- 看行為而不是只看字符串：抓取频率、路径分布、robots.txt 請求、並發數這些指标组合起来判断，比單看 UA 靠谱得多。
- 记錄完整字段：日誌里至少保留 IP、UA、Referer、請求路径、响應碼和時間。缺了 IP 和 Referer，後面基本没法回溯驗證。
容易踩的几個誤判
第一，把 CDN 或代理节点的 IP 当成蜘蛛 IP。经過 CDN 回源的請求，日誌里看到的可能是节点地址，這时候應该看轉發头而不是直接看连接 IP。第二，只做 UA 字符串匹配，完全不做 IP 驗證，等于给伪装者開门。第三，IPv6 被漏掉——不少驗證脚本只寫了 IPv4 規則，蜘蛛從 IPv6 進来就被拦了。第四，限速阈值设得太粗，把真蜘蛛和采集器塞進同一個規則里，结果要么誤伤要么形同虚设。
處理策略建议
- 確認身份的真蜘蛛：放行，不要人為限速，尤其是入口頁刚上线、還在被發現的阶段。
- 驗證失敗的“蜘蛛”：按普通訪問者處理，可以限速、可以要求驗證，但不建议直接封禁整個 IP 段，以免誤伤同机房的正常用戶。
- 特征明顯的采集流量：根據請求频率和路径分布單獨设規則，必要时返回 403，同时保留日誌以便复盘。
- 监控與审計工具：在白名單里标注清楚，統計抓取量时單獨归類。
UA 只是一張名片，不能当身份證。判断一個請求是不是搜尋引擎蜘蛛，靠的是 IP 驗證加行為分析，而不是字符串匹配。
最後一点提醒：识別規則需要定期复查。搜尋引擎的 IP 段會調整，采集脚本的伪装方式也在變，几個月前准确的規則放到今天未必還成立。把驗證逻辑寫進日常巡检清單，比一次性配好就不再過問要稳妥得多。