经营蜘蛛池或站点时，日誌里出現 Baiduspider、Googlebot、bingbot 之類的 UA 很常见，但這段字符串谁都能伪造。真正要分清的是：這次訪問来自搜尋引擎的抓取，還是采集器、掃描器或同類的探测。判断错了，要么誤封真蜘蛛，要么把伪造流量当成抓取成绩去复盘，後續調整全走偏。
入口頁為什么是驗證重点
入口頁通常是蜘蛛池里訪問量最大、最靠外的一层，域名公開、連結分散，任何爬虫都能轻易找到。同时入口頁承担着把蜘蛛引向目标頁的作用，一旦被大量伪造請求淹没，服務器的並發和带宽會被占用，真蜘蛛的抓取也可能被拖慢。所以驗證不只是“數個數”，而是為了在限流、放行、日誌統計這几個环节做出正确判断。
三種核對手段
UA 字符串：只能作為初筛
UA 是最容易讀取也最不可靠的一层。它的價值在于快速分類：把日誌按 UA 分桶，看哪些是搜尋引擎标识、哪些是明顯異常的長尾 UA。但僅凭 UA 下结论風險很大，尤其是当某個 UA 的請求量、訪問路径、請求频率明顯不符合该搜尋引擎的常規行為时，更應该怀疑而不是采信。
反向 DNS：確認 IP 归属
對声称是 Googlebot 的 IP 做反向解析（PTR），看域名是否落在搜尋引擎官方域名下，再做一次正向解析確認能回到同一個 IP。這一正一反是基本的校驗閉环。百度、必應等也有各自的驗證方式，具体以官方文档给出的規則為准。需要注意的是，反向解析结果本身也可能不存在或被伪造，所以它更适合用来“排除”，不适合單獨用来“確認”。
官方 IP 段：相對稳的一條线
主流搜尋引擎都會公布自己抓取所用的 IP 段或驗證接口，把這些列表定期同步到本地，用它在入口层做白名單，是相對可靠的做法。IP 段會更新，建议做成定时任務拉取，並且保留上一版作為兜底，避免更新失敗时把真蜘蛛全部挡在外面。
實操中的核對顺序
- 先從日誌里筛出带搜尋引擎 UA 的记錄，按 IP 聚合。
- 對聚合後的 IP 做反向解析，看是否能落到官方域名。
- 再和官方發布的 IP 段做比對，两者一致才当成可信蜘蛛。
- 對通過驗證的 IP，單獨統計其抓取频次、URL 分布和响應碼。
- 對未通過的 IP，不急着封，先观察它訪問了哪些路径、有没有異常高频。
几個常见誤区
- 只看 UA 就放行。采集器改一個 UA 的成本几乎為零。
- 只看 IP 段就封禁。搜尋引擎也會用到新的網段，列表没更新时容易誤伤。
- 把驗證结果当永久结论。IP 归属會變，白名單需要定期重跑。
- 忽略 IPv6。只核對 IPv4 列表，會漏掉一部分抓取来源。
- 驗證完就直接封 IP。伪造流量有时来自共享出口，一封可能牵连正常訪問。
驗證之後怎么用
驗證结果至少要落到三個地方：一是入口层的限流策略，可信蜘蛛不给限流，其余按普通訪問處理；二是日誌統計口径，把可信抓取和伪造抓取分開計數，避免“抓取量涨了”的誤判；三是異常告警，当某個入口頁的可信抓取突然归零，或伪造請求量突然放大，都值得排查。
蜘蛛驗證的目的不是把门關死，而是让放行和拦截都有依據。宁可多一步確認，也不要用一條規則把真蜘蛛和假蜘蛛一起處理掉。
最後补充一点，驗證解决的是“谁来了”，抓取效果好不好還要回到頁面本身。入口頁能不能被顺利發現、响應是否稳定、内容是否值得繼續爬，這些才是蜘蛛愿意多来的基础。