蜘蛛池的日常运营里，日誌中出現大量带 “Baiduspider”“Googlebot” 字样的請求，是最容易被誤讀的信号。User-Agent 只是請求头里的一個字符串，任何人都能随手寫上。如果把所有带蜘蛛 UA 的记錄都当成搜尋蜘蛛来訪，那么抓取量的統計、入口頁有效性的判断、下一步放量决策，都會建立在失真的資料上。
為什么不能只看 User-Agent
原因很直接：UA 没有任何校驗机制。常见的污染来源包括：各類采集器與镜像站抓取、竞品或第三方工具的探测訪問、安全掃描器、以及一些打着“SEO 檢測”旗号的探针。這些請求改一個 UA 成本几乎為零，日誌里看起来和真蜘蛛一模一样。
更麻烦的是，如果誤把這些請求当成有效抓取，你會得到一個“入口頁被抓得很勤”的假象，從而誤判某批资源可用，繼續加大投放。等到目标頁實际没有任何變化时，再回头排查成本已经很高。
三種可落地的驗證手段
一、反向解析與正向复核
主流搜尋引擎對自家蜘蛛的身份驗證思路大体一致：先對来源 IP 做反向 DNS 解析，看得到的主机名是否落在搜尋引擎自己的域名下；再用這個主机名做一次正向解析，確認能解析回同一個 IP。两步都對上，可信度才比較高。只做反向解析、不做正向复核，容易被伪造的 PTR 记錄骗過去。
二、IP 段與归属核對
把来源 IP 和搜尋引擎官方公布的網段列表比對，或者退一步看 ASN 归属。如果某個 IP 的归属與搜尋引擎完全無關，却声称是官方蜘蛛，基本可以判定為伪装。這個办法的好處是可以批量跑，适合在蜘蛛池這種請求量較大的场景里做日常過滤。
三、請求行為特征（辅助判断）
行為特征不能單獨作為结论，但可以作為交叉驗證的补充：
- 是否遵守 robots 規則，對入口頁和目标頁的處理是否符合预期；
- 抓取节奏是否稳定，還是短時間内把同一批 URL 反复請求；
- 是否只抓 HTML 不請求頁面内的资源，呈現出明顯的“扒頁”特征；
- 請求路径是否集中在少數几個模板化入口頁上，且 URL 命名規律高度一致。
行為特征只能用来降低或提高怀疑度，不能替代 IP 层面的核對。把行為特征当成唯一依據，誤判率會明顯上升。
蜘蛛池场景下的具体做法
蜘蛛池的入口頁數量大、来源 IP 杂，驗證工作不适合一次性做完就放着。更稳妥的方式是把流程固定下来：
- 日誌先按 UA 做一次分流，把声称是蜘蛛的請求單獨抽出来；
- 對抽出来的来源 IP 批量做反向解析，记錄 PTR 结果；
- 對 PTR 命中搜尋引擎域名的 IP，再做正向解析复核；
- 核對 IP 段或 ASN 归属，标记出對不上号的记錄；
- 對存疑 IP 先标记、先观察，不要立刻拉黑，也不要計入有效抓取；
- 定期重跑一遍，尤其是發現入口頁 IP 或服務器有變動之後。
抽样驗證比全量驗證更現實。每天固定抽一部分時間段的日誌做核對，把结果和上一轮的名單做差分，重点關注新出現的 IP 和消失的 IP，這样既能控制工作量，也能及时發現異常。
几個常见的誤判
- 把 CDN 回源 IP 当成蜘蛛。如果入口頁挂了 CDN，日誌里看到的可能是回源地址，需要结合回源配置一起看。
- 反向解析失敗就判定為假。DNS 抖動或解析超时會造成誤伤，建议连續观察几次再下结论。
- 驗證過一次就長期沿用。搜尋引擎的出口 IP 會調整，舊的名單需要定期更新。
- 把带蜘蛛 UA 的訪問直接計入抓取量。這是最影响判断的一條，未经核對的记錄只能算“疑似”。
建议
把真伪驗證当成蜘蛛池运营的固定前置环节，而不是出問题後的补救動作。日誌里区分“已核實”“疑似”“非蜘蛛”三類，後續评估入口頁是否被正常訪問、要不要調整投放規模时，都以“已核實”這一档為准。這样得到的資料未必好看，但更接近實际情况，也更适合用来做决策。