做 URL 發現和蜘蛛池投放时，日誌里出現大量带搜尋引擎 UA 的訪問，很容易让人以為投放生效了。但這些訪問里，有相当一部分並不来自真正的搜尋蜘蛛，而是采集器、掃描器、监控探针，甚至同類工具的伪装請求。身份核驗這一步做不做，直接决定你對投放效果是看懂了還是看错了。
為什么假蜘蛛會让判断失真
投放之後最常见的错誤结论是：蜘蛛来了很多，說明通路没問题。如果這些訪問本身是伪造 UA，那它既不能證明搜尋蜘蛛能到達你的頁面，也不能說明 URL 被發現了。更麻烦的是，假流量會挤占日誌、干扰統計，让你誤判某個域名、某條通路的效果，進而做出错誤的加量或停投决定。
第一层核驗：UA 字符串只是线索
UA 是最容易被伪造的一层，任何脚本都能寫上一模一样的字符串，所以它只能作為初筛條件，不能当作结论。常见的搜尋蜘蛛 UA 有相對固定的格式，但格式對不代表身份對。可以先看三点：
- UA 是否完整、是否符合官方公布的书寫格式；
- UA 與請求行為是否匹配，比如是否讀取 robots.txt、频率是否克制；
- 同一個 IP 是否在短時間内频繁切換不同 UA。
第二层核驗：IP 與反向解析交叉判断
比 UA 更可靠的是来源 IP。主流搜尋引擎都會公布蜘蛛使用的 IP 段，可以通過官方渠道获取並定期更新。核驗时可以按下面的顺序做：
- 取日誌中的来源 IP 做 DNS 反向解析，看域名是否落在官方的蜘蛛域名之下；
- 把解析出来的域名再做一次正向解析，確認是否回到同一個 IP，防止有人伪造 PTR 记錄；
- 把该 IP 與官方公布的地址段對照，做到双重確認；
- 對通過核驗的来源做留档，观察它是否長期稳定出現。
這套流程不需要很高的技術成本，寫個脚本配一份 IP 段清單就能批量處理。
第三层核驗：行為特征
即使 UA 和 IP 都對得上，也建议看一眼行為。真實的搜尋蜘蛛通常有一些共性：會請求 robots.txt、會控制抓取频率、抓取路径與站点结构相關，而不是把某一個 URL 反复砸。反過来，如果在极短時間内對同一路径高频請求、交替請求大量不存在的路径，或者只盯着後台入口和接口，基本可以判断它不是正常的搜尋蜘蛛。
身份核驗的目的是把日誌讀准，而不是追求一個蜘蛛數量的好看數字。數量本身說明不了發現效果。
常见的几類誤判
- 把监控探针当成蜘蛛：站点监控、CDN 健康检查也會带類似 UA，而且频率往往更高。
- 只看 UA 就下结论：這是最普遍的一類，也是誤判的主要来源。
- 把一次訪問当成稳定通路：單次出現不等于搜尋蜘蛛能稳定到達，需要连續观察几天。
- 不做记錄：核驗结果不留档，下一次還得從零開始。
核驗之後怎么用
建议把核驗结果落到一張简單的表里：日期、来源 IP、UA、是否通過反向解析、命中的 URL、返回狀態碼。坚持记錄一段時間之後，你能大致看出哪些域名、哪些通路是真正有搜尋蜘蛛稳定訪問的，哪些只是噪音。這比凭感觉判断投放是否有效要可靠得多。
另外要提醒一点：核驗通過只說明這次訪問来自真實的搜尋蜘蛛，並不代表 URL 會被收錄。發現和收錄是两件事，核驗解决的是日誌能不能信的問题，收錄與否仍取决于站点自身质量、内容與结构。把核驗做扎實，是為了让後面每一次調整都有依據，而不是為了给投放效果贴一個更好看的标簽。