做站点运营或蜘蛛池投放，服務器日誌是重要的反馈来源。但不少人在看日誌时只掃一眼 User-Agent，看到 Baiduspider、Googlebot、bingbot 就認為搜尋蜘蛛来了。實际上 UA 只是一段請求头字符串，客戶端可以随意伪造，單看它很容易誤判。
為什么 UA 不能作為唯一判断依據
User-Agent 由請求方自己填寫，采集脚本、监控工具、浏览器插件乃至普通的 Python 爬虫，都能把自己伪装成任意搜尋引擎的蜘蛛。日誌里出現“Baiduspider”這几個字，並不代表它来自搜尋引擎官方。
誤判會带来两個直接後果：一是把普通抓取当成蜘蛛抓取，據此判断蜘蛛池投放效果，结论自然不准；二是把伪造蜘蛛放進白名單，给服務器带来額外压力，還可能在真正被攻击时没有察觉。
核對真伪的三個层面
1. 反向 DNS 解析
主流搜尋引擎的蜘蛛通常會配置反向 DNS。做法是對日誌中的来源 IP 做 PTR 查询，看得到的主机名是否属于對應搜尋引擎的域名，例如 Googlebot 常见 *.googlebot.com 或 *.google.com。查到主机名後，再對主机名做一次正向解析，確認能解析回同一個 IP，這一步能挡掉大部分简單伪造。
2. IP 段與官方公布清單
Google 提供 googlebot.json，Bing 也提供 bingbot.json，里面包含官方 IP 段，可以定期拉取，與日誌里的 IP 做比對。百度没有提供同样形式的公開 JSON，一般做法是结合反向解析结果和已知網段综合判断。要注意搜尋引擎的 IP 段會變化，把名單寫死在代碼里迟早會過期。
3. 注意 CDN、反向代理和负载均衡
站点挂了 CDN 或 Nginx 反代时，源站日誌里的 IP 可能是 CDN 回源 IP，而不是蜘蛛的真實 IP。這时要看 X-Forwarded-For、X-Real-IP 等請求头，或者直接使用 CDN 提供的日誌。如果這部分配置没做對，拿到的 IP 根本没有核對價值。
反向解析也可能因為 DNS 查询超时或缓存而失敗，不能一解析不成功就断定是假蜘蛛，還應结合 IP 段和歷史抓取行為一起看。
伪造蜘蛛會带来什么影响
- 带宽和 CPU 被無意义消耗，尤其是抓取频率很高的采集脚本。
- 統計口径失真，蜘蛛池投放的判断建立在错誤資料上。
- 如果 WAF 或限流策略把 UA 当作唯一白名單，被伪造 UA 绕過的概率很高。
- 誤把采集流量当成蜘蛛，可能以為抓取量涨了，其實與搜尋抓取無關。
结合蜘蛛池投放怎么用
投放蜘蛛池的目的，是让目标 URL 更容易被搜尋蜘蛛發現。核對蜘蛛真伪，是判断投放到底有没有起作用的前提。建议在日誌分析时把“UA 是搜尋蜘蛛”和“IP 通過驗證”分開統計，只有两者同时满足，才算一次有效的蜘蛛抓取。
另外，入口頁或中轉頁往往先被其他蜘蛛、掃描器、社交平台的预览服務抓取，這些訪問對 URL 發現帮助有限，不要和搜尋蜘蛛的抓取混進同一個指标。可以按来源分组，分別看目标 URL 的抓取次數、返回狀態碼和後續收錄變化，避免用一個總數掩盖差异。
日常核對建议
- 日誌至少保留完整的 UA、IP、請求路径、狀態碼和响應時間。
- 先按 UA 粗筛，再用反向解析或 IP 段复核，形成两层資料。
- 把驗證通過的蜘蛛 IP 段维護成可更新的清單，而不是寫死在配置里。
- CDN 或反代场景先確認日誌拿到的是真實客戶端 IP。
- 對高频、路径杂乱的“蜘蛛”，先按可疑流量處理，不要直接放行。
UA 只是一個名字，IP 和反向解析更接近身份。日誌里的蜘蛛先驗證再統計，蜘蛛池效果的判断才站得住脚。