跑蜘蛛池的人大多會看入口頁的訪問日誌。日誌里天天有 Googlebot、Bingbot、Baiduspider 的记錄，但這不代表這些訪問都来自真正的搜尋引擎爬虫——UA 只是請求头里的一行纯文本，任何人用命令行工具加一個參數就能寫上。分不清真假，後面的抓取量統計、入口頁調優都會建立在错誤的資料上。
假蜘蛛一般從哪来
入口頁日誌里出現冒充搜尋引擎的訪問，常见来源有几類：
- 通用采集與掃描工具：批量遍歷全網，會轮換使用常见蜘蛛 UA，目的通常是抓内容或探测漏洞；
- 第三方监控或竞品分析：想看你的入口頁结构、連結布局和更新节奏，用假 UA 規避拦截；
- 自己人的測試請求：用抓取工具模拟訪問，忘了在日誌里区分，结果混進了正式統計。
真蜘蛛和假蜘蛛的差別，通常不在 UA 字符串本身，而在来源 IP 和訪問行為上。
三種可落地的驗證方法
一、反向 DNS 正反查
Google 和 Bing 都在帮助文档里說明過這種驗證方式。做法是：對訪問来源 IP 做一次反向解析，得到主机名之後，再對這個主机名做一次正向解析，看解析结果是否回到同一個 IP。Googlebot 的主机名通常以 googlebot.com 或 googleusercontent.com 结尾，Bingbot 則與 search.msn.com 相關。只有正反两次解析都吻合，才能算通過驗證。
二、比對官方公布的 IP 段
主流搜尋引擎都會公布自己的爬虫 IP 段，一般以 JSON 或纯文本列表的形式提供。百度、Google、Bing 都能在各自的搜尋帮助文档或搜尋资源平台里找到對應入口。拿到列表後，把它導入日誌分析流程，逐個判断来源 IP 是否落在段内。注意這類列表會更新，建议定期重新拉取，而不是一次性寫死進配置文件。
三、看行為特征，作為辅助判断
- 真蜘蛛很少在几秒内把入口頁的所有連結全部点一遍，节奏通常相對平缓；
- 真蜘蛛會按規則讀取並遵守 robots.txt，請求路径也集中在可抓取的内容上；
- 假蜘蛛经常顺手去請求 /wp-login.php、/.env、/admin、/xmlrpc.php 這類與内容抓取無關的路径；
- 真蜘蛛的訪問間隔和抓取深度有規律，假蜘蛛的請求序列往往集中在短時間内的批量請求上。
行為特征只能作為參考，不能單獨下结论。它的價值在于：当 IP 驗證因為列表延迟、CDN 轉發等原因無法立刻判定时，提供一個判断方向。
驗證完之後要做什么
- 日誌分列：把来源 IP、UA、驗證结果、請求路径整理到同一張表里，真蜘蛛和疑似伪造的訪問分開統計；
- 重新核對抓取量：把假蜘蛛剔除後，再去看入口頁每天被真實蜘蛛訪問了多少次、目标 URL 被跟進的比例如何，之前偏高的資料往往會在這一步回落；
- 處理伪造訪問：在 Nginx、防火墙或 WAF 层面，對未通過驗證却自称蜘蛛的 IP 做限速或拒绝，避免它們繼續消耗入口頁的带宽和连接數；
- 保留放行名單：把通過正反查驗證的 IP 段加入白名單，避免誤伤正常抓取。
不要只凭 UA 就放行，也不要图省事把整段 IP 范围永久拉黑。搜尋引擎的 IP 段會調整，定期重新获取列表、並保留一份驗證记錄，比一次性寫死規則稳妥得多。
几個容易踩的坑
- 把 CDN 或反向代理的回源 IP 当成蜘蛛 IP：入口頁前面挂了 CDN 时，日誌里记錄的可能是节点地址，需要看 X-Forwarded-For 或真實 IP 头；
- 只看反向 DNS 不看正向解析：伪造者可以给自己的 IP 配一個看起来像样的 PTR 记錄，两步都做才有效；
- 驗證结果只留一份：驗證逻辑最好脚本化，每天固定跑一次，比人工抽查可靠；
- 把驗證当成抓取量下降的解释：如果真蜘蛛數量本身就少，驗證只能让資料更准确，並不能让蜘蛛變多。
判断真伪是入口頁运营的基础工作。資料干净了，再去讨论入口頁連結怎么摆、更新频率怎么定，才不會在错誤的前提上反复調整。