入口頁日誌里出現 Baiduspider、Googlebot、bingbot 這類字样，並不代表真的搜尋蜘蛛来了。User-Agent 只是一段請求头文本，采集脚本、漏洞掃描器、压测工具都可以照抄。反過来，如果防護規則寫得太死，真正的搜尋蜘蛛也可能被挡在门外，结果就是入口頁有记錄、目标 URL 迟迟不抓。先分辨真假，再谈處理。
為什么不能只看 User-Agent
UA 字符串没有校驗机制，任何人都能伪造。看到 UA 里带 spider、bot 就放行，或者看到陌生 UA 就一律拦截，都不是可靠做法。真正需要的是把 UA、来源 IP、行為特征结合起来判断。
驗證搜尋蜘蛛真伪的常用方法
反向 DNS 加正向回查
主流搜尋引擎的抓取 IP 一般都有對應的 PTR 记錄。做法是：拿到訪問 IP，先做反向解析拿到主机名，再把這個主机名正向解析回 IP，两次结果對得上才可信。只做反向解析不够，因為 PTR 记錄本身也可以伪造。
- Googlebot：主机名通常以 googlebot.com 或 google.com 结尾
- Bingbot：主机名通常以 search.msn.com 结尾
- 百度蜘蛛：部分 IP 段可以反向解析到 baidu.com 相關域名，但不是所有段都完整
各家的解析規則會調整，實际以官方文档公布的驗證方式為准。
核對官方公布的 IP 段
Google 和 Bing 都提供公開的 IP 段列表，格式多為 JSON 或 XML，可以定期拉取後與日誌比對。百度也公布過蜘蛛 IP 段，适合用来做初筛。這種方式便于批量處理日誌，但不适合實时拦截，因為列表本身會有更新延迟。
看行為特征
真蜘蛛通常有比較稳定的抓取节奏：要么按固定間隔小批量抓，要么在站点更新後集中抓一轮。而伪装者往往一次刷大量 URL、只盯特定路径（後台、接口、配置文件），或者並發高得离谱。某個来源在短時間内反复請求同一批 URL，却從不取任何静態资源，就值得多留個心眼。
看是否請求静態资源
搜尋引擎渲染頁面时，一般會连带請求 CSS、JS、图片等资源。如果某個来源只請求 HTML，從不取任何资源，多半不是真的。不過這只能作為辅助判断，因為部分抓取确實只取 HTML。
真蜘蛛被誤封的常见原因
- CDN 或 WAF 的預設防護規則把高频抓取当成攻击，直接返回 403 或驗證碼
- 服務器层面的並發限制、连接數限制把蜘蛛连接掐断
- 根據 UA 關鍵詞做黑名單，誤伤了正常 UA
- 對境外 IP 统一限流，顺带挡住了部分搜尋引擎节点
- 入口頁本身正常，但目标站防火墙單獨拦了蜘蛛，看起来像抓取卡住
如果是目标站被拦，入口頁日誌會一切正常，目标站的訪問日誌里却看不到對應记錄。這種情况要分別检查入口頁和目标站两邊的防護配置，而不是只盯着一侧。
一套可执行的排查流程
- 從入口頁和目标站日誌里筛出疑似搜尋蜘蛛的請求，记錄 IP、UA、時間和請求路径
- 對可疑 IP 做反向解析和正向回查，確認是否属于搜尋引擎
- 與官方 IP 段列表比對，交叉驗證
- 確認真蜘蛛被拦後，在 WAF、CDN、服務器层面加白名單，或适当放宽频率限制
- 確認為伪装流量後，再按異常請求處理，不要一刀切封掉整段 IP
- 調整後观察几天，看目标 URL 的抓取是否恢复
無论驗證结果如何，都不要把這份工作理解成收錄的保證。它解决的是抓取通道是否通畅的問题，是否被收錄還取决于目标頁本身的内容质量、站点整体状况和搜尋引擎的判断。
最後提醒一点：入口頁和目标站的日誌最好都保留，並且留存足够長的時間。判断抓取卡在哪一环，靠的就是两邊日誌能不能對得上。只看一邊，很容易把問题归错地方。