蜘蛛池跑起来以後，日誌里最不缺的就是請求。UA 一栏寫着 Googlebot、Bingbot、Baiduspider 的條目可能占了大半，但如果直接把這些当成搜尋引擎蜘蛛，後面做的判断基本都是偏的。分辨真蜘蛛本身不复杂，难点在于愿不愿意多花两步。
為什么不能只看 UA
UA 是客戶端自己填的字段，改起来没有任何门槛。一個采集脚本、一個监控工具，甚至一次随手測試，都能把 UA 寫成 Googlebot。所以 UA 只能当作线索，不能当作结论。它的價值在于把請求先分成两類：可能是蜘蛛的，和明顯不是的。
真正的判断要往後走：這個 IP 属于谁，反向解析指向哪里，請求行為像不像一個爬虫。三层都對得上，才值得当成真蜘蛛来對待。
三個层次依次看
第一层：UA 字符串本身
先看格式，而不是看有没有“bot”這個词。主流搜尋引擎的 UA 有相對固定的寫法，版本号、平台描述、括号里的兼容信息都有迹可循。常见的問题有：大小寫混乱、版本号明顯過时或跳得离谱、把几個搜尋引擎的名字拼在一起、括号不閉合。這些不一定就是假的，但需要更嚴格的後續驗證。
第二层：IP 归属與反向解析
搜尋引擎官方一般會公布蜘蛛的 IP 段，或者提供驗證方式。比較稳妥的做法是两步：
- 反向解析這個 IP，得到一個主机名。
- 再對這個主机名做一次正向解析，看结果是否回到同一個 IP。
两步都通過，基本可以排除大部分伪装請求。只做反向解析容易被伪造的 PTR 记錄骗過。如果 IP 落在已知的云主机、代理池或家用宽带段，哪怕 UA 寫得很像，也要先打問号。
第三层：請求行為
行為是最难伪装的一层。可以關注几個点：
- 請求节奏：真蜘蛛通常有相對稳定的間隔，不會一秒几十個請求，也不會長時間反复訪問同一個 URL。
- 路径分布：從入口頁出發沿連結逐层展開，對 robots.txt 和 sitemap 往往有單獨請求。
- 资源抓取：部分搜尋引擎會抓取 CSS、JS 甚至图片，伪装脚本通常只要 HTML。
- 請求头组合：Accept、Accept-Language、Accept-Encoding 等字段的组合方式，脚本往往比較單調。
單個特征都可能有例外，但几項同时異常，就值得当成伪装流量處理。
几個常见誤区
- 只要 UA 含 bot 就放行：這等于把日誌的可信度交给對方，真正需要放行的只有驗證過的来源。
- 只看 IP 段不看清反向解析：伪造 PTR 记錄成本很低，正向反向都要查。
- 發現異常就立刻全站封禁：誤封真蜘蛛的代價，通常比多留几天可疑請求要大。先记錄、打标簽，观察一段時間再决定。
- 把伪装流量和蜘蛛池效果混在一起谈：日誌里請求變多不等于蜘蛛来得多，两類資料分開統計，结论才站得住。
落到日常操作上
- 在日誌里單獨记錄 UA、IP、反向解析结果和請求時間，形成可回溯的資料。
- 對高频来源做分层标记：已驗證蜘蛛、疑似蜘蛛、可疑脚本、普通訪客。
- 只對已驗證的蜘蛛統計抓取量、抓取深度和入口頁覆盖情况，其他来源單獨归档。
- 定期复查驗證規則，搜尋引擎的 IP 段和 UA 格式會變。
驗證的目的不是把可疑請求全部清掉，而是让日誌里關于蜘蛛的那部分資料可信。資料可信了，後面調整入口頁、連結结构或者资源接入才有依據。
最後提醒一句：分辨真蜘蛛只是起点。知道有多少真蜘蛛来過、走到了哪里，才谈得上判断一個蜘蛛池的入口頁是否被正常發現和抓取。