蜘蛛池的日誌里，抓取次數是最容易被高估的指标。只要有人把 User-Agent 改成 Baiduspider 或 Googlebot，統計工具就會把它算成“蜘蛛来訪”。入口頁越多、域名越杂，混進来的伪蜘蛛比例往往越高。與其事後猜测，不如在入口頁這一层就把真假分開。

先分清：哪些訪問需要校驗

並不是所有訪問都值得逐條核對。真正需要交叉驗證的是那些“看起来像蜘蛛”的請求：命中入口頁、带蜘蛛 UA、訪問路径符合爬取习惯，比如顺着内鏈走、請求 robots.txt。普通用戶訪問、明顯的掃描器（大量 404、異常參數）可以先归到另一類處理。把校驗范围收窄，落地才不費劲。

三個可以交叉的信号

User-Agent 只能算入口條件

UA 是最容易伪造的一层，單獨看几乎没有意义。它的價值在于篩選：把声明自己是蜘蛛的請求挑出来，再進入下一步驗證。反過来，一個不带蜘蛛 UA 却疯狂抓取的請求，也值得單獨盯一下。

IP 归属與官方 IP 段比對

主流搜尋引擎都會公布自己的抓取 IP 段，格式通常是 CIDR 列表，並且會不定期更新。把日誌里的来源 IP 和這份列表做匹配，是成本最低的一道過滤。注意两点：一是要定期更新列表，二是不要凭“像不像那個机房”来判断——云厂商的 IP 段和搜尋引擎自建段是两回事。

反向解析與正向回查

反向解析（rDNS）能给出一個主机名，例如以搜尋引擎域名结尾的名稱。但 rDNS 记錄是 IP 持有者可以自己設定的，所以正确做法是：先做反向解析，拿到主机名後，再對這個主机名做一次正向解析，看解析回来的 IP 是否和原 IP 一致。两次都吻合，可信度才明顯提高。

一條可落地的校驗流程

1. 從入口頁訪問日誌中筛出带蜘蛛 UA 的請求，按 IP 聚合。
2. 用官方公布的 IP 段列表做匹配，命中即标记為高可信。
3. 未命中的做 rDNS 查询，得到主机名後再正向解析回查 IP。
4. 两次解析一致、主机名符合官方命名規則的，标记為可信或待观察。
5. 其余請求归為疑似伪造，單獨統計，不並入抓取量。

這套流程不必實时跑，按天批量處理就够用。入口頁規模不大时，甚至可以先抽样跑一周，看看伪蜘蛛占比大概有多少。

伪蜘蛛常见的几種表現

• UA 字符串拼寫有细微差別，比如多一個版本号或少了斜杠。
• 同一 IP 在极短時間内請求大量入口頁，路径之間没有内鏈逻辑。
• 只抓不解析：不請求 robots.txt，也不加载頁面里的静態资源。
• IP 归属地频繁跳變，同一個“蜘蛛”几分钟内換了好几個地区。
• 請求头残缺，Accept、Accept-Language 等字段明顯是脚本預設值。

校驗结果怎么反哺入口頁策略

把真伪分開之後，几個判断會變得清楚：日誌里的抓取曲线到底是蜘蛛节奏，還是被伪蜘蛛撑起来的；某個入口頁是不是真的被冷落；更新频率調整之後，變化的是真蜘蛛還是混杂流量。這些结论直接影响入口頁的數量、内鏈安排和更新节奏，比盯着總訪問數有用得多。

校驗的意义不是把資料做得好看，而是让每一次調整都建立在真實的抓取行為上。伪蜘蛛占比高的池子，先解决来源质量，再谈扩容。

最後提醒一点：真伪校驗是一個持續動作。搜尋引擎會新增或調整 IP 段，伪蜘蛛的伪装方式也在變。把校驗脚本和 IP 列表的更新当成常規维護的一部分，入口頁的日誌才長期可信。