做蜘蛛池的人，迟早會盯着服務器日誌看上一阵。你會發現，日誌里自称 Baiduspider 或 Googlebot 的請求數量，往往遠高于搜尋资源平台里顯示的抓取量。這里面既有真實搜尋蜘蛛，也有伪装 User-Agent 的其他程序。分不清這两者，後面的判断基本都會跑偏。

為什么要分清真假

蜘蛛池的核心逻辑是“用入口頁把搜尋蜘蛛引過来，再把它送到目标頁”。如果你把伪装者的訪問当成搜尋蜘蛛的抓取，就會得出错誤结论：以為入口頁已经被充分抓取，于是繼續加頁、加域名，實际上是几個采集脚本在反复刷你的日誌。反過来，如果誤把真蜘蛛当成假蜘蛛封掉，入口頁就真的没人来了。

常见的几類“假蜘蛛”

• 采集與镜像程序：直接複製 UA 字符串，目的是批量拿走你的内容。
• SEO 工具與监控：批量查询狀態碼、标题、收錄情况，频率往往很規律。
• 安全掃描器：顺手探後台、找漏洞，UA 可能随手填一個。
• 代理池或压测流量：同一個 UA 来自大量分散 IP，請求路径毫無規律。

判断依據：不要只看 User-Agent

UA 是最容易伪造的部分，只凭它下结论没有意义。下面几條通常要一起看。

1. 反向 DNS：主流搜尋引擎的蜘蛛 IP 大多能解析回官方域名。這是成本最低的一道驗證。
2. IP 归属段：官方蜘蛛的 IP 段相對固定，可以定期核對官方公布的列表。来自普通 IDC、云主机或代理段的請求要打個問号。
3. UA 與 IP 是否自洽：UA 寫的是 Googlebot，IP 却解析到某個不知名机房，基本可以判定為伪装。
4. 抓取行為：真蜘蛛一般會遵循 robots、按一定节奏抓取、對同一站点的路径有连續性；伪装者常常只抓少數几個頁面，或者一次性把全站掃完。
5. 請求频率與時間分布：固定間隔、整点触發、全天不停的，多半是程序而不是蜘蛛。

一個實用原則：先按“可疑但放行”處理，只在確認危害（高频采集、恶意掃描等）时再收缩，而不是一上来就大范围封禁。

在入口頁這一层怎么做

入口頁通常是静態生成、批量部署的，不适合塞進复杂的風控逻辑。比較現實的做法是：

• 完整记錄日誌，至少保留 IP、UA、時間、路径、狀態碼几個字段，方便事後回溯。
• 對已知的官方 IP 段做白名單，确保不會被誤伤。
• 對 UA 命中蜘蛛但 IP 不在白名單的請求做标记而不是直接拦截，观察一段時間再决定。
• 如果同一批 IP 在入口頁上表現出明顯的采集特征，例如高频、只抓正文、忽略 robots，可以在 CDN 或 WAF 层單獨设限速規則，不必影响整站。

几個常见誤区

• 只按 UA 封 IP：最容易誤伤，因為真蜘蛛和伪装者的 UA 長得一模一样。
• 完全不做区分：日誌被灌满之後，抓取节奏、有效路径這些資料都失去參考價值。
• 把工具查询当成抓取：第三方监控的請求量有时比蜘蛛還大，用它来估算抓取预算是错的。
• 封了才發現是真蜘蛛：入口頁被拦之後，抓取恢复往往需要一段時間，代價比想象中大。

誤封之後怎么處理

如果發現真蜘蛛的抓取量突然归零，可以按顺序排查：CDN/WAF 規則是否收紧、服務器是否對特定 IP 段做了拒绝、robots 是否有改動、入口頁是否整批不可訪問。確認是誤封後，先解除限制，再通過 sitemap 或站内連結让蜘蛛重新發現入口頁。抓取恢复通常不會是立刻的，需要给一点時間。

小结

入口頁的日誌是判断蜘蛛池有没有在工作的基础，而這份資料干净與否，取决于你有没有把真假蜘蛛分開。分清之後，抓取节奏、頁面分配、目标頁效果這些判断才有意义；分不清，再多頁面也只是在给別人的采集脚本做内容源。