做蜘蛛池的人，迟早会盯着服务器日志看上一阵。你会发现，日志里自称 Baiduspider 或 Googlebot 的请求数量，往往远高于搜索资源平台里显示的抓取量。这里面既有真实搜索蜘蛛，也有伪装 User-Agent 的其他程序。分不清这两者，后面的判断基本都会跑偏。

为什么要分清真假

蜘蛛池的核心逻辑是“用入口页把搜索蜘蛛引过来，再把它送到目标页”。如果你把伪装者的访问当成搜索蜘蛛的抓取，就会得出错误结论：以为入口页已经被充分抓取，于是继续加页、加域名，实际上是几个采集脚本在反复刷你的日志。反过来，如果误把真蜘蛛当成假蜘蛛封掉，入口页就真的没人来了。

常见的几类“假蜘蛛”

• 采集与镜像程序：直接复制 UA 字符串，目的是批量拿走你的内容。
• SEO 工具与监控：批量查询状态码、标题、收录情况，频率往往很规律。
• 安全扫描器：顺手探后台、找漏洞，UA 可能随手填一个。
• 代理池或压测流量：同一个 UA 来自大量分散 IP，请求路径毫无规律。

判断依据：不要只看 User-Agent

UA 是最容易伪造的部分，只凭它下结论没有意义。下面几条通常要一起看。

1. 反向 DNS：主流搜索引擎的蜘蛛 IP 大多能解析回官方域名。这是成本最低的一道验证。
2. IP 归属段：官方蜘蛛的 IP 段相对固定，可以定期核对官方公布的列表。来自普通 IDC、云主机或代理段的请求要打个问号。
3. UA 与 IP 是否自洽：UA 写的是 Googlebot，IP 却解析到某个不知名机房，基本可以判定为伪装。
4. 抓取行为：真蜘蛛一般会遵循 robots、按一定节奏抓取、对同一站点的路径有连续性；伪装者常常只抓少数几个页面，或者一次性把全站扫完。
5. 请求频率与时间分布：固定间隔、整点触发、全天不停的，多半是程序而不是蜘蛛。

一个实用原则：先按“可疑但放行”处理，只在确认危害（高频采集、恶意扫描等）时再收缩，而不是一上来就大范围封禁。

在入口页这一层怎么做

入口页通常是静态生成、批量部署的，不适合塞进复杂的风控逻辑。比较现实的做法是：

• 完整记录日志，至少保留 IP、UA、时间、路径、状态码几个字段，方便事后回溯。
• 对已知的官方 IP 段做白名单，确保不会被误伤。
• 对 UA 命中蜘蛛但 IP 不在白名单的请求做标记而不是直接拦截，观察一段时间再决定。
• 如果同一批 IP 在入口页上表现出明显的采集特征，例如高频、只抓正文、忽略 robots，可以在 CDN 或 WAF 层单独设限速规则，不必影响整站。

几个常见误区

• 只按 UA 封 IP：最容易误伤，因为真蜘蛛和伪装者的 UA 长得一模一样。
• 完全不做区分：日志被灌满之后，抓取节奏、有效路径这些数据都失去参考价值。
• 把工具查询当成抓取：第三方监控的请求量有时比蜘蛛还大，用它来估算抓取预算是错的。
• 封了才发现是真蜘蛛：入口页被拦之后，抓取恢复往往需要一段时间，代价比想象中大。

误封之后怎么处理

如果发现真蜘蛛的抓取量突然归零，可以按顺序排查：CDN/WAF 规则是否收紧、服务器是否对特定 IP 段做了拒绝、robots 是否有改动、入口页是否整批不可访问。确认是误封后，先解除限制，再通过 sitemap 或站内链接让蜘蛛重新发现入口页。抓取恢复通常不会是立刻的，需要给一点时间。

小结

入口页的日志是判断蜘蛛池有没有在工作的基础，而这份数据干净与否，取决于你有没有把真假蜘蛛分开。分清之后，抓取节奏、页面分配、目标页效果这些判断才有意义；分不清，再多页面也只是在给别人的采集脚本做内容源。