做蜘蛛池的人常看两类数据：一是统计后台里的“蜘蛛访问次数”，二是服务器日志。前者直观但容易失真，后者枯燥却更接近事实。如果只能选一个，建议以日志为准，把它当作判断入口页成败的底本。
日志里真正有用的几列
一份标准的访问日志，能用的字段其实不多，但每一列都有明确用途：
- 时间：判断抓取频次和分布，是后续做关联分析的基础。
- 客户端 IP：比 UA 更值得信任的归并维度。
- UA：辅助识别，但不能单独作为结论。
- 请求 URL：区分入口页和目标页。
- 状态码：200 之外都值得单独看一眼。
- 响应字节：字节为 0 或极小，多半说明内容没正常输出。
- Referer：对本场景帮助有限，原因见下文。
很多人只盯着 UA，看到带 spider 字样就认为成功。但 UA 可以伪造，同一只蜘蛛也可能在不同时段使用不同的 UA 头。更稳的做法是先按 IP 归并，再看这个 IP 在时间轴上的行为是否连贯。
判断入口页是否有效的三个基础指标
一、入口页的独立 IP 访问量
注意是独立 IP，不是请求数。同一个蜘蛛在一次抓取中可能连续请求几十次，把请求数当蜘蛛数量，会把效果放大十倍以上。
二、抓取频次与时间分布
偶尔被抓一次和每天稳定被抓若干次，含义完全不同。前者可能只是偶然路过，后者说明入口页已经被纳入常规抓取范围。
三、目标页是否出现同源请求
这才是蜘蛛池真正关心的部分。入口页被抓只是过程，目标页被触及才是结果。
四种常见误读
- 把请求数当蜘蛛数：数字好看，但结论错误。
- 只看 CDN 边缘日志：边缘命中缓存时不会回源，回源日志会漏掉一部分真实抓取，两者要结合看。
- 忽略非 200 响应：301、302、404、429 都在传递信号，只统计 200 会漏掉问题链路。
- 用统计工具的数字直接下结论：统计脚本本身可能被拦截、可能失准，与日志对不上时以日志为准。
时间窗关联法
搜索引擎蜘蛛在跳转时通常不携带 Referer，所以没法靠 Referer 直接追出“入口页→目标页”的链路。可行的替代办法是时间窗关联：先标出入口页被抓的时间点，再看接下来几分钟到几十分钟内，目标页是否出现了同 IP 或同 IP 段的请求。命中率不必追求百分之百，但如果目标页的抓取频率在入口页被抓之后出现明显抬升，基本可以判断链路是通的。
日志能证明的是“抓取发生过”，不等于“页面被收录”，更不等于“有排名”。把日志当成过程指标，而不是结果指标，心态会稳很多。
可落地的几条建议
- 日志按天切割保存，至少保留 30 天，方便做周对比。
- 写个小脚本过滤 UA 和 IP，分别输出入口页清单和目标页清单。
- 趋势按周看，不要因为某一天的数字波动就调整策略。
- 对连续多周没有任何 IP 访问的入口页做标记，分批下线，别让它们继续占资源。
- 日志与统计后台对不上时，优先相信日志，并回头检查统计脚本的加载情况。
日志分析不复杂，难的是坚持。真正拉开差距的，往往不是谁铺的入口页更多，而是谁更清楚自己铺的那些页面到底有没有被蜘蛛走过、走到了哪一层。