为什么日志比统计报表更值得先看
在蜘蛛池的日常运营里，很多人第一反应是打开第三方统计看“蜘蛛来访次数”。这个数字通常只说明有请求打到服务器，并不说明请求的结果——是拿到了完整页面，还是撞上了限流、验证页或空模板，统计报表一般不体现。
服务器访问日志（access log）保留了状态码、响应体大小、响应耗时、User-Agent、来源 IP 等原始字段。排查抓取相关的问题时，先翻日志，往往能省掉大量猜测。
需要重点关注的几个字段
状态码与状态码分布
单个请求返回 200 没有太大意义，有意义的是整批入口页的状态码分布。把日志按状态码聚合，看 200、301、302、403、404、429、5xx 各占多少。
- 403、401 集中出现，通常是 WAF、防盗链或权限规则误伤了正常抓取。
- 429 出现，说明服务端或中间层在限流，抓取方通常会主动放慢节奏。
- 5xx 比例偏高，说明后端不稳定，这类页面重复被抓的概率会下降。
- 301、302 数量大，要检查跳转链长度，过长的链条容易被中途放弃。
响应体大小
状态码 200 但返回字节数很小（例如只有几百字节）时，要确认拿到的究竟是正文，还是错误页、验证页或没有内容的模板壳。抓取方拿到近乎空白的页面，一般不会继续解析里面的链接。
User-Agent 与来源 IP
日志里的 UA 是可以伪造的。如果只按 UA 字符串过滤，很容易把扫描器和采集器也算成搜索蜘蛛，导致抓取量虚高。建议结合反向 DNS 或官方公布的 IP 段做交叉验证，把确认过的抓取请求单独打标，再统计数量。
响应耗时
给每个请求记录耗时，关注 P95、P99 而不是平均值。平均值会掩盖尾部慢请求，而尾部延迟长期偏高时，抓取节奏往往会发生变化。
几个容易踩的误判
- 只看总请求数，不看去重后的 URL 数量。同一个入口页被反复请求，并不代表抓取范围在扩大。
- 把日志按天切开直接比较绝对值，忽略了上线时间、访问量、模板改版等变量。
- 只统计入口页，不统计目标 URL。两者要放进同一张对照表，才能判断抓取是否顺着链接走到了下一步。
- 把一次量的突增当成趋势。抓取量的变化通常是渐进的，单日波动参考价值有限。
建立一套可对比的基线
与其每次出问题临时翻日志，不如固定几个观察口径，每天或每周记录一次：
- 验证过的抓取请求数（按 URL 去重）
- 入口页与目标 URL 各自的状态码分布
- 目标 URL 在日志中首次出现的时间
- 响应时间的 P95 数值
日志建议保留 30 天以上，按周对比。时间轴拉长之后，才比较容易区分“正常波动”和“规则调整带来的持续下降”。
日志能回答的是“发生了什么”，不能回答“为什么”。把日志里的现象和 robots.txt、sitemap、跳转链、页面模板、CDN 规则逐项对应起来，才可能定位到真正的原因。
小结
蜘蛛池的抓取问题，多数能在日志里找到线索，但前提是你看的是验证过的、去重后的、带耗时和体积的数据，而不是一个笼统的来访次数。先把观察口径固定下来，再去改配置，改动前后的对比才有意义。