判断一个蜘蛛池有没有在正常工作，很多人第一反应是看当天有多少次抓取。这个数字容易获取，但也容易被误导：入口页被集中抓一遍，就能堆出很高的访问量，而真正的目标页可能一次都没被碰到。相比之下，抓取的结构更有参考价值。
为什么总量不如结构可靠
蜘蛛池的作用是提供一条从入口到目标页的路径。路径走通了，日志上应该能看到两段流量：入口页被访问，紧接着目标页被访问。如果只有前一段，说明蜘蛛只在门口转了一圈；如果两段都有但比例极低，说明中间某一段出了问题，可能是链接太深、可能是页面加载慢，也可能是入口页里的链接压根没被解析出来。
可以重点关注的几个指标
1. 目标页被访问的比例
用「目标页访问次数 ÷ 入口页访问次数」得到一个粗略比例。这个比例没有绝对标准，池子结构、链接位置、目标页自身可抓取性都会影响它。但同一批资源在调整前后的对比是有意义的：改动之后比例明显下降，就要回头查最近改了什么。
2. 抓取有没有往下一层走
把日志按跳数分层看：只到入口页的有多少，走到第二层的有多少，碰到目标页的有多少。健康的池子应该呈漏斗状，逐层递减但不断档。如果第二层直接归零，通常不是蜘蛛不想走，而是链接本身出了问题。
3. 来源 IP 与 UA 的多样性
抓取来源集中在少数几个 IP、UA 高度雷同，说明覆盖面向窄。这时即使总量好看，也只是一两个来源在反复访问，对目标页的发现帮助有限。可以按天统计独立 IP 数，观察它是否随投喂量一起变化。
4. 抓取的时间分布
全天集中在一两个时间点爆发，和分散在多个时段，含义不一样。前者更像是入口页被批量扫过，后者更接近正常的爬行节奏。另外，连续几天都有抓取，比某一天特别高更值得关注。
5. 目标站一侧的细微变化
目标站自己的访问日志里是否出现了新的抓取来源，页面在搜索结果中的缓存或快照是否出现更新痕迹。这些只能作为旁证，不能当作结果承诺——收录与否由搜索方决定，池子能做的只是把路径铺好、把抓取引过去。
建议的记录方式
- 每天固定时间导出一次日志，按入口页、中间页、目标页分组统计。
- 记录独立 IP 数、UA 种类数、抓取时段分布三个维度。
- 每次调整（改链接位置、改跳转方式、换模板）单独打标记，方便前后对比。
- 至少连续观察一周再下结论，单日数据波动很大。
几个容易误判的情况
- 把入口页抓取量当成池子效果，忽略了目标页的访问情况。
- 看到 404 就以为池子坏了，其实可能是入口页里残留了已下线的链接。
- 抓取量突然下降，先查服务器是否可达、是否触发了限速，再查资源本身。
- 拿几天数据做趋势判断，样本太少，噪音占主导。
池子的价值在于把发现路径维护好，而不是制造某个好看的数字。数据看结构，调整看对比，结论留给时间。