判断蜘蛛池有没有在工作，最直接的证据不在收录数字里，而在服务器日志里。收录是结果，抓取是过程；过程数据反馈更快、噪声更小，能更早说明入口页是被蜘蛛看见了，还是压根没被光顾。
为什么不建议只盯收录量
收录受入口页之外的因素影响太多：站点整体权重、内容与已有结果的重复度、索引库的更新排期，都会让数字上下浮动。一个新入口页从被抓住到进入索引，中间可能隔几天到几周，也可能进去之后再掉出来。只盯收录，容易在池子正常运转时误判成失效，也容易在池子已经出问题时还以为是内容不行。
值得盯的几类抓取指标
抓取请求数与去重URL数
统计蜘蛛对入口页的请求条数，同时统计其中不重复的URL数量。只看总请求数容易被单个高频页面带偏：某一页被反复抓两百次，看起来热闹，实际只有一页被关注。去重URL数更能反映蜘蛛的实际覆盖面。
新URL的首次抓取延迟
记录每个新入口页从上线到第一次被蜘蛛访问的时间。这个指标直接对应URL发现效率。如果延迟普遍在几天以上，问题通常出在入口页缺少被蜘蛛发现的路径——没有内链、没有 sitemap、也没被引用，而不是蜘蛛不愿意来。
抓取深度与入口页命中比例
蜘蛛进来之后停在哪一层，是判断入口页结构好坏的实用参考。留意两类情况：一是抓取集中在少数几个页面，其余入口页长期无人问津；二是蜘蛛只抓了列表页，没有顺着链接往下走。前者多半是入口页之间缺少互联，后者常见于链接藏在脚本里或层级过深。
抓取时段的分布
把抓取请求按小时聚合，能看出蜘蛛的访问是否有节律。访问量集中在一两个时段、其他时间完全为零，通常说明入口页的可发现路径太单一；如果全天均匀但总量偏低，则先看内容更新节奏与站点响应耗时。
日志要留下哪些字段
- 访问时间、来源 IP、User-Agent
- 请求的完整 URL，包含查询参数
- 返回状态码与响应耗时
- Referer（如果蜘蛛带了）
- 响应体大小
字段齐全后，才能把请求按去重 URL、按天、按时段切开看。建议按天归档，至少保留三十天，否则很难判断趋势是短期波动还是持续性变化。
指标异常时的排查顺序
- 先确认是不是真蜘蛛，UA 和 IP 归属可以辅助判断，别把扫描器当成抓取数据。
- 再看入口页本身能不能正常访问，状态码、响应耗时有异常的页面优先处理。
- 检查入口页之间的内链结构，确认蜘蛛有多条路径可以走进来。
- 检查是否存在大量模板化、内容雷同的页面，它们会稀释蜘蛛在有限抓取量下的分配。
观测节奏的建议
不必每天盯着看。新上线的入口页，前几天可以每天看一次首次抓取延迟；池子稳定运行后，按周汇总一次请求数、去重 URL 数和抓取深度就够。改动过入口页结构或换过域名、IP 之后，再恢复一段时间的日观测。把每次改动的时间和日志趋势对齐记下来，比单看某一项指标更有用。
抓取数据只能说明蜘蛛来没来、来了看了什么，不能保证收录，更不能保证排名。它更适合用来排查入口页的可发现性问题，而不是当作效果承诺的凭据。