很多站点运营者看抓取情况，习惯打开统计后台看一个总数：今天蜘蛛来了多少次。这个数字能给你一个大致的量级，但回答不了更具体的问题——蜘蛛到底抓了哪些地址、哪些地址反复被抓、哪些地址一直在报错。想知道这些，还是得回到服务器上的原始访问日志。
统计报表看不到的东西
统计工具通常会做聚合和采样，也会过滤掉一部分它认为不重要的请求。结果是：一个被反复抓取、每次都返回 404 的地址，在报表里可能只是一条不起眼的记录；而一个真正需要被发现的栏目页，反而因为访问量小而沉在列表底部。原始日志不做这些取舍，它就是服务器收到请求的顺序记录，有什么写什么。
日志里值得先看的几个字段
- 时间：确认服务器时区设置，不然跨天段的抓取节奏判断会错位。
- 请求方法与完整 URL：带上查询串，才能看出蜘蛛是在抓同一个地址的不同参数组合。
- 状态码：200、301、404、5xx 的分布，是判断抓取健康度最直接的一列。
- 响应体大小：返回 200 但字节数极小，往往是个空壳页或错误页。
- User-Agent：用来区分不同来源的抓取者，也方便核对是否有伪装请求。
- Referer：能看出蜘蛛是从哪个页面顺着链接爬过来的，对判断内链结构有用。
如果日志格式里没有响应时间或上游耗时字段，可以在反向代理或应用层补上，排查慢页面时会方便很多。
几种值得警惕的抓取模式
同一地址被高频重复抓取
短时间内在同一个 URL 上出现大量请求，通常意味着页面返回了不稳定状态，或者该地址被多个入口反复指向。前者要先查服务器，后者要回到内链和站点地图去看。
错误地址长期占据抓取量
如果日志里排名靠前的地址有一批固定返回 404，说明站点上还有地方在链接它们。这类地址不会自己消失，找到链接来源并处理掉，抓取量才能腾出来。
蜘蛛只停留在列表页
列表页被抓了很多次，详情页几乎不见踪影，一般不是蜘蛛不愿意进，而是进入路径有问题：链接不可点、需要交互才展开、或者层级太靠后。
抓取集中在一两个栏目
少数栏目吃掉了大部分抓取次数，其他栏目长期没有新鲜请求，可能和内容更新节奏、栏目入口位置有关，值得和内容排期放在一起看。
一份可以照着做的自查步骤
- 先按天切分日志，找出抓取量最高的一天和最低的一天，看差异出现在哪些地址上。
- 按状态码分组统计，列出非 200 的地址清单，按出现次数排序。
- 从清单里挑前 20 条，逐条到站内搜索这些地址，确认是死链、被删内容，还是参数组合。
- 按 URL 前缀做一次粗分类，看看抓取是否集中在少数目录下。
- 把发现的问题分成两类：能在站内修的（链接、规则、结构）和需要在服务器侧处理的（状态码、限流、响应时间）。
- 处理完记录一次基线数据，隔一两周再跑同样的统计做对比。
几个容易踩的坑
- 只保留最近几天日志。出问题时往往需要往前翻更长时间，日志轮转策略最好先确认。
- 把日志里的异常抓取直接当成恶意流量。有些其实是站内链接问题造成的，先排查自身。
- 只盯着总量不看结构。抓取次数涨了，不代表抓对了地方。
- 改完就期待立刻变化。抓取节奏的调整通常需要一段时间，才能在新的日志里反映出来。
日志不会告诉你该怎么办，但它能告诉你发生了什么。先把事实看清楚，再决定要不要动结构。
抓取日志的价值在于它是原始事实，而不是经过加工的结论。养成定期翻一翻的习惯，比堆砌更多工具更容易发现问题。