蜘蛛池上线之后，很多人每天只看一个数字：今天来了多少蜘蛛。但真正能回答“抓取有没有走到目标页”“哪一批入口白铺了”这类问题的，是服务器上的访问日志。日志是原始记录，不会美化，也不会漏记。
日志里值得看的几个字段
不同服务器软件的格式略有差异，但核心信息差不多：
- IP 与反向解析：确认是不是真蜘蛛，机房 IP 与宣告的 UA 是否对得上。
- UA 字符串：看是哪个搜索引擎、移动端还是桌面端。
- 请求时间：抓取集中在哪个时段，间隔是否规律。
- 请求路径与参数：蜘蛛到底停在入口页，还是继续往目标页走。
- 状态码与响应时间：200、301、404、5xx 各占多少，慢请求有多少。
- Referer：能大致判断蜘蛛是从哪条链接翻过来的。
三种常见的日志信号
只抓入口，不往目标走
日志里入口页反复出现，目标页几乎为零。常见原因：入口页到目标页的链接是 JS 渲染后才生成、链接被 nofollow、或者中间隔了跳转链。可以先在浏览器里关掉 JS 看源码，确认链接是否直接可读。
抓取量突然掉下来
同一天对比前一天，如果某个 IP 段的请求数骤降，先排查是不是服务器波动、CDN 或 WAF 在拦、robots.txt 被改过。日志里出现 403、429 或大量超时，基本能指向同一个方向。
大量 404 和空响应
入口页退役后链接没撤，蜘蛛会一直撞 404。撞多了，同一批入口的抓取节奏会变慢。把日志里高频 404 的路径拉出来，能反过来检查蜘蛛池的链接清单是否该清理。
做一份可对比的记录
日志每天都在滚动，单看一天的绝对数字意义有限。比较实用的做法是：
- 按天统计各 UA 的请求总数、独立 URL 数和平均响应时间；
- 把入口页和目标页分开记，看两者比例有没有变化；
- 记录每次改动（改模板、换服务器、加 robots 规则）的日期，方便回溯；
- 每周看一次趋势，而不是每小时刷一次。
和平台数据对照着看
日志记录的是“实际发生了什么”，搜索平台的抓取统计记录的是“搜索引擎愿意告诉你什么”。两者有出入很正常：蜘蛛可能抓了但没收录，也可能抓取被算在别的域名下。如果日志里蜘蛛明明来过，平台数据却毫无动静，优先怀疑是否被识别为低质量页面，而不是急着加更多入口。
日志分析的价值不在“抓了多少”，而在“抓的时候发生了什么”。同样的访问量，抓在有效页面上和抓在 404 上，是两件完全不同的事。
几点实践建议
- 日志至少保留 30 天，方便做同比。
- 给入口页和目标页打上可区分的路径前缀，统计时省事。
- 别只看总量，按目录或批次拆开看，问题往往集中在某一批。
- 发现异常先记录，再改动。改完前后有对比，才知道有没有效。
蜘蛛池不是铺完就完事的东西，日志是它比较诚实的反馈渠道。把日志当成日常巡检的一部分，很多“感觉没效果”的问题，其实是能在数据里提前看出来的。