做蜘蛛池的人容易盯着收录数和权重，但这两个都是结果，中间过程只有一样东西能比较如实地记录：服务器的访问日志。入口页有没有被访问、蜘蛛顺着哪些链接走、在哪一步停住，日志里大多能找到痕迹。先看日志，再看收录，判断会稳一些。
日志里值得留意的几列
多数 Web 服务器的默认日志格式（例如 Nginx 的 combined）已经够用，重点看这几项：
- UA：用来区分百度、Google、Bing 等蜘蛛，也能暴露伪装成蜘蛛的采集程序。
- IP 与反向解析：UA 可以随便改，IP 段和反查结果更难伪造，两个一起看更可靠。
- 请求路径：蜘蛛具体访问了哪些入口页，是首页、列表页，还是更深的页面。
- 状态码：200、301、302、403、404、5xx 的占比，直接反映入口页的健康度。
- 返回字节数与响应时间：一个只有几十字节的 200，往往是被拦截的空页。
- Referer 与时间戳：能看出蜘蛛是顺着链接爬过来的，还是通过提交的 URL 直接进来的。
三种常见的抓取形态
只抓入口页，不跟着链接走
日志里反复出现同一批入口页，但站内其他页面几乎没有蜘蛛访问。常见原因是入口页本身没有可爬的出站链接，或者链接都藏在 JS 渲染之后、被 nofollow 标注、或者指向了需要登录的路径。这种情况下，入口页更像一个被单独访问的孤立地址，蜘蛛没有理由继续走下去。
抓一段时间后消失
上线初期蜘蛛来得勤，几周后日志里几乎看不到。可能是内容长期不变、页面返回变慢、状态码开始出现异常，也可能是同一批 URL 被反复抓取却没有新东西产出，抓取预算自然被调走。查日志时要看它消失前最后几次访问留下了什么。
状态码分布异常
如果入口页日志里 302 和 404 占比很高，说明蜘蛛花在跳转和空地址上的次数不少。301、302 本身不是问题，但大量指向失效目标的跳转，会消耗抓取额度，也会让蜘蛛对整批路径的判断变差。
用日志回答几个实际判断题
- 蜘蛛到底来没来：先确认 IP 段和 UA 是否匹配，别把采集器的访问当成蜘蛛。
- 走了哪些路径：把日志里的路径按目录聚合，能看出蜘蛛的偏好，是入口页、列表页还是详情页。
- 哪些路径被反复抓：高频访问但内容不变的路径，通常是被浪费的抓取。
- 抓取有没有走空：统计 4xx、5xx、空响应和跳转链长度，能看出多少抓取没有落到实际页面上。
分析日志时容易踩的坑
- 日志会轮转和压缩，历史数据要提前归档，否则想看趋势时发现只剩最近几天。
- UA 是最容易被伪造的字段，只看 UA 会得出错误结论。
- 服务器时区与统计口径不一致，会让“某天没来”变成误判。
- 多台服务器或经过 CDN 时，日志分散在多个位置，需要先合并再统计。
- 样本太少时不要下结论，几天日志里的一次波动说明不了什么。
从日志到具体动作
日志的价值在于把“感觉”换成“依据”。常见的对应关系是：入口页被频繁抓取但几乎不出链，就检查页面里的链接是否可爬；大量 404 集中在某几个目录，就清理或更新那批 URL；响应时间明显偏高，就先解决服务器和渲染阻塞；蜘蛛只在少数几条路径上打转，就补一批能被正常发现的链接。
需要提醒的是，日志只能说明蜘蛛抓了什么，不能说明页面被收录或者获得了排名。抓取量上升和收录增加之间，还有内容质量、站点整体状况等环节，别把前者直接当成后者的保证。
把日志当成一份长期记录来看，每周固定时间导出、聚合、对比，比一次性翻查要有效得多。真正有用的结论，往往来自同一批路径在几周内的变化曲线，而不是某一天突然多出来的几条访问。