抓取日志是站长能直接看到蜘蛛行为的少数数据之一。它不像后台报表那样已经加工过，而是原始请求记录，好处是能回答一些很具体的问题：蜘蛛什么时候来、来了抓什么、抓到了什么状态码、哪些页面被反复抓却没什么变化。
日志里优先关注的几列
- 请求时间，注意时区
- 请求的完整 URL
- 返回状态码
- 响应体大小与响应耗时
- User-Agent 与客户端 IP
前几列能拼出抓取节奏和浪费情况，后两列用于核验是不是真的搜索蜘蛛。如果日志里带 referer，还能看出蜘蛛是顺着哪条链接走到这个 URL 的，对判断「哪些入口在起作用」很有帮助。
从时间分布看抓取节奏
把一天或一周的请求按小时聚合，能看出蜘蛛大致在什么时段活跃。多数站点的抓取会落在服务器负载相对较低的时间段。如果发现抓取高峰正好撞上业务高峰，可以考虑错峰发布内容、提前做好缓存。
更值得注意的是耗时。如果日志记录了响应时间，把状态码 200 的请求按耗时从大到小排，排在最前面的一批，往往就是拖慢整体抓取效率的原因。
URL 分布：反复抓的与从未抓的
按 URL 分组统计访问次数，通常会出现三类页面：被高频访问的，一般是首页、列表页和少数权重页；访问频率正常的详情页；以及一次都没有出现过的。第三类最值得查——它们是被 robots 规则挡住、被内链孤立，还是压根没有提交过。
高频组也要看内容是否变化。如果某个 URL 每次抓取返回的正文几乎一样，却在日志里占了很大比例，说明这个页面要么是聚合页，要么是参数生成的重复地址，值得收一收。
状态码组合能暴露链路问题
单个 404 不可怕，可怕的是同一批 URL 反复 404，或者 301 的目标本身又指向 302。把日志按 URL 聚合后再看状态码序列，比较容易发现重定向链里的断点。
5xx 和 429 出现的时段也要留意。如果 429 集中在某个目录，通常是该目录页面太多、更新又太频繁，蜘蛛在主动降速；如果 5xx 集中在某个时段，多半是后端在那段时间不稳定。
排查顺序建议
- 先确认访问者身份，排除伪装 UA 的爬虫，否则后面的统计会被污染。
- 再看整体趋势，抓取量是升、是降还是平稳，避免拿一两天的抖动下结论。
- 接着看 URL 分布，找出高消耗、低价值的那部分。
- 最后看状态码和响应耗时，定位具体环节的瓶颈。
日志只是线索。重要改动前后各留一段对比数据，比单看某一天的数字更有参考意义。
几个容易踩的坑
一是日志轮转把关键时段覆盖掉了，改版前后最好单独留存一份；二是只统计次数不看体积，抓一个两兆的页面和抓十个二十 K 的页面，开销完全不同；三是忽略时区，跨时区服务器上看到的时间分布会整体偏移，判断活跃时段时容易出错。
把这些都看下来会发现，日志的价值不在于「蜘蛛今天来了多少次」，而在于能回答两个问题：它在哪儿浪费时间，以及哪些页面它根本没看到。这两个答案，通常比次数本身更有行动价值。