后台的抓取统计通常只给一个总数：今天蜘蛛抓了多少条。但蜘蛛具体走了哪条路、在哪一层拐弯、哪些页面反复来、哪些目录一次都没进，这些信息只留在服务器日志里。想把抓取这件事看明白，日志是最原始也最诚实的一份材料。
报表和日志的差别在哪
报表是聚合后的结果，日志是逐条请求的流水。前者告诉你“抓了多少”，后者告诉你“抓了谁、什么顺序、拿到什么回应”。当你想知道某个栏目为什么迟迟没有动静、某个页面为什么天天被抓，答案基本都在日志的 URL 列表里。
第一步：先把真蜘蛛和噪音分开
日志里自称蜘蛛的请求很多，不能照单全收。至少做两层过滤：一是核对 User-Agent 是否与官方公布的一致，二是对关键 IP 做反向 DNS 校验。过滤完之后，再把静态资源（CSS、JS、图片）和页面请求分开放，两者对抓取额度的意义完全不同。
第二步：按状态码拆开看
- 200 居多：说明路径走得比较顺，接下来重点看重复率。
- 3xx 集中出现：注意是不是有跳转链，蜘蛛每次都要多花一跳。
- 404 / 410 反复出现：多半是内链或 Sitemap 里还挂着已经失效的地址，属于纯粹的浪费。
- 5xx 出现在固定时段：可能是服务器压力或定时任务撞车，蜘蛛拿到错误后短时间内不会再来。
第三步：按目录和 URL 模式归类
把所有页面请求按一级目录、二级目录分组，统计每个分组的请求条数和独立 URL 数。两个数字放在一起看，能看出不少问题：
- 请求条数高、独立 URL 少：说明蜘蛛在同一批页面上打转，通常是分页、筛选参数或排序链接造成的。
- 请求条数低、独立 URL 也低：这个目录可能根本没有入口，蜘蛛走不进来。
- 独立 URL 数量和 Sitemap 提交量差得远：一部分地址被提交了，但从来没有被访问过。
第四步：还原一条抓取路径
挑一个具体页面，把同一时间段内的相关请求按时间排序，就能大致还原蜘蛛的行走顺序：
- 找到首页或栏目页的请求时间。
- 看紧随其后被请求的是哪些链接，顺序通常和它们在页面里的位置相关。
- 看这条链在第几层断掉：是链接没被抓，还是抓了但状态码不对。
- 记录断点前后的 URL，回头检查这些位置的内链和跳转设置。
做几次之后，你会发现常见的断点就那几种：导航里漏了入口、列表页只暴露前几页、正文里的链接指向了带参数的版本。
第五步：把日志结论落回结构
日志分析本身不解决问题，它只是把问题定位到具体 URL。接下来要做的动作通常很有限：把失效链接从内链和 Sitemap 里去掉，把重要页面往层级更浅的位置挪，把被反复抓的低价值参数地址收敛一下，确认服务器在蜘蛛活跃时段是稳的。
日志是观察工具，不是优化按钮。它告诉你蜘蛛实际走了什么路，剩下的还是要在站点结构上动手。
看日志的周期和频率
不需要每天盯着看。站点结构没有大改动时，按月抽一两天完整日志做对比就够了；改版、上新栏目、调整 Sitemap 之后的几天，可以密集看一次，确认蜘蛛的路径有没有跟着变化。把它当成一次体检，而不是日常监控的负担。
抓取路径这件事，很多时候不是蜘蛛不愿意走，而是我们没把路铺平。日志只是帮你把这段路走一遍，看清哪里断了。