很多站点在谈抓取时，第一反应是去看站长平台的数据。但平台给的是汇总结果，真正能回答“蜘蛛到底来过哪些地址、停留多久、拿到什么状态码”的，还是服务器自己的访问日志。日志不需要多高深的技术就能读，只要知道该看哪几列、该关注哪几个模式，就能把很多模糊的猜测变成具体的问题。
日志的基本结构
无论 Nginx、Apache 还是其他 Web 服务器，访问日志的主体都是相似的：访问时间、来源 IP、请求方法、请求路径、状态码、响应大小、User-Agent、Referer。不同之处只在于字段顺序和格式定义。先找到服务器配置里 log_format 那一行，把每个字段对应上，后面读起来就顺了。
从日志里能回答哪些问题
- 蜘蛛每天来多少次，集中在什么时间段
- 哪些 URL 被抓得最多，哪些从没被访问过
- 抓取时返回的是 200、301、404 还是 5xx
- 蜘蛛是否反复抓取同一批地址，形成“抓取集中区”
- 服务器在抓取高峰时的响应时间是否明显变长
这些都是判断抓取健康度的直接依据，比只看曲线图更具体。
一个可行的查看流程
- 先按 User-Agent 过滤出蜘蛛请求，排除真人流量干扰。
- 按状态码分组统计，看 4xx 和 5xx 的占比与具体路径。
- 按 URL 出现次数排序，找出被高频抓取的地址。
- 对照 sitemap 和栏目结构，检查有没有“该来没来”的页面。
- 把每日数据留档，隔一周再看趋势，而不是只看某一天。
关注三个比例
抓取成功率、重复抓取率、新 URL 占比，这三个数字比绝对访问量更有参考价值。抓取成功率下降，通常意味着服务器或规则出了问题；重复抓取率过高，说明内链或参数结构让蜘蛛在原地打转；新 URL 占比长期偏低，则可能是入口太窄，新内容没有被有效发现。
常见异常与对应动作
- 大量 404：检查是否有失效链接、旧目录改名后没做跳转。
- 大量 5xx：先看服务器负载和数据库连接，再考虑抓取压力。
- 同一路径反复出现带不同参数的版本：回看筛选或分页规则。
- 某个目录访问量突然归零：确认 robots、响应头或页面模板是否改动过。
- 蜘蛛只抓首页和列表页：检查详情页的链接是否可点、是否依赖脚本渲染。
把日志变成可以执行的清单
日志本身不会解决问题，能落地的是从日志里提炼出来的动作。建议每周固定花一点时间，导出蜘蛛请求，记录三类信息：异常状态码对应的路径、被高频重复抓取的地址，以及明明在 sitemap 里却从未出现的地址。这三类信息基本覆盖了抓取通路上的主要堵点。
日志是观察抓取行为的原始记录，它不会告诉你排名，但会告诉你蜘蛛在哪里停下、在哪里折返。
网站结构、栏目规划、内容更新这些工作做得再好，最终都要通过抓取这一步才能被看到。把日志当作日常运维的一部分，而不是出问题才翻的档案，很多抓取上的小毛病就能在变成大问题之前被发现。