后台统计和第三方工具给的是整理过的结论，服务器日志给的是一手事实。当报表显示“抓取正常”而收录迟迟不动时，把日志翻出来看一遍，往往能找到被忽略的原因。这篇只讲一件事：怎么从蜘蛛抓取记录里，看清哪些页面被认真抓过，哪些只是被路过。
先确认日志字段够用
常见的访问日志至少要有这些字段：访问时间、来源 IP、请求方法、完整 URL、状态码、User-Agent、来源页，最好再加上响应大小和响应耗时。如果站点前面挂了 CDN 或反向代理，直接看日志可能全是节点 IP，需要让服务端取 X-Forwarded-For 或 X-Real-IP 里的真实地址，否则后面所有按 IP 做的判断都是错的。
另外注意日志的保留周期。只留三天，就没法和上周对比，也看不出“某个目录是慢慢变差的”。一般建议滚动保留 30 天以上，重要站点按月归档。
把蜘蛛请求单独筛出来
按 User-Agent 过滤出 Googlebot、Bingbot、Baiduspider、YisouSpider 等常见标识，先看每天的总请求量，再分两步处理：
- 核对 UA 的真实性。关键节点可以做反向 DNS 验证，很多自称蜘蛛的请求其实是采集器或者刷流量的脚本。
- 按目录分组。首页、栏目页、详情页、静态资源、接口各占多少，比例能反映蜘蛛的兴趣落在哪里。
如果大量请求来自陌生 UA，并且集中在动态接口或搜索参数上，不要急着当成“抓取旺盛”，先按访问频率和来源做限速或拦截。
重点看四个指标
- 状态码分布。正常站点 200 应占大多数。如果 404 集中在某个旧目录，说明还有内链或外链指向失效地址；5xx 集中在固定时段，通常是备份、批处理或数据库慢查询在抢占资源。
- 抓取频次与深度。核心栏目是否天天被抓，三层以外的页面多久出现一次。长期不出现的地址，多半是入口太少或层级太深。
- 响应耗时。日志里的耗时字段比“首页秒开”更有代表性，看看详情页在被蜘蛛访问时的平均响应，是否明显高于普通用户。
- 抓取集中度。如果绝大部分请求都落在参数筛选、日历翻页、排序链接上，说明抓取预算被稀释，需要把这类地址收敛掉。
常见异常与对应动作
- 同一路径持续 404：补 301 到最接近的有效页面，并更新站内指向。
- 静态资源被反复抓取：考虑加缓存头或合并请求，减少无效抓取。
- 蜘蛛只抓首页不抓内页：检查导航和列表页是否被脚本遮住，入口是否可点击。
- 深夜出现异常抓取高峰：核对是否与备份、日志切割、同步任务重合。
- 参数页数量暴涨：用 canonical 或 robots 规则明确哪些组合不需要抓。
这里顺便提一句：市场上有些所谓“蜘蛛池”服务，承诺短时间带来大量抓取。日志里确实能看到请求暴涨，但那些请求多数来自伪造 UA 和被劫持的站点，既不产生收录，也会让站点在正常评估中显得异常。抓取量不等于抓取质量，日志里最该关注的是状态码和落地页，而不是绝对数量。
把结论落成待办
看完日志别只点个头。至少写下三件事：要修的地址清单、要补的入口位置、下周要复查的指标。比如“某栏目 404 共 46 条，先改内链，下周三复查是否归零”。有明确项和复查时间，日志分析才算闭环。
日志是事实，报表是结论。两者对不上时，先把原始记录看一遍再下判断。
日志分析不需要每天做，每周挑一天，把蜘蛛请求、状态码和响应耗时过一遍，长期下来对站点抓取状况的了解，会比任何单次报表都清楚。