收录数是结果，日志是过程。只看索引覆盖报告，很难判断一个页面是没被发现、被抓了但没被采用，还是抓取本身失败了。把服务器日志拉出来，和收录数据放在一起看，很多模糊的问题会变得具体。
第一步：先把日志里的请求分清楚
日志里混着搜索引擎爬虫、第三方工具爬虫、监控探针和真实用户。分类之前先按 UA 粗筛，再用 IP 反查做校验，因为 UA 是可以伪造的。
- 搜索引擎爬虫：Googlebot、Bingbot、Baiduspider 等，是分析重点。
- 其他爬虫：SEO 工具、采集器、监控脚本，会抬高抓取次数，容易造成误判。
- 真实用户：用于对照，判断某个 URL 是否还有自然流量入口。
值得盯的几个信号
抓取次数落在哪些 URL 上
把抓取次数按目录或模板聚合。健康的状态是首页、栏目页、详情页都有分布；如果绝大多数请求都集中在首页和少数几个列表页，说明爬虫进不去深层，URL 发现或内链结构可能有问题。
状态码分布
按天统计 200、301、302、404、5xx 的比例。5xx 持续出现会直接影响抓取意愿；大量 301 且跳转链路很长，会浪费抓取配额；404 则要看是新产生的还是历史遗留。
响应时间
把爬虫请求的平均响应时间和 P95 分开看。平均值正常不代表没问题，少数慢页面可能正好是需要被收录的重点页面。
抓取深度与入口
挑几个没收录的 URL，反查它们最近有没有被抓过。如果三周内一次都没有出现，问题更可能出在发现环节；如果抓了多次仍未收录，问题更可能在页面本身。
哪些日志痕迹可以先放一放
- robots.txt 主动拒绝的抓取：属于按预期工作，不用当成异常。
- 搜索引擎抓取校验文件、favicon、图片等资源：正常行为。
- 零星的 404：多来自外站旧链接，量小且稳定时可以留着观察。
- 第三方工具爬虫的高频请求：和收录无关，但可能影响服务器负载。
把日志和收录报告对照着看
两组数据交叉，通常会落在几种情况里：
- 没抓也没收录：先查 URL 是否可被发现——内链、sitemap、robots.txt 是否放行。
- 抓了没收录：先看页面质量、是否与站内已有页面高度重复、canonical 是否指错。
- 抓了也收录了但没展示：这已经不属于收录问题，去看关键词匹配和页面意图。
- 抓取频率突然下降：优先排查服务器稳定性和错误率，再考虑内容更新节奏。
建议的巡检顺序
- 按周聚合爬虫请求，确认总量是否有明显波动。
- 看状态码比例，5xx 和异常 404 排在最前。
- 看抓取是否覆盖到目标目录，而不只是头部几个页面。
- 挑若干个未收录 URL，逐一确认最近一次抓取时间。
- 把结论落到具体动作：改内链、修错误、合并重复内容，或者只是继续观察。
日志能告诉你爬虫来过没有、来过几次、拿到的是不是正常页面，但没法直接告诉你为什么没收录。它是排查的起点，不是结论。