排查收录问题时，多数人习惯先打开索引状态报告，看有效、已排除、错误各占多少。这份数据告诉你结果，却不告诉你过程。想知道页面为什么没被收录，抓取日志往往更直接：它记录蜘蛛什么时候来过、来过几次、抓了哪些地址、拿到什么状态码、用了多长时间。
日志里先看哪几个字段
服务器访问日志的字段不少，排查收录时重点盯后面几项：
- 时间：判断抓取频率，以及近期是否被降频。
- User-Agent：区分不同搜索蜘蛛，也便于识别伪造请求。
- 请求的 URL：看它抓的是新页面还是早已废弃的旧地址。
- 状态码：200、301、304、404、5xx 的含义差别很大。
- 响应时间与响应大小：返回 200 但体积异常小的页面要单独留意。
日志量太大时，先按 User-Agent 过滤出蜘蛛请求，再按 URL 分组统计。多数日志分析工具都支持这一步。
几类常见现象，对应不同环节
蜘蛛几乎不来
日志里连续几天找不到蜘蛛记录，问题多半在发现环节：新页面没有内链指向，站点地图没有更新，外部也没有任何入口。这种情况下改正文意义不大，要先解决“蜘蛛怎么知道存在这个 URL”。
来了，但只抓首页和几个列表页
说明入口是通的，但抓取深度不够。常见原因是列表页缺少指向详情页的稳定链接、详情页藏在多级筛选之后，或者分页只靠按钮加载。此时重点检查链接路径，而不是反复提交地址。
反复抓取旧地址
如果日志里频繁出现已改版或不存在的 URL，说明站点地图、内链或外部引用里还留着旧链接。每次抓取都要走一遍重定向链，既消耗抓取额度，也拖慢新页面的发现。把源头链接改掉，比在服务器上叠加重定向更有效。
抓取时返回 5xx 或超时
状态码 500、502、503 以及响应时间明显偏长的记录，会让蜘蛛降低访问频率。若这类记录集中在某个时间段，先查服务器负载和数据库慢查询；若集中在某个栏目，可能是该栏目的模板或接口出了问题。
返回 200，但内容很空
日志里有请求记录、状态码也是 200，可响应体积只有几百字节，通常是渲染失败、数据没取到或模板报错。蜘蛛抓到的是空壳，容易按软 404 处理，对收录没有帮助。
抓得很勤，页面却没变化
同一批 URL 每天被抓多次、返回 200 且内容一致，说明抓取额度被低价值页面占用。可以检查缓存头设置、列表页是否生成大量参数地址，把额度让给真正需要更新的页面。
看趋势，不看单天
蜘蛛访问量本身波动很大，某一天没有记录不代表出问题。更有用的是按周对比：新页面从发布到第一次被抓平均要几天，抓取总量是上升还是下降，5xx 记录是否在增加。把这些指标固定下来，异常出现时更容易判断是哪一环发生了变化。
日志和索引状态要对着看
日志回答“什么时候来过、抓到了什么”，索引状态回答“最后有没有被收录”。两者时间点对齐，范围就能缩小：
- 有抓取、没收录：偏向内容质量、重复度或页面价值问题。
- 没抓取、没收录：偏向发现通道或抓取额度问题。
- 抓过、收录后又消失：偏向内容变动或质量评估变化。
把两份数据放在同一张表里看，比单独看任何一份都有效。
几个容易误读的地方
- 蜘蛛来过不等于会收录，抓取只是前置步骤。
- 抓取次数多不一定代表重视，也可能只是地址重复或参数过多。
- User-Agent 可以伪造，重要站点最好通过反向解析确认来源。
- 日志只反映服务端收到的请求，被 CDN 缓存挡下的请求可能不在记录里。
抓取日志是过程数据，索引状态是结果数据。两边对不上的地方，往往就是排查的入口。
日志至少留存到覆盖一次内容更新的完整周期，再按上面几个角度定期对照，收录问题就会从“猜”变成“查”。