后台的收录数字通常有延迟，而且只给一个汇总结果。当你想知道某个具体地址到底有没有被看到、蜘蛛来过几次、服务器当时返回了什么，服务器日志往往是更早也更细的信息源。它不能直接告诉你页面是否已经进了索引，但能告诉你抓取环节发生了什么，从而把排查范围缩小到几类可能。
日志里先确认三件事
不同服务器和 CDN 的日志字段不完全一样，但下面三类信息要能对上。
- 访问者身份：常见做法是通过 User-Agent 识别，例如 Googlebot、Bingbot、百度蜘蛛等。注意 UA 可以被伪造，正规做法是结合反向解析或官方 IP 段核对，不要只凭 UA 就下结论。
- 被请求的 URL 与状态码：这是判断抓取结果的核心。同样是蜘蛛访问，200、301、404、410、5xx 代表完全不同的处理路径。
- 时间与频次：单个 URL 一周被访问几次、整站每天的抓取量有多少，比单次访问更能说明问题。
把日志行对应到收录阶段
发现、抓取、索引是三个环节，日志基本只能覆盖前两个。
只有提交记录，没有抓取记录
如果日志里能看到蜘蛛请求 sitemap.xml，却看不到对应页面的任何请求，说明地址大概率还停在待抓取队列，或者链接入口太浅、站点抓取配额有限。此时优先检查内链是否可达、sitemap 是否列出了这些地址。
有抓取记录，状态码是 200
说明蜘蛛已经把 HTML 拿到了。能否进索引取决于页面质量、内容是否与其他页面重复、是否为规范化版本等，日志到此就不再提供更多线索，需要配合页面本身和站点级信号去判断。
反复出现的异常状态码
- 大量 404 或 410：可能是内链指向了已删除地址，蜘蛛把时间花在死链上。
- 大量 301 跳转链：每跳一次都消耗抓取机会，长链式跳转应改成一跳到目标。
- 集中的 5xx 或超时：服务器不稳定会让蜘蛛降低抓取频次，恢复后也要过一段时间才回到原来的节奏。
几个容易忽略的细节
- 日志被轮转或压缩：只看最近几小时容易误判，尽量覆盖完整的一天或一周。
- CDN 与源站日志不一致：使用 CDN 时，蜘蛛访问可能由 CDN 直接响应，源站日志里看不到，需要查看 CDN 侧的访问日志。
- robots.txt 与 sitemap 的请求：这两个文件的抓取记录能间接反映蜘蛛是否还在正常访问站点。如果连它们都长期没有请求，问题可能出在更外层。
- 参数与大小写差异：日志里同一个内容出现多种地址写法，说明 URL 尚未收口，后续会出现重复抓取。
一份可执行的自查顺序
- 先按 User-Agent 筛出搜索引擎蜘蛛的请求，统计总量与趋势。
- 把状态码做归类，看 2xx、3xx、4xx、5xx 各占多少。
- 挑出重点栏目或新发布的 URL，逐个查它们有没有被抓取记录。
- 对被抓取但未收录的地址，回到页面层面检查内容质量与重复情况。
- 对从未被抓取的地址，检查内链入口、sitemap 以及是否被 robots.txt 挡住。
- 把结论与后台的收录数据对照，找出差异最大的那一类 URL 优先处理。
日志能证明蜘蛛来过，不能证明页面已被收下。把抓取记录当成起点而不是结论，后面的判断才不容易走偏。