判断抓取是否正常，最直接的证据往往不在站长后台的抓取统计里，而在服务器的访问日志中。日志记录的是真实发生过的请求，包括那些没有留下任何结果的抓取行为。把搜索蜘蛛的请求单独筛出来，先看状态码分布，通常能比较快地判断问题出在入口质量、跳转链路，还是服务器响应本身。
为什么先看状态码分布
把一段时间内的蜘蛛请求按状态码归类统计，会得到一张很直观的分布图。这张图不解决具体问题，但能帮你决定先查哪一块。
- 200：正常返回，但仍要结合返回字节数判断是不是空壳页或模板异常页。
- 301 / 302：单次跳转通常不是问题，成串跳转或跳转到错误目标才需要处理。
- 403 / 429：多为防护规则、限速拦截或 UA 白名单配置不全，需要核对频控阈值。
- 404 / 410：确认是页面真实下线，还是链接拼写、大小写、结尾斜杠不一致导致的误报。
- 5xx：与后端、数据库或上游接口有关，重点看是否集中在某个时段或某个模板。
分布图只说明比例。真正有用的下一步，是把某类状态码对应的 URL 列表拉出来，逐个看它们从哪来、为什么会被反复抓。
三个容易被忽略的字段
响应时间与返回字节数
状态码是 200，但响应时间长期处在高位，说明服务器在蜘蛛访问时压力偏大，抓取节奏会自然放缓。字节数异常小的 200 响应，很多是空状态页、参数错误页或者只返回了模板框架，这类页面在日志里看着正常，实际没有可用的入口价值。
请求路径的重复度
同一个 URL 在一天内被抓取多次，或者仅参数顺序不同的 URL 反复出现，说明入口收敛没有做好。可以按 URL 聚合统计抓取次数，把高频且低价值的路径挑出来，再回到页面本身检查链接生成逻辑。
首次发现与再次访问的间隔
新 URL 从第一次出现在日志里，到第二次被抓，中间隔了多久，可以粗略反映该目录或该入口的抓取活跃度。间隔长期偏大的目录，通常意味着内链权重不足，或者入口本身太深。
入口质量的实操梳理步骤
- 导出蜘蛛请求日志，按完整 URL 聚合，统计状态码、抓取次数、平均响应时间、平均返回字节数。
- 剔除已确认正常的核心页面，把长期没有 200 响应的 URL 单独挑出来。
- 按目录或模板归类，判断是局部页面出问题，还是整批模板都存在异常。
- 对照 sitemap 与站内链接，确认这些 URL 是从哪里被发现的，评估是否还需要继续暴露。
- 处理完成后留出观察窗口，避免只凭一天的日志波动就下结论。
与 sitemap、内链交叉验证
日志只能反映抓取行为，无法解释 URL 的来源。把日志里的高频入口与 sitemap 中提交的地址做比对，能发现两类常见偏差：一类是 sitemap 里提交了但日志中从未出现，另一类是日志中频繁抓取但 sitemap 里根本没有。前者要检查提交地址是否可达、是否被规则拦截；后者要回到内链和列表页，看看这些页面是不是被设计成了不该出现的入口。
日志分析说明的是抓取层面的情况，不能直接推断收录结果。抓取正常不等于一定被收录，抓取异常也只是排查线索之一。
建议把这项工作做成周期性动作，比如每周固定导出一次日志，只关注分布变化而不是单次数值。状态码结构、抓取次数排名、平均字节数这三个指标一起看，多数入口质量问题都能在早期被发现。