日志是抓取路径的底稿

站点地图、内链和提交入口更像路标，告诉蜘蛛“这里可能有路”。但路标不等于脚印。要确认蜘蛛实际走过哪些链接、多久来一次、在哪一层停下，服务器日志通常是最直接的证据。它不会告诉你排名，但能回答一些更基础的问题：新 URL 有没有被请求，老 URL 是否还在被反复抓，某个目录是不是长期没有蜘蛛访问。

看日志不需要复杂工具，先固定几个字段：请求时间、客户端 IP、User-Agent、请求方法、完整 URL、状态码、响应时间、响应字节数、Referer。如果站点有 CDN 或反向代理，注意日志里记录的是回源请求还是边缘请求，两者含义不同。

先确认是不是搜索蜘蛛

User-Agent 可以伪造，所以不要只靠 UA 判断。更稳妥的方式是结合官方公布的 IP 段做反向解析，或者用日志里的已知蜘蛛 IP 建立白名单。对中小站点来说，至少要把“疑似蜘蛛”和“普通用户”分开统计，否则很容易把爬虫扫描当成搜索抓取。

• 看 IP 归属：搜索蜘蛛通常来自固定机房段，频繁变化的住宅 IP 更可能是采集或扫描。
• 看请求节奏：搜索蜘蛛一般有相对稳定的抓取间隔，不会在几秒内把全站扫完。
• 看请求路径：如果只抓接口、登录页或随机参数，通常不是正常发现行为。

从日志反推抓取路径

Referer 是最接近“上一跳”的字段，但它并不总是出现。蜘蛛可能不发送 Referer，也可能从 Sitemap 直接进入详情页。因此，反推路径要结合多种线索：URL 层级、目录结构、参数形态、抓取时间顺序，以及内链结构改动前后的对比。

几个可观察的信号

1. 首次出现时间：新 URL 从发布到第一次被抓，中间隔了多久。如果超过预期，先查它是否在内链中露出，是否写进 Sitemap。
2. 抓取深度：从首页到详情页点击了几层。深度过大时，蜘蛛可能只停在列表页。
3. 重复抓取：同一 URL 在短时间内被多次请求，可能是路径重复、参数变体或分页回环。
4. 状态码分布：200 是正常，301/302 要看跳转链是否过长，404/410 要确认是否该保留，5xx 则直接影响下一次抓取。
5. 响应时间：单个 URL 响应过慢，会让蜘蛛在同一时间窗内抓得更少。

日志里的“抓取量下降”不等于“被惩罚”。更常见的原因是服务器变慢、内链改版、robots 调整或大量参数页消耗了抓取配额。

把日志和 Sitemap、内链对照

Sitemap 负责发现，内链负责深度，这是两条不同的通路。日志可以帮你检查它们是否按预期工作。例如，Sitemap 中的 URL 是否被请求；内链改版后，原本能抓到的详情页是否还在被访问；某个栏目的抓取比例是否明显低于其他栏目。

• 如果 Sitemap 里的 URL 长期不被抓，检查是否被 robots 拦截、是否返回 5xx、是否大量重复。
• 如果内链指向的页面不被抓，检查链接是否可被解析、是否用了 JS 跳转、是否在页面加载后才插入。
• 如果蜘蛛总在同批页面打转，检查分页、筛选参数和排序参数是否生成过多入口。

服务器稳定性会改变抓取节奏

抓取路径不只受链接影响，也受响应质量影响。日志中 5xx 比例升高、响应时间变长、连接超时增多时，蜘蛛往往会降低抓取频率。即使页面结构没变，URL 发现速度也可能变慢。反过来，稳定、快速的响应能让蜘蛛在同样时间内走完更多路径。

可以按周统计：蜘蛛请求总量、独立 URL 数、2xx/3xx/4xx/5xx 比例、平均响应时间、新 URL 首次被抓延迟。把这几项放在一起看，比单看“今天抓了多少”更有判断力。

日志不是排名工具，但是诊断工具

服务器日志不能直接提升收录或排名，但它能减少猜测。定期抽样查看蜘蛛抓取路径，确认 Sitemap 与内链是否一致，留意状态码和响应时间的变化，通常就能发现大部分抓取问题。先把路径理顺，再谈内容与权重，会更踏实。