抓取频次不是一条水平线。站点上线新栏目、服务器做一次迁移、模板换了导航，都可能让蜘蛛的访问量在几天内上下浮动。看到曲线往下走就动手改内容，往往是把时间花在了错误的地方。更有效的方式是固定一个排查顺序，从最外层往里走。

一、先确认下降是不是真的

日志里的请求数受采集方式影响很大。先确认统计口径没有变：是不是换了日志分析工具、是不是漏掉了某个 IP 段、是不是 CDN 日志只保留了一部分。

• 按 UA 分组统计每日请求数，区分不同搜索引擎，不要只看总量。
• 看下降是全局的还是集中在某个目录、某个子域。
• 对比 Search Console 的抓取统计，两边趋势是否一致。

如果只有某一个栏目下降，全局问题基本可以排除，方向应该转向该栏目的入口和内容。

二、服务器层：抓取被中断的最常见原因

蜘蛛减少访问，很多时候不是不想来，而是来的时候没拿到稳定响应。以下指标值得逐项核对：

• 5xx 比例：短时间大量 500、502、503，会让蜘蛛主动放慢节奏。
• 响应时间：动态页面、搜索接口、数据库慢查询导致的超时。
• 连接被重置：防火墙或安全策略把高频访问的 IP 段拦掉了。
• CDN 回源失败：边缘节点缓存异常，回源请求集中打到源站。

蜘蛛对错误和超时的容忍是有限的。连续几次拿不到完整响应，它通常不会立刻报错，而是把访问间隔拉长。

三、robots.txt 与抓取设置是否被动过

这类改动影响面最大，也最容易被忽略。检查是否有人为了挡爬虫，在 robots.txt 里加了新的 Disallow，或者给整站加了访问频率限制、验证码、登录门槛。服务器层面的 UA 黑名单同样要看一下，某些规则会把真蜘蛛误伤。

四、内链与 URL 发现路径的变化

蜘蛛的抓取量很大程度上取决于它能找到多少条值得走的链接。如果最近做过模板或导航调整，重点看这几处：

• 重要栏目的入口是否从首页挪到了二级甚至三级页面。
• 列表页分页是否改成了需要点击才加载，或者干脆去掉。
• 正文里的相关推荐、上一篇下一篇是否被精简掉了。
• 新上线的页面有没有被加进任何一条内链，变成只存在于后台。

抓取路径变长，蜘蛛走到深处的概率就会下降，表现就是总抓取量缓慢减少，而不是突然归零。

五、Sitemap 与 lastmod 的信号

Sitemap 是补充通道，不是主力，但它出问题时会放大内链的缺陷。确认文件还能正常访问、返回 200、内容没有过期，分片索引里的子文件都还在。lastmod 如果长期不变，或者每次生成都刷成当前时间，信号价值都会打折。前者让蜘蛛觉得站点没更新，后者让它无法判断优先级。

六、内容与页面本身的更新节奏

如果站点连续几周没有实质更新，抓取频次回落属于正常现象。这里说的更新不是改几个字，而是新增页面、补充数据、修正过时信息这类能被识别的变化。反过来，如果每天生成大量低差异页面，蜘蛛可能先增加访问，随后快速收缩，因为有效内容比例太低。

排查顺序建议

1. 核对日志统计口径，确认下降范围和幅度。
2. 检查服务器状态码、响应时间和拦截规则。
3. 检查 robots.txt 与访问限制是否被改动。
4. 检查内链入口和列表分页是否被削弱。
5. 检查 Sitemap、lastmod 与近期内容更新量。

按这个顺序走一遍，多数情况能定位到一两个具体环节。抓取频次的恢复通常需要一段时间，改完不要每天盯着曲线看，把观察周期放到两到四周更实际。