蜘蛛来访量不是每天恒定的数字。它受站点更新节奏、外链变化、服务器响应以及搜索引擎自身调度的影响，短时间内上下浮动属于正常。但如果连续几天到几周都明显低于往常，而页面更新并没有停，就值得按顺序排查一遍。下面这套顺序的目的，是先用最少的操作排除掉“看起来变少”的假象，再逐步定位真实原因。
一、先确认是不是真的变少
很多“抓取下降”其实是统计口径变化。日志按天切割时，跨天的会话被拆开；启用了 CDN 或反向代理后，源站日志里可能只剩回源请求，边缘节点直接响应的抓取不会留下记录；日志格式调整、字段顺序变化，也会让原有的过滤规则失效。
- 抓取总量对比：用同一台机器、同一条正则、同一个时间段做对比。
- 区分状态码：200 与 304 加起来的量，比只看 200 更能反映真实来访。
- 区分目录：首页、列表页、详情页的抓取量分开看，避免被某一类页面掩盖。
如果确认总量确实下降，再进入下一步。不要把口径问题当成抓取问题去改站。
二、看响应质量：蜘蛛愿不愿意多来
抓取频次和服务器响应有直接关系。响应慢、超时多、错误率高，爬虫会主动降低对站点的请求频率，而且恢复往往比下降慢。这里要看趋势，不是单次波动。
- 平均响应时间与 95 分位响应时间是否同步上涨。
- 同一时间段的 5xx 比例、连接超时数量。
- 动态渲染、接口聚合页面是否在关键时刻拖慢了整站。
抓取频次的下降经常滞后于服务器问题几天出现，所以排查时要往前多看一周的服务端指标，而不是只看下降当天。
三、看 URL 供给端有没有断流
蜘蛛抓什么，取决于你给了它什么。如果内链结构或 Sitemap 在这段时间发生过调整，抓取分布很容易立刻改变。
- 主导航、面包屑、相关推荐是否改版，导致深层页面入口变少。
- 列表页是否停止更新，新内容是否还有稳定入口。
- Sitemap 文件是否仍可访问、是否被误加 noindex、lastmod 是否长期不变。
- 是否有大量链接指向 404、多级跳转或需要 JS 才能渲染出来的地址。
这一类的表现通常是“总量没大变，但新 URL 很少被抓”，和第二节的整站下降不是一回事。
四、抓了不索引，也会反过来影响抓取
有时候蜘蛛还在来，只是抓的都是老页面，新页面抓得少。这往往不是抓取端的问题，而是索引端给出的反馈：大量同质页面、低价值参数页被批量抓取后没有保留，调度就会倾向保守。
- 抽查近期被抓取的 URL，看它们是否大量属于重复或低质列表。
- 检查是否有参数、排序、筛选地址被大量抓取。
- 规范地址是否稳定，是否存在同一内容多个地址各自被抓。
五、排查顺序与观察周期
- 核对日志口径，确认下降是真的。
- 回看一周服务端指标，排除响应与错误问题。
- 检查内链与 Sitemap 的近期变更。
- 抽查被抓 URL 的质量分布，判断是否索引端反馈。
- 完成修复后统一记录时间点，观察一到两周再判断效果。
排查时尽量一次只改一处，并记录改动时间。抓取量的恢复通常不是线性的，前几天可能没反应，之后才逐步回升。把每一项改动和后续的日志曲线对应起来，下次再遇到类似情况，判断会快得多。