抓取量曲线不会一直平稳。搜索蜘蛛的抓取频率本身就跟站点规模、内容更新、服务器状态有关，短时间的上下波动很正常。但如果连续几天明显下滑，目标 URL 的发现量也跟着掉，那就值得停下来做一轮排查，而不是急着加域名、换 IP。
第一步：先确认数据本身没骗你
很多人看到的“下降”其实是统计口径变了。换过 CDN、改过日志格式、日志被轮转删除、只统计了某一个蜘蛛的 UA，都会让曲线出现假跌。
- 对比源站日志和 CDN 日志，看两边是否一致，避免只看缓存命中的那部分；
- 按 UA 分开统计，确认是某一个蜘蛛减少，还是整体都在减少；
- 看状态码分布，200 变少的同时 4xx、5xx 是不是变多了。
如果只是某个时段少了，或者周末本身抓取就偏少，先观察一周再下判断。
第二步：按从外到内的顺序查原因
1. 入口页还能不能正常打开
用不带 Cookie 的请求直接访问入口页，看返回状态码、响应时间、DNS 解析和 HTTPS 证书是否正常。证书过期、服务器时间不同步、解析被改到已下线的 IP，都会让蜘蛛直接放弃。有条件的话，用和搜索引擎相同地区的节点再测一遍。
2. robots.txt 和页面级限制
检查入口页所在域名的 robots.txt 是否被误改，Disallow 是否多了一条规则；页面 head 里是否被模板统一加上了 noindex 或 nofollow。这类改动往往是改版时顺手带上的，排查时最容易被忽略。
3. 服务器响应变慢或被限流
抓取预算和响应速度直接相关。如果入口页开始出现大量超时、首字节时间明显拉长，蜘蛛会主动降低访问频率。检查数据库慢查询、外部资源阻塞、单 IP 并发限制，以及最近是否上了新的安全策略。
4. WAF、CDN 和安全插件误拦
这类拦截通常不体现在正常访问日志里，而是体现在 403、503 或直接断连上。可以临时放行搜索引擎的官方 IP 段，观察一两天看抓取是否恢复，再决定要不要调整规则，不要长期把防护整体关掉。
5. 入口页内容和链接结构变了
改版后链接变成 JS 渲染、链接被折叠进 tab、模板把 a 标签换成了 div 加 onclick，都会让蜘蛛读不到目标 URL。抓取量下降的同时如果目标 URL 发现量同步下降，这个信号比较典型。
6. 站点整体质量信号
入口页大量重复、正文几乎空白、目标链接指向的页面本身质量较低，都可能降低搜索引擎对整批 URL 的抓取意愿。这时候继续铺量通常没有效果，先把入口页做出差异、把目标页内容补齐更实际。
第三步：恢复阶段别做的事
抓取量下滑时最忌讳频繁改配置：今天改 robots，明天换域名，后天猛提交。每次改动都需要重新观察，节奏被打乱后很难判断到底是哪一步起了作用。
- 不要为了短期数据一次性提交大量 URL；
- 不要在没确认原因前替换整批入口域名；
- 不要关闭全部安全防护来“放蜘蛛进来”。
一个简单的观察节奏
改动之后至少观察 3 到 7 天，看趋势而不是某一天的绝对值。每天记录三个指标就够了：抓取次数、状态码分布、目标 URL 发现量，对比改动前后的曲线，基本能判断方向对不对。搜索抓取本身有延迟，当天没反应不代表方案无效，反过来当天涨了也未必是这次改动带来的。