入口页的抓取频次突然掉下来，很多人第一反应是“被限速了”。但抓取频次下降至少有三种可能：被限速、抓取预算缩减、搜索蜘蛛整体调度变化。这三种情况的处理方式完全不同，先分清再动手，比盲目改页面有效得多。
一、先分清限速和抓取预算下降
限速通常表现为：服务器返回 429 或 503，同一来源的请求间隔被明显拉长，单位时间请求数下降，但蜘蛛仍然规律出现。
抓取预算下降则更像是“来的次数没变，但每次抓的页数变少”，或者只在固定时段来一次。这种情况往往和入口页质量、链接结构、站点整体抓取健康度有关，不是单纯被限速，改服务器没有用。
二、日志里的常见信号
- 出现 429、503，且来源 UA 确认为搜索蜘蛛
- 请求间隔从几秒变成几十秒甚至几分钟
- 单次访问抓取的 URL 数从几十条掉到个位数
- 入口页本身抓取正常，但目标 URL 几乎不再被跟进
不同搜索引擎对限速阈值的规则并不公开，日志现象只能作为推断依据，不能当成定论。
三、恢复时间取决于这几个变量
- 站点整体抓取健康度：长期稳定的站点，一般几天到两周能看到频次回升；频繁改动的站点会更久。
- 限速原因：如果是服务器超时、错误返回导致的，修好之后恢复相对快；如果是入口页被判定低质，恢复周期会被明显拉长。
- 入口页变更频率：恢复期频繁换链接、换结构，等于每次都在重置观察期。
- 目标 URL 的质量：全是低质、打不开或内容重复的页面，即使入口页恢复抓取，跟进也会很慢。
没有任何工具能承诺具体天数，把预期放在“周”这个量级比较现实。看到指数级回升的说法，基本可以忽略。
四、恢复期该做什么
- 先修服务器：把入口页响应时间压到一秒以内，避免 5xx、429 反复出现；如果确实需要限流，返回 429 时带上重试时间提示。
- 保持入口页稳定：这段时间不要大改模板、不要批量替换链接。
- 控制新增 URL：目标链接数量压到入口页能稳定承载的范围，宁可少而稳。
- 复查 robots 与 meta：确认没有误封、误加 noindex。
- 看日志，而不是反复提交：重复提交不会加快恢复，反而可能加重服务器负担。
五、不该做的事
- 短时间内挂上大量新域名做入口页
- 在同一页堆几百条链接，或者把入口页做成纯链接列表
- 频繁改动 URL 结构和链接写法
- 用伪装 UA 之类的办法“试探”搜索引擎
这些做法容易让入口页被归到低质一类，恢复期只会更长。
六、用三个指标跟踪恢复进度
每天固定时间导出一次日志，重点看：搜索蜘蛛的请求总数、单次访问的平均抓取 URL 数、目标 URL 被首次抓取的比例。
如果三个指标同方向缓慢回升，说明确实在恢复；如果只有请求总数回升，另外两个不动，说明抓取回来了但信任还没回来，重点要放回入口页质量和目标 URL 本身。
最后提醒一句：入口页只是发现通道，真正决定能不能被收录的，还是目标 URL 的内容和可访问性。抓取频次恢复，不等于收录就会跟着来。