在索引覆盖率报告里，“已发现，尚未抓取”是很多人看到就会焦虑的一个状态。它既不是拒绝，也不是惩罚，只说明一件事：搜索引擎知道这个 URL 存在，但还没有安排抓取它。理解这个状态之前，先要把它和另一个状态分开看。
两个状态不要混为一谈
已发现，尚未抓取
URL 已经被发现，来源可能是内链、sitemap、外链或提交接口。它已经进入待抓取队列，但抓取还没有发生。决定它什么时候被真正抓取的，是站点的抓取配额和这个 URL 的相对优先级。
已抓取，尚未编入索引
这一状态说明爬虫已经取回了页面内容，但还没有把它放进可检索的索引。问题从“要不要来抓”变成了“内容值不值得收”，排查方向完全不同。把两者当成一回事，很容易改错东西——明明是内容问题，却反复去提交 sitemap。
积压通常来自哪里
抓取配额不是固定的，它与站点整体质量、响应速度和历史抓取表现有关。常见的积压来源有：
- 站点在短期内新增了大量 URL，尤其是参数、筛选、分页带来的组合页；
- 服务器响应偏慢，或频繁出现 5xx、429，爬虫会主动降低抓取频率；
- 大量低价值页面占用了名额，真正重要的页面排在后面；
- 页面之间缺少稳定的内链路径，只能靠 sitemap 被发现，优先级偏低；
- URL 反复变化，同一内容产生多份地址，稀释了抓取预算。
按这个顺序消化
- 先确认这些 URL 是否真的需要被收录。筛选页、排序页、站内搜索结果页、带会话参数的页面，多数情况下不值得占用抓取配额。先收敛它们，比催抓取更有效。
- 检查服务器与响应表现。翻服务端日志，看抓取请求的返回码分布。如果 5xx 或 429 占比不低，先修服务端，再谈收录。
- 控制新 URL 的产生速度。一次性放出几万个地址，抓取队列大概率会积压。分批发，观察一轮再继续。
- 用内链给出优先级。重要页面应能从首页在少数几次点击内到达，并且在相关页面里有自然的链接入口。只放在 sitemap 里的页面，通常排在队列后面。
- 提升页面本身的可抓价值。抓取预算是有限资源，爬虫更愿意把时间花在内容完整、结构清晰、更新有意义的页面上。
- 用日志验证，而不是靠感觉。看指定 URL 是否真的出现了抓取记录，再判断下一步动作。
不建议做的几件事
反复提交 sitemap、批量推送接口并不会凭空增加配额，短时间内重复操作反而可能被当成低质量信号。也尽量不要为了催收录去堆砌内链，或者把同一批 URL 换着参数反复提交。
抓取积压更像一个排队问题，而不是一个开关问题。排队顺序由站点的整体表现决定，改一两个页面很难立刻看到变化。
观察什么指标
比较有用的观察对象是：抓取请求的日均次数、返回码分布、抓取到的 URL 类型占比，以及重要页面的实际抓取间隔。如果一段时间里抓取总量稳定、错误率下降、重要页面的抓取间隔缩短，说明方向是对的；至于积压的存量，通常需要按周甚至按月来观察变化。
回到最初的判断：先分清是“没被安排抓取”还是“抓了但没收”，再决定是去减少低价值 URL，还是去改内容质量。顺序错了，花的时间会很多，动静却很小。