在索引覆盖率报告里，除了“已抓取，尚未编入索引”，还有一个常被忽略的状态：“已发现，尚未抓取”。它说明搜索引擎已经知道这个 URL 存在，可能来自站点地图、内链或外部链接，但抓取队列还没有轮到它。这两个状态的原因和应对方式并不相同，混在一起看，很容易做错动作。
“已发现”和“已抓取”分别卡在哪一步
“已发现”发生在抓取之前。搜索引擎知道有这么一个地址，但还没有实际请求页面内容。此时页面质量、关键词、正文结构都还没有被评估过，因为爬虫根本没读到。“已抓取，尚未编入索引”则是已经读过了，只是在索引阶段被判断为暂时不值得收录。把后者的问题当成前者来处理，比如反复改标题、加内链，方向就偏了。
URL 停在“已发现”的常见原因
- 抓取资源有限。 站点越大、更新越频繁，爬虫在一次访问中能请求的页面数量就越受限制。低优先级 URL 会一直排队。
- 站点整体响应偏慢。 服务器响应时间、超时比例、5xx 错误都会让爬虫降低抓取频率，队列消化得更慢。
- URL 只出现在站点地图里。 站点地图能帮助发现地址，但如果站内没有任何可点击的入口，爬虫对它的重视程度通常有限。
- 同类 URL 一次性提交太多。 批量生成的标签页、筛选页、参数页都塞进站点地图，会把真正重要的页面挤到后面。
- 站点本身较新或权重较低。 新站点的抓取配额通常需要时间积累，早期排队明显是正常现象。
自查顺序：从能控制的地方开始
- 先确认 URL 可以直接访问，返回 200，且没有跳转链或登录墙。
- 检查 robots.txt 是否误屏蔽了该路径，以及页面是否有 noindex。这两个问题会让抓取和收录都失去意义。
- 查看服务器日志或监控中的响应时间，确认没有大面积超时或 5xx。
- 从首页或栏目页出发，确认这个页面能在少数几次点击内到达，而不是只能通过站点地图找到。
- 检查站点地图中提交的 URL 数量与质量，把参数页、重复页和低价值页去掉，让重点页面排前面。
- 观察一段时间，看“已发现”的数量是缓慢下降还是持续堆积。持续堆积通常意味着抓取预算被低质 URL 消耗了。
收录是抓取、评估之后的结果，不是提交之后立刻发生的动作。能做的通常是减少干扰，而不是催促。
容易做反的几个动作
- 把所有页面都加进站点地图，希望“提交了就抓”。站点地图是发现工具，不是抓取指令。
- 用推送接口反复提交同一批低质页面。推送能缩短发现时间，但不会提高页面的抓取优先级。
- 为了“让爬虫多来”而大量生成新页面。页面越多，分摊到每个 URL 的抓取配额往往越少。
- 只盯着“已发现”的数量，不看这些 URL 是否本来就不该被收录。有些页面留在队列里反而更合适。
和“已抓取，尚未编入索引”的区别
如果状态已经变成“已抓取，尚未编入索引”，说明抓取这一关过了，问题更可能出在内容质量、重复度、页面体验或站点整体信任度上。此时该查的是正文是否完整、是否与站内其他页面高度相似、是否有明确的主题，而不是继续优化抓取入口。反过来，如果 URL 一直停在“已发现”，先别急着改内容，优先处理可访问性、内链和站点地图的取舍。
两种状态可以同时出现在一个站点里，也可以随着时间互相转换。建议按周观察趋势，而不是每天看单条 URL。把关注点放在“重要页面是否被稳定抓取和收录”上，比追求覆盖率报告里的某个数字更有意义。