在索引报告里，“已发现，尚未抓取”是一个容易被误读的状态。它既不算失败，也不等于被拒绝，只表示搜索引擎已经知道了这个 URL，但还没来取内容。分清这一点，才能判断该等一等，还是该动结构。
三个状态各管什么
把链路拆成三步会清楚很多：
- 已发现：URL 进入了待抓取队列，来源可能是 sitemap、站内链接、外部链接或上一次抓取时的跳转。
- 已抓取：蜘蛛确实取回了内容，但还没决定是否放进索引。
- 已编入索引：内容被接受，可以出现在结果里。
卡在第一步，说明问题出在“要不要来取”，而不是“内容够不够好”。这两件事的处理方式完全不同，用错力气往往白忙。
常见的排队原因
站点层面的因素
- 抓取预算被大量低价值 URL 占用：筛选参数、站内搜索结果页、无限翻页、重复列表。
- 服务器响应偏慢或错误率偏高，蜘蛛主动降速，队列消化速度随之变慢。
- 新站或新目录缺少积累，整体抓取频次本来就不高。
页面层面的因素
- 层级太深，或者只存在于 sitemap 里，站内没有任何真实链接指向它。
- 内容与已有页面高度重合，缺少独立价值，优先级自然靠后。
- URL 形态不稳定，同一内容存在多个带参数的版本，信号被分散。
- 主体内容依赖 JS 才能拿到，蜘蛛第一次取回的 HTML 里几乎是空的。
按这个顺序排查
- 先确认 URL 可访问：返回 200，robots 没有挡住，不依赖登录状态。
- 再确认站内有没有链接指向它。导航、正文内链、列表页任意一种都算，孤岛页最容易长期停在队列里。
- 看服务器表现：响应时间、超时比例、5xx 频率。抓取统计里的平均响应时间比翻单次日志更有参考价值。
- 判断是个别页面还是整批页面。抽样十几个同类 URL，如果都停在同一步，问题多半在模板或目录层面。
- 最后回到价值判断：这批页面对用户是否有独立意义，还是同一套模板换了个参数。
可以做的与不必做的
能推进状态的动作，通常是结构性的：
- 给重要页面补站内链接，缩短点击深度；
- 合并或下掉重复、单薄的页面，减少无意义 URL 的产生；
- 把 sitemap 控制在真实有价值的 URL 范围内，别把它当成万能提交口；
- 该挡的参数、筛选、内部搜索页，用规则提前处理掉。
帮助不大的动作：反复单独提交、为了推动抓取去堆外部链接、每天刷新报告看有没有变化。队列本身有自己的节奏，频繁操作只会让判断失真。
“已发现”只说明蜘蛛知道这个 URL 存在，抓取顺序由站点整体表现和页面价值信号共同决定，并不是提交一次或等几天就会改变。
怎么盯才不至于焦虑
建议按周看趋势：索引报告里各类状态的数量、抓取统计里的请求数与响应时间、日志里蜘蛛对目标目录的访问频次。三个数据源交叉看，才能分清是整站在被降速，还是某批 URL 确实不值得先抓。
如果一批页面在这个状态停留数周，而站内链接和响应时间都正常，那多半要回到内容层面：它们是否提供了别处没有的信息，是否只是同一模板的重复排列。这个问题不解决，状态大概率会一直停在那里。