在站点后台的索引报告里，“已发现但尚未抓取”是一个容易被忽略、但信息量不小的状态。它不等于页面有问题，也不等于被拒绝，只是说明搜索引擎已经知道这个 URL 存在，但还没安排访问。想清楚它卡在哪一环，比反复提交要有用。
这个状态在说什么
搜索引擎处理一个 URL 大致会经历几步：发现地址、进入待抓取队列、实际抓取、再判断是否进入索引。这个状态刚好卡在发现和抓取之间——地址已经被记录（来源可能是 sitemap、外链、站内链接或历史数据），但抓取队列还没轮到它。
换句话说，问题通常不在“页面好不好”，而在“值不值得现在去抓”。
它和“已抓取但未编入索引”的区别
这两个状态经常被混着看，但成因差别很大。前者在抓取入口，多和抓取容量、URL 优先级、入口强度有关；后者已经完成抓取，进入质量评估环节，多和内容重复、主体内容过薄、信任信号不足有关。把两者放在一起分析，很容易做出错误的调整。
常见原因
- 抓取频次有限：站点整体被抓取的节奏由历史表现决定，新增 URL 需要排队。站点规模突然变大时，这个状态会明显增多。
- 入口太弱：URL 只出现在 sitemap 里，站内没有任何链接指向它。蜘蛛缺少再次来访的理由。
- 抓取额度被占用：站内有大量参数页、筛选页、空列表页反复被访问，留给新页面的空间自然变小。
- 服务器响应慢或不稳定：加载时间偏长、偶发 5xx，会让蜘蛛降低对这个站点的抓取意愿。
- 页面重复度偏高：内容与已有页面高度相似时，抓取的优先级会被压低。
- 抓取被阻挡：robots 规则或安全防护误拦，日志里看不到正常请求，但状态仍会显示“已发现”。
按顺序排查
- 先看服务器日志：这个 URL 到底有没有被请求过。如果被请求过且返回异常状态码，问题就不在“没抓”，而在响应本身。
- 确认可访问性：返回 200、没有登录墙、不依赖交互才出现正文。需要滚动或点击才加载的内容，抓取阶段容易判为空白。
- 检查站内入口：从主题相关的页面加上一两条真实链接，通常比重复提交有效得多。入口位置越靠近首页，被再次访问的概率越高。
- 检查 sitemap：地址是否包含、lastmod 是否真实、有没有拆分成多个索引文件。sitemap 是补充通道，不是主要入口。
- 收敛低价值 URL：把筛选、排序、会话参数类地址用规范链接或抓取规则整理掉，把额度让给真正想被收录的页面。
- 看响应时间与 5xx 比例：稳定、快速的响应是抓取频次的基础。
- 必要时手动触发一次：少量 URL 可以借助提交接口推动，但不要重复做同一件事。
几个容易做错的动作
- 反复手动提交同一个地址，不会加快多少，反而增加无谓负担。
- 为了让它被收录而堆大量内链，链接的相关性比数量重要。
- 把 sitemap 当成主要发现路径，忽略了站内链接结构这个更稳定的入口。
- 一看到这个状态就改内容。如果日志显示根本没抓过，改内容并不解决排队问题。
这个状态更接近“排队中”，而不是“被否定”。先看入口强弱和整体抓取容量，再谈内容层面的优化。
怎么判断有没有改善
判断依据应该放在日志上，而不是盯着状态标签。如果一段时间内日志里始终没有该 URL 的抓取记录，说明还需要继续处理入口和站点整体抓取效率；如果日志里已经出现抓取记录，那问题就转移到索引阶段，接下来要看的维度就变了。
观察周期上，给一两周时间再看变化比较合理。收录本身受站点体量、抓取资源、页面价值等多重因素影响，任何单点动作都很难立刻见效，也不存在可以保证收录的做法。