“已发现，尚未抓取”到底指什么

在 Search Console 的页面索引报告里，这个状态经常出现。它的字面意思很直白：搜索引擎知道这个 URL 存在，但还没安排抓取。注意，它不是收录失败，也不是抓取失败，而是排在队列里等待。真正的问题在于，如果一个 URL 长期停在这个状态，说明它在这场排队里一直没有被优先考虑。

换个角度看：被抓取只是第一步，抓取之后还要判断是否值得进索引。而“已发现，尚未抓取”连第一步都没走完。所以它反映的往往不是页面本身的质量，而是发现方式和站点整体抓取分配的问题。

URL 是怎么被“发现”的

搜索引擎发现 URL 的途径大致有三类：

• 站内链接：爬虫顺着已有页面的 a 标签爬到新 URL，这是最主要的通道。
• Sitemap 提交：相当于主动报备一份清单，但报备不等于立刻抓取。
• 外部链接与历史记录：别的站点提到过、或者以前访问过，也可能被重新捡起来。

关键区别在于：通过站内链接发现的 URL，通常带着上下文——它挂在哪个页面、周围是什么内容、锚文本写了什么，搜索引擎更容易判断它的价值；而只靠 Sitemap 报备、站内没有任何入口的 URL，信号就单薄得多。孤岛页面长期停留在这个状态，原因大多在这里。

四种常见的堆积来源

1. 站内入口很弱或没有入口

页面只能从 Sitemap 找到，或者入口藏得很深，比如只在某个筛选结果里出现、只在分页很靠后的位置被链接。这类 URL 被“发现”了，但缺少足够的理由插队。

2. URL 数量远超站点的抓取容量

一个站如果动辄几十万个可访问 URL（参数组合、筛选页、标签页、日历归档），而每天的抓取量有限，队列自然越来越长。这时候堆积不是某个页面有问题，而是整体供给过多。

3. URL 本身不稳定或重复

同一份内容对应多个地址：带参数、带会话 ID、大小写不同、末尾斜杠有无。每一次变体都可能被当成一个新 URL 进入队列，既稀释了抓取额度，也让同一批内容反复排队。

4. 页面长期没有变化

内容基本不更新、也没有新的内部链接指向，搜索引擎会降低回访频率。这类页面不会消失，但会一直往后排。

处理顺序：先做减法，再做加法

遇到大量“已发现，尚未抓取”，先别急着催抓取，顺序一般是：

1. 确认这些 URL 是否真的需要被收录。筛选参数组合、排序页、站内搜索结果页、重复的标签页，多数情况下并不需要进索引。用 robots.txt 屏蔽抓取、用 noindex 标记不收录，两者用途不同，别混用。
2. 统一 URL 形态。定好大小写、末尾斜杠、参数处理规则，让同一份内容只对应一个主地址，其余做 301 或 canonical。
3. 给重要页面补上真实的站内入口。从首页、频道页、相关文章、面包屑里链接过去，比只在 Sitemap 里躺着有效得多。锚文本尽量写清楚目标页讲什么。
4. 检查 Sitemap 是否“注水”。只放需要被收录的规范地址，并及时移除已下线、已重定向、已 noindex 的 URL。清单越干净，参考价值越高。
5. 观察趋势而非单日数字。这个状态本身会波动，重点看一周、一个月内是不是持续下降。

几个容易踩的坑

• 把抓取和收录当一件事。抓取量上去了，不代表收录量跟着上去，两个指标要分开看。
• 用“页面质量差”解释一切。很多堆积其实是入口和 URL 管理的问题，不是文案写得不好。
• 指望 Sitemap 解决所有发现难题。它解决的是“告知”这一步，剩下的靠站内结构和抓取容量。
• 为了冲数量批量生成页面。这会让队列更长，反而拖慢真正重要页面的抓取。

把“已发现，尚未抓取”当成一个队列管理问题，而不是一个惩罚结果，处理起来会清晰很多：减少无效 URL、把入口接上、把清单理干净，剩下的交给时间。