在搜索后台或站长工具里看到一批 URL 处于“已发现，尚未抓取”，很容易让人着急。这个状态本身并不代表页面有问题，它只说明搜索引擎已经知道这个地址存在，但还没有真正安排抓取。发现和抓取是两件事，抓取和收录又是另外两件事。把它放回整个流程里看，排查方向会清楚很多。
先分清“发现”是怎么发生的
URL 被发现，通常来自几个入口：sitemap 里列出的地址、站内链接、外部链接，以及手动提交。发现环节只负责把地址登记进待处理列表，后面还要经过去重、优先级排序、抓取排期。一个页面被发现了，不等于它马上会被抓；被抓了，也不等于一定会进索引。
“已发现但未抓取”常见的几个卡点
- 抓取预算被其他 URL 占用。尤其是大量参数页、筛选页、重复列表页，会挤占同一站点的抓取名额。
- 服务器响应慢或不稳定。爬虫遇到超时、5xx 或波动较大的响应，通常会降低对该站点的抓取频率。
- 同一页面有多个变体。带跟踪参数、排序参数、大小写不同、结尾斜杠不一致的地址，会在队列里形成重复登记，真正规范的那一个反而排得更久。
- 内链入口太弱。如果页面只能从 sitemap 找到，站内几乎没有可点击入口，或者入口页本身抓取频率就很低，它被安排抓取的速度自然慢。
- robots.txt 或防火墙误伤。有时不是没抓，而是抓取请求被挡在门外，状态就停留在发现阶段。
- 新站或低权重目录的优先级偏低。在抓取资源有限的情况下，搜索引擎会优先处理它认为更值得抓的部分。
排查顺序：从可抓取性开始，不要先催提交
- 确认 URL 本身可抓取。检查状态码是否为 200，重定向链是否过长，robots.txt 是否误屏蔽，是否有登录、弹窗或验证码拦截。
- 检查重复变体。把同一页面的参数版本、协议版本、大小写版本、结尾斜杠版本列出来，能用 canonical 或跳转收敛的先收敛，减少队列里的无效登记。
- 看服务器日志。确认爬虫有没有来过、来了几次、抓的是哪个地址、返回了什么状态。日志比后台状态更接近真实情况。
- 检查内链入口。从首页出发，点几下能到目标页；链接是否可被爬虫识别；锚文本是否自然描述了页面主题，而不是“点击这里”。
- 收敛 sitemap。只放规范、可索引、内容相对完整的 URL。不要把参数页、已下线页、重复页大量塞进去。
- 稳定响应时间。让重要目录保持稳定的 200 响应，避免频繁超时和大幅波动。
哪些动作容易适得其反
反复手动提交同一批 URL，通常不会让抓取更快，反而可能让入口数据变得嘈杂。给参数页、筛选页、空结果页大量加内链，也会把抓取名额导向低价值地址。为了“催抓”频繁改动页面标题和正文，可能让页面反复进入待观察状态。更稳妥的做法是先把结构、重复和响应这几层整理干净，再让发现入口自然工作。
后台状态是结果，不是原因。看到“已发现但未抓取”，先问三个问题：它是否可抓？它是否被重复地址稀释？它是否有足够清晰的站内入口？
给自己一个观察窗口
不要逐页盯状态。按模板或目录分组，例如文章页一组、栏目页一组、聚合页一组，每周看一次组内变化。如果某一组长期停在发现未抓取，优先处理该组的入口结构、重复变体和服务器响应，而不是继续增加提交入口。抓取排期本身有滞后，短期波动不必过度反应；但如果几周都没有抓取痕迹，就值得按上面的顺序认真查一遍。