在抓取报告里看到一批 URL 的状态是「已发现 - 目前尚未编入索引」，很多人的第一反应是内容出了问题。其实这个状态说明的是：蜘蛛已经知道这些 URL 存在，但还没去抓，或者抓了还没处理完。发现和抓取是两件不同的事，中间隔着一个排队与处理的过程。
发现与抓取之间，隔着一个队列
URL 被发现的通路很多：Sitemap、站内链接、外部链接、主动提交、重定向等。只要其中一条被蜘蛛读到，这个 URL 就会进入它的待抓取队列。但进入队列不等于马上被抓，蜘蛛会根据自己的抓取能力和站点实际情况，给队列里的 URL 排先后顺序。
所以「已发现未抓取」本质上是一个等待状态。等待时间的长短，取决于蜘蛛愿意在你的站点上花多少时间，以及它判断这些 URL 值不值得优先处理。
常见卡点有哪些
低价值 URL 占住了抓取份额
如果一个站点里存在大量参数页、筛选结果页、重复内容页，蜘蛛每次来访都可能被这些 URL 消耗掉大部分时间，真正想被抓的新页面反而排在后面。用 robots.txt 屏蔽无意义的参数组合、给重复页面做好规范化，能把浪费掉的那部分份额收回来。
服务器响应慢或不稳定
蜘蛛在抓取过程中会记录响应时间和错误率。如果经常出现超时、5xx 错误，它会主动降低对你站点的抓取频率，而且这个调整往往需要一段时间才会恢复。抓取量下降时，先去看服务器日志里的 5xx 比例，通常比反复提交 URL 更有效。
内链太少，页面位置太深
只写在 Sitemap 里、站内没有任何链接指向的页面，即使被发现，也很容易被放到队列末尾。内链是蜘蛛判断页面重要程度的直接依据：从首页点几次能到、有多少相关页面指向它，都会影响它的处理优先级。
提交量超过了处理节奏
一次性提交几万个新 URL，和分批、持续地提交，效果差别很大。蜘蛛的抓取能力有上限，堆积的队列只会让每个 URL 等得更久。新内容按实际发布节奏提交，比集中推送更容易被及时处理。
重定向与规范化带来的额外消耗
如果一个 URL 要经过多跳重定向才能到达最终页面，蜘蛛需要多次请求才能完成一次抓取，成本更高。把重定向链压到一跳，并确认最终地址就是你想被抓取的那个，可以减少这类无谓消耗。
怎么判断卡在哪一步
- 看服务器日志：蜘蛛最近来过哪些 URL，返回了什么状态码，响应时间是多少。
- 看抓取统计：抓取总请求量是在上升还是下降，明显下降通常和服务器状态或站点结构有关。
- 看内链：随机抽几个未抓取的 URL，数一数站内到底有多少链接指向它。
- 看是否有屏蔽规则：robots.txt、meta robots、X-Robots-Tag 是否误伤了这些页面。
可以做的几件事
- 清理低价值 URL：屏蔽参数页、空结果页、重复列表页，把抓取份额留给真正的内容。
- 补内链：从相关文章、栏目页、面包屑给目标页加入口，让它在站内不再孤立。
- 稳定服务器：控制 5xx 比例，避免蜘蛛来访时频繁超时。
- 维护 Sitemap：只放值得抓取的 URL，lastmod 如实更新，别把它当成堆放地址的清单。
- 分批提交：跟着内容发布节奏走，而不是攒一批一次性推上去。
「已发现未抓取」不是必须立刻处理的错误状态，它更像是蜘蛛给出的一条排队提示。把站内低价值 URL 收干净、把内链补上、让服务器保持稳定，队列前进的速度通常会变快。
需要提醒的是，以上做法都只是提高被及时抓取的可能性，没有哪种手段能保证某个 URL 一定被抓取或收录。抓取决策最终由蜘蛛自己完成，运营能做的是减少阻碍、降低它抓取你站点的成本。