在搜索抓取相关报表里，“已发现但未抓取”是一个常见的中间状态。它表示蜘蛛已经通过某种路径知道了这个 URL，但还没有真正请求它。这个状态本身不等于问题，但如果大量重要页面长期停在这里，运营侧就需要从入口和抓取路径上找原因。
“已发现未抓取”通常卡在哪
URL 被发现之后，会进入一个待抓取队列。蜘蛛会结合站点整体情况决定先抓谁。常见原因包括：
- 抓取预算有限：站点 URL 总量大，蜘蛛每次来访只能处理一部分。
- 服务器响应慢或不稳定：超时、5xx、频繁跳转都会让抓取节奏变慢。
- 新 URL 集中爆发：批量生成页面或改版后，队列一下子被塞满。
- 入口太深或内链太弱：重要页面只靠 Sitemap 被发现，缺少站内链接支撑。
- 无效 URL 占位：参数组合、筛选页、重复页把队列资源分散掉。
先排查服务器和响应链路
蜘蛛抓取一个 URL 时，最先接触的是服务器和网络层。如果这一层不稳定，后面的发现和抓取都会受影响。
- 看访问日志里蜘蛛请求的响应码分布，5xx 和超时是否集中在某些目录或时段。
- 检查 CDN 回源、负载均衡和数据库慢查询，避免源站偶尔卡住。
- 确认 robots.txt 可正常访问，不要因为临时维护把它变成 5xx。
- 减少不必要的重定向链，尤其是入口页到目标页之间的多级跳转。
服务器稳定性不是“抓取优化”的附加项，而是 URL 能被稳定发现和抓取的前提。
再看 Sitemap 和内链是否把路径铺好
Sitemap 能帮助蜘蛛发现 URL，但它不保证抓取优先级。真正影响抓取路径的，往往是站内链接结构。
- Sitemap 文件不要过大，必要时按栏目或内容类型拆分，方便蜘蛛分批读取。
- lastmod 尽量真实，频繁全量更新会让蜘蛛难以判断哪些页面值得优先回访。
- 重要页面应有从首页或栏目页出发的短路径，不要只藏在很深的分页里。
- 检查孤立页：没有任何内链指向的 URL，即使进了 Sitemap，也容易被排在后面。
- 列表分页、标签页和筛选页要控制数量，避免自动生成大量低差异入口。
运营侧可以做的几件事
- 用日志确认蜘蛛实际抓了哪些 URL。不要只看报表状态，结合服务器日志看抓取频次和路径。
- 清理重复和无效入口。统一 URL 形式，处理软 404、空页面和参数爆炸。
- 把重要页面放到更短的内链路径上。从高权重页面给出稳定链接，减少层级。
- 控制一次性新增 URL 的规模。批量发布时分批放出，给抓取队列留出消化时间。
- 保持 URL 结构稳定。频繁改路径、改参数会让已发现的 URL 反复失效。
不要把它当成单独的开关
“已发现但未抓取”更像一个观察指标。它提醒你：URL 虽然被发现了，但抓取路径、服务器响应和队列优先级可能还有改进空间。与其反复提交 URL，不如先让重要页面更容易被稳定访问，让站内路径更清晰。这样即使抓取节奏有波动，蜘蛛也能沿着更确定的路线走。