不少人在 URL 检查工具或站长平台里看到目标 URL 处于“已发现但未抓取”状态，第一反应是蜘蛛池入口页没生效。实际上，“发现”和“抓取”是两个阶段，中间隔着搜索蜘蛛的调度和配额。理解这个区别，才能判断下一步该等，还是该调整入口页。
“已发现”和“已抓取”不是一回事
搜索蜘蛛通常通过链接、sitemap、URL 提交等方式知道一个地址存在，这一步叫“发现”。发现之后，它会把 URL 放进待抓取队列。什么时候真正请求这个 URL，取决于站点权重、历史抓取表现、服务器响应速度、以及当前抓取资源如何分配。
所以，看到“已发现未抓取”并不代表入口页白做了，也不代表目标 URL 有问题。它更多是在说：搜索蜘蛛已经知道这个地址，但暂时还没轮到它。
为什么会停在“已发现未抓取”
常见原因有几类，通常不是单一因素造成的。
- 抓取配额有限：搜索蜘蛛每天在某个站点上能用的抓取量是有限的。如果站点近期新增了大量 URL，队列会排得很长。
- 入口页链接质量低：入口页如果只是堆链接，缺少上下文和可读内容，搜索蜘蛛可能降低对页面的抓取优先级。
- 服务器响应慢：目标站或入口页响应时间过长、频繁超时，搜索蜘蛛会主动放慢抓取，甚至暂时跳过队列里的 URL。
- 目标 URL 被屏蔽：robots.txt、响应头、页面 meta 里的屏蔽规则，都会让搜索蜘蛛即使发现了 URL，也不去抓取。
- 重复或参数化 URL：同一个内容对应多个带参数的地址，搜索蜘蛛可能只选择其中一部分抓取，其余停在发现状态。
蜘蛛池能做什么，不能做什么
蜘蛛池的主要作用是增加 URL 被搜索蜘蛛发现的机会，尤其是新页面或链接层级较深的页面。它不能控制搜索蜘蛛什么时候来抓，也不能保证抓取后一定收录。
如果目标 URL 已经显示“已发现”，说明发现这一步基本完成了。此时继续加大量入口页，边际作用会下降，反而可能让入口页看起来更像链接农场。更值得做的是检查目标 URL 本身是否值得抓取，以及抓取路径是否顺畅。
建议的排查顺序
- 确认目标 URL 可访问：用普通浏览器和不同网络环境访问，看是否返回正常状态码，内容是否与预期一致。
- 检查屏蔽规则：查看 robots.txt、X-Robots-Tag、页面 meta，确认没有误屏蔽搜索蜘蛛。
- 看服务器日志：如果日志里搜索蜘蛛完全没来过，说明还在队列里；如果来过但状态码异常，优先修服务器问题。
- 检查入口页质量：入口页是否有实际内容、链接是否自然、是否被隐藏或折叠、是否全部是同一批目标 URL。
- 减少重复入口：同一个目标 URL 不需要几十个入口页反复指，保留几个稳定、可访问、有上下文的页面即可。
- 观察一段时间：抓取队列受整体资源影响，给搜索蜘蛛一点时间，不要一天内反复改入口页结构。
什么时候该换入口页或调整链接
如果目标 URL 长期停在“已发现未抓取”，且日志里搜索蜘蛛对入口页的访问也很少，可以检查入口页是否被降权、是否响应过慢、是否被 CDN 或 WAF 拦截。换入口页不是万能解，但把链接放在一个更稳定、更自然的页面里，通常比继续增加低质入口页更合理。
“已发现”只是排队信号，不是抓取承诺。运营中更值得关注的是：入口页是否可正常访问、目标 URL 是否值得抓取、服务器是否稳定。
总结一下：看到“已发现未抓取”，先别急着加蜘蛛池入口页。按访问状态、屏蔽规则、日志、入口页质量和重复链接的顺序排查，往往比盲目增加入口页更有效。搜索蜘蛛的抓取节奏受多种因素影响，保持站点可访问、内容清晰、链接结构简单，通常更稳妥。