在抓取日志或站长工具的覆盖报告里，经常会出现一批状态为“已发现但尚未抓取”的 URL。它们不是被 robots 拦截，也没有返回错误码，只是停留在队列里等待。这类积压通常不是单一原因造成的，而是 URL 发现来源、服务器响应速度和内容重复度共同作用的结果。排查时，先把“发现”与“抓取”两个环节分开看，更容易找到瓶颈。
先分清 URL 是怎么被发现的
同一个 URL 可能同时来自内链、XML 站点地图、外链、重定向跳转或脚本注入。来源不同，蜘蛛对它的兴趣也不同。
- 内链发现：通常优先级较高，尤其是导航、列表页和正文中的链接。
- Sitemap 发现：能补充覆盖，但如果页面上没有对应入口，抓取动力会弱一些。
- 外链发现：取决于来源页的抓取频率和链接位置。
- 重定向与脚本发现：容易被忽略，也容易带来重复入口。
如果某个 URL 只在站点地图里出现，站内没有任何指向它的链接，它长期停在“已发现”状态并不意外。此时与其反复提交，不如先给它安排一个正常的站内入口。
队列积压的常见原因
1. 服务器响应慢或抖动
抓取预算和服务器承载能力直接相关。如果同一路径下大量页面响应时间偏长，或者偶尔出现超时、连接中断，蜘蛛会降低对该目录的抓取频率。日志里可以重点看首字节时间、连接耗时和 5xx 的比例。
2. Sitemap 里塞了太多低价值 URL
分页参数、筛选排序、带跟踪参数的链接，如果都被写进站点地图，会稀释真正需要抓取的页面。站点地图应当以稳定、可索引、有独立内容的 URL 为主。
3. 内链只出现在深层或孤岛页面
链接存在不等于链接有效。如果链接位于很少被抓取的页面，或者被折叠、懒加载、需要多次交互才能展开，蜘蛛可能看不到，或者看到了也不会优先安排。
4. 内容高度相似或重复
同一内容对应多个 URL，例如大小写、参数、打印版、会话 ID 等，会让蜘蛛反复遇到相似页面。减少重复入口，比增加提交量更有效。
一份可执行的核对清单
- 从服务器日志中筛出该路径，确认是否真的从未被抓取，还是抓取过但未索引。
- 检查 robots.txt、meta robots 和 X-Robots-Tag，排除误拦截。
- 测试页面返回码，确认不是软 404、重定向链或空内容。
- 查看该 URL 在站内是否有可点击链接，链接是否出现在被抓取频繁的页面。
- 检查站点地图，移除重复、重定向和参数扩散的 URL。
- 对比同目录下已被抓取的页面，看响应速度和模板结构是否存在差异。
- 确认没有通过脚本动态生成的唯一链接在批量扩散。
调整顺序：先修可达性，再补入口
处理积压时，顺序比动作数量重要。先解决服务器稳定性和重复 URL，再补充内链，最后才是提交或等待。如果一开始就大量提交，而服务器响应没有改善，队列只会更拥堵。
抓取队列的清理，靠的是减少无效发现，而不是增加提交频率。
观察哪些指标
- 日志中该路径的首次抓取时间与回访间隔。
- 同目录下已抓取 URL 的数量变化。
- 站点地图提交后的抓取比例，而不是提交总数。
- 服务器平均响应时间和错误率是否同步下降。
“已发现未抓取”并不一定意味着网站有问题，但如果同一批 URL 在较长时间内没有进展，就值得按上面的顺序核对一遍。把入口做清晰、把响应做稳定、把重复 URL 收敛掉，通常比反复提交更接近问题的实际解法。