先分清“已发现”和“已抓取”是两个阶段
在各类站长后台里，URL 的状态大致会经历几个阶段：已发现、已抓取、已编入索引。“已发现”只说明搜索蜘蛛从某个来源知道了这个地址的存在，来源可能是蜘蛛池入口页上的链接、sitemap、主动推送、外链，也可能是其他页面的引用。它并不代表搜索蜘蛛已经来过。
从“已发现”到“已抓取”之间，隔着一个排队和配额的过程。搜索蜘蛛每天能抓多少页面，取决于它对整个站点的抓取速度预估。入口页能把 URL 送进待抓队列，但排不排得上、什么时候排上，入口页本身说了不算。
停在“已发现”的常见原因
如果入口页明明被抓了，目标 URL 却长期停在“已发现”，一般能从下面几类问题里找到线索。
- 待抓队列太长。入口页铺了几千上万个链接，而站点每天只有几十次抓取额度，队列消化不完，新链接一直排不上。
- 目标 URL 所在站点整体抓取速度低。新站或长期没有稳定更新的站点，搜索蜘蛛给出的抓取速度本身就很保守。
- 入口页的链接质量弱。链接藏在页脚、由 JavaScript 生成、用图片承载，或者入口页内容高度模板化，都会让这条链接的优先级更低。
- 目标 URL 存在抓取障碍。robots.txt 拦截、服务器长时间超时、返回 403 或 5xx，都会让蜘蛛抓到一半就退出，并降低后续的抓取意愿。
- URL 参数过多。同一份内容产生几十个带不同参数的地址，会把抓取配额稀释掉。
用日志确认卡在哪一环
比起反复刷后台状态，直接看服务器日志更实在。重点确认三件事：入口页有没有被真实搜索蜘蛛抓取、抓取频次是多少、目标 URL 有没有出现过请求记录。
- 筛选日志中的搜索蜘蛛 UA 与 IP，统计入口页每天被抓几次。
- 在同一份日志里搜索目标 URL，看是否有请求、返回码是什么。
- 如果目标 URL 从未出现，说明卡在发现之后的排队环节；如果出现过但返回 403、404、5xx，说明卡在抓取环节。
- 对照 robots.txt，确认目标 URL 不在拦截范围内。
两类结论对应的处理方向完全不同：前者要减少入口页的无效链接、给目标 URL 让出配额；后者要先修服务器和状态码问题。
入口页这边可以调整的几件事
- 控制链接总量。与其让一个入口页挂上万个外链，不如把数量压下来，保证每个链接都有被排进队列的可能。
- 保证入口页自身可稳定抓取。响应时间稳定、返回 200、不要动不动跳转或弹验证。
- 用普通 a 标签、正文可见的锚文本。链接可被解析、可被点击，比脚本生成或隐藏链接更可靠。
- 配合 sitemap 与主动推送。它们不能保证被抓，但能让发现来源更明确，减少对入口页链接的单一依赖。
- 给目标 URL 补内部链接。站内导航、相关推荐、栏目页的链接，往往比外部入口页的链接更容易获得稳定的抓取。
- 收敛参数。能用静态路径就用静态路径，避免同一内容对应多套参数地址。
什么时候该停止等待
长尾站点的抓取速度慢是常态，从“已发现”到“已抓取”等上几周并不罕见。如果日志显示入口页稳定被抓、目标 URL 可正常访问、也没有任何拦截，那么能做的更多是优化站内结构和内容更新节奏，而不是继续加入口页。继续堆链接通常只是把队列拉得更长，并不会让某一个 URL 更快被处理。
抓取和收录由搜索引擎自行决定，入口页、sitemap 或推送手段都只是提供线索，不能保证一定被抓取或获得排名。