在索引报告里，“已发现，尚未编入索引”和“已抓取，尚未编入索引”经常挨着出现，但它们的含义完全不同。前者说明蜘蛛只是从某个入口知道了这个网址存在，还没真正访问过；后者说明蜘蛛已经读过页面，只是判断暂时不值得放进索引。两种状态的排查方向不一样，混在一起看，很容易把时间花错地方。这里只谈第一种。
发现和收录之间，隔着两道关
发现是入口问题：网址需要出现在某个蜘蛛能读到的地方，比如内链、sitemap、外链或者历史记录。收录是判断问题：蜘蛛抓取之后，搜索系统还要决定这个页面值不值得留一份索引。地址被发现了，只代表第一关过了；第二关过不过，取决于页面本身，也取决于站点整体情况。
所以“已发现未编入索引”这个状态，通常不是某个开关没打开，而是排序在后面的页面：系统知道它存在，但暂时没有优先抓取和收录的理由。
常见的几种卡住原因
- 站点整体体量小、更新少：新站或长期内容稀疏的站，发现到抓取的间隔本来就长。
- 页面内容与站内其他页面高度重复：同一批商品换个标题、同一篇文章换个栏目，系统挑一个代表地址就够了。
- URL 层级深、缺少内链：只能靠 sitemap 出现，没有从首页或列表页点进去的路径。
- 抓取资源被别的页面占用：筛选页、日历页、站内搜索页消耗了大量抓取。
- 服务器响应不稳定：频繁的 5xx、超时或限流，会让蜘蛛降低访问意愿。
- 页面依赖 JavaScript 渲染：首屏接近空壳，渲染失败时蜘蛛看到的内容很少。
按这个顺序排查，比反复提交有用
- 先用 URL 检查工具确认状态：确认是“已发现未抓取”而不是“已抓取未索引”，两者处理方式不同。
- 翻服务器日志：看蜘蛛到底来过没有、来了几次、返回的是什么状态码。日志里完全没有记录，才是真的只发现了地址。
- 检查内链路径：从首页出发几次点击能到这个页面，有没有稳定的列表页或聚合页指向它。把入口补上，比在 sitemap 里反复出现更有效。
- 对比内容相似度：这个页面的正文和站内其他页面是不是只差几个词。如果确实重复，考虑合并、加 canonical，或者干脆不索引。
- 看站点整体的抓取分布：如果日志里大部分请求都给了参数页、分页和站内搜索结果页，真正需要被收录的页面自然排不上队。
- 确认渲染结果：关掉 JavaScript 打开页面，看看还剩多少正文。如果几乎为空，需要先解决渲染问题。
几件不建议做的事
- 把同一个地址反复提交、反复手动请求抓取。短时间内看不出变化，反而容易把重点带偏。
- 一次性上线大量模板生成、内容几乎相同的页面，然后指望它们全部进索引。
- 靠外部链接或蜘蛛池把日志刷得热闹。抓取次数增加了，页面质量没变，状态也不会跟着变。
发现是入口，收录是判断。入口可以补，判断要靠页面本身和站点整体。
把观察周期放长一点
从发现到抓取，再到进入索引，中间本来就可能有几天到几周的间隔，站点体量越大、同类内容越多，这个间隔往往越长。处理这类状态，比较现实的做法是：先把明显的入口缺失和内容重复解决掉，然后留出一段时间观察，而不是每天盯一次状态。如果几周之后日志里依然没有抓取记录，再回头检查是不是入口本身被挡在了外面。