在索引报告里，“已发现但尚未编入索引”和“已抓取但尚未编入索引”是两个很容易被混为一谈的状态。它们看起来都像“没收录”，但卡住的环节完全不同：一个卡在抓取之前，一个卡在抓取之后。先分清这一点，后面的排查方向才不会跑偏。
两个状态分别卡在哪一步
“已发现”意味着蜘蛛已经通过内链、站点地图或其他入口知道了这个地址，但还没有真正来抓取。这时候你去看服务器日志，往往找不到对应的访问记录。
“已抓取但未编入索引”则相反，页面已经被读过一遍甚至多遍，日志里有明确的访问，只是内容没有通过索引环节的评估。
打个不严谨的比方：前者是在排队，后者是已经面试过但没被录用。两个阶段能动手的地方并不一样。
“已发现但未编入索引”的常见原因
- 站点可抓取的地址总量太大，远远超过蜘蛛愿意同时分配的配额，大量低优先级地址只能排队。
- 服务器响应慢、经常超时或触发限流，蜘蛛会主动放慢甚至暂停对这批地址的抓取。
- 这个地址在站内几乎没有入口，或者入口藏得很深，虽然被发现，但缺少被优先访问的理由。
- 同一批自动生成的地址过多，且彼此结构高度相似，蜘蛛没有动力逐个抓取。
- 站点自身的更新频率与历史表现还在积累，蜘蛛倾向于先照顾更稳定、更重要的页面。
“已抓取但未编入索引”更偏向内容判断
- 正文内容太薄，或者关键信息要靠点击、滚动、登录之后才出现，抓到的版本几乎是空的。
- 与站内已有页面高度重合，属于可以合并的重复内容。
- 模板框架占了大半篇幅，真正独特的信息只有一两句。
- 页面主要作用是聚合或跳转，本身不提供独立信息。
建议的排查顺序
- 先确认这个地址返回 200，并且没有被 robots.txt 或页面上的 noindex 挡住。
- 去日志里看蜘蛛到底来没来。来过就是索引环节的问题，没来过就是抓取环节的问题。
- 检查内链路径：从首页点几下能到，路径上有没有孤岛页面。
- 把同类型地址放在一起看，判断是零散几个还是成批出现，成批出现通常指向结构性问题。
- 抽样人工读一遍页面，问自己一句：它是否提供了别处没有的信息。
可以着手做的调整
- 减少暴露给蜘蛛的低价值地址，分页、筛选、排序参数尽量用规范化的方式处理。
- 给真正重要的页面补内链，让它们在结构上离首页更近。
- 合并内容高度相似的页面，而不是让它们互相竞争同一批需求。
- 把服务器稳定性和响应速度做好，减少超时与 5xx，抓取节奏自然会稳一些。
- 站点地图只放希望被索引的规范地址，并保持更新时间字段真实。
这两个状态本身不算错误，而是排队与筛选的过程。调整完成之后需要给蜘蛛一定的反应时间，不必每天反复提交同一个地址。
与其盯着单个 URL 反复提交，不如退一步看整站：有多少地址值得进索引，有多少只是流程中的过渡页。把这个问题想清楚，很多“收录不上”的困惑会自己消失一半。