在页面索引报告里，任何一条“未收录”背后都可能藏着完全不同的问题。有的是你自己要求的，有的是程序还没走到那一步，有的是走完了但不认可结果。如果不先分类，很容易对着一个正常的排除项反复改代码，或者把内容问题当成抓取问题去排查，白花时间。
按“卡在哪一步”分四类
把状态按流程位置归类，比按字母顺序一条条看要清楚得多。大体上可以分成：抓取前的排除、重复与归属、已抓取未索引、已发现未抓取。
第一类：抓取前的排除
- 被 robots.txt 屏蔽：蜘蛛没有请求，连抓取都没发生。
- 带有 noindex：抓取发生了，但你明确要求不进索引。
- 404、410、软 404：页面不存在，或内容看起来像空页。
- 需要身份验证：登录或权限挡在了前面。
这一类大多由自己设定，先确认它是否符合预期。如果站内某条链接指向了被屏蔽的地址，问题其实在链接和配置本身，不在收录。
第二类：重复与归属
- 带有用户指定 canonical 的重复页
- 系统选择了与用户不同的规范页
- 带有合适规范标签的替代页
这几条不是说页面质量差，而是在说同一内容存在多个地址，索引里只保留一个代表。处理重点是先确定你希望被代表的是哪个地址，然后让内链、站点地图和 canonical 三者指向一致。给被替代的地址继续加内容，通常不会改变归属结果。
第三类：已抓取，未索引
蜘蛛来过了，也读到了内容，但没有放进索引。原因大多不在技术层面：
- 内容与站内或站外已有页面高度相似
- 页面能提供的信息量偏少，主要部分是模板与广告
- 页面主题和站点整体定位关系不大
- 页面长期没有内部或外部链接指向
这一类要动的是内容与结构：补充有效信息、合并同类页面、让重要页面从更强的位置获得链接。反复提交地址的收益通常有限。
第四类：已发现，未抓取
系统知道这个地址存在，但还没去请求。它反映的是抓取资源如何分配：站点规模大、页面数量多、重要页面缺少链接入口时，队列就容易积压。可以核对的方向包括重要页面离首页的点击距离是否过深、是否存在没有任何入口的孤立页面、站点地图里的地址是否都可索引、服务器响应是否稳定。
处理顺序怎么排
- 先看排除类，确认哪些是主动设置、哪些是误伤。
- 再看重复类，把主副本定下来，统一各处指向。
- 然后是已抓取未索引，这一类最花时间，需要从内容和页面价值上动手。
- 最后看已发现未抓取，多数情况下改善内链和站点结构就能缓解。
- 改完之后等一个抓取周期再看，不要当天改完当天就下结论。
索引报告是现象清单，不是原因清单。同一个状态可能由配置、内容、链接三种原因中的任意一种造成，先验证假设再动手，改动才具备可复现性。
收录数量的变化常常是多个因素叠加的结果。与其盯着总数涨跌，不如按上面几类把条目拆开，一类一类看，每次只调整一个变量，才看得出哪一步真正起了作用。