打开站长平台的索引报告，很多人第一眼会去看“已编入索引”的数量，但下面还有一长串“已排除”或“未编入索引”。排除数量增加时不必立刻紧张，因为它只是一个分类结果，不是故障清单。真正要做的，是把每个 URL 的排除原因看清楚，再决定动不动手。
排除原因是分类，不是同一类问题
搜索引擎发现一个 URL 后，会依次判断：能不能抓、抓到的内容是什么、要不要放进索引、放进索引后选哪个版本。每一步都可能把页面放进不同的排除分组。把这些原因混在一起看，很容易得出错误结论。
第一类：本来就不该进索引
- 通过 noindex 标记或 robots.txt 屏蔽的页面；
- 登录后、后台、购物车、搜索结果页等功能页；
- 带大量筛选参数的 URL；
- 已被 canonical 指向其他版本的重复页；
- 正常跳转的 301/302 和已下线的 404/410。
这些属于预期内排除。如果数量稳定，通常不需要处理；如果突然增加，先检查是不是模板改动或批量操作误伤了正常页面。
第二类：想收但还没收
- 已发现未抓取：URL 被发现了，但还没轮到抓取，常见于站点 URL 数量大、内链入口深或抓取预算有限；
- 已抓取未索引：抓到了，但搜索引擎判断页面质量、重复度或独立需求不足，暂时不放进索引；
- 软 404：页面返回正常状态码，但内容像空页或错误页；
- 重复网页，未选择规范网页：站内或站外有高度相似版本，搜索引擎自己选了一个。
第三类：状态还在变化
新页面上线、旧页面改版、栏目合并、URL 规则调整时，索引状态会在几周内来回跳。单日截图没有太大意义，至少按周对比，才看得出趋势。
处理顺序：先判断“该不该收”，再查“为什么没收”
- 确认这个 URL 是否值得单独进索引。有独立搜索需求、内容完整、能独立访问的页面才值得；
- 检查技术拦截：noindex、robots.txt、canonical、状态码是否指向了错误版本；
- 检查内容重复：同一主题是否被多个 URL 分着做，是否需要合并或指定规范页；
- 检查发现路径：内链入口是否太深、sitemap 是否包含、重要页面是否被孤岛化；
- 最后再看内容质量与外部信号，而不是一上来就批量改标题。
不要一次改太多
批量加 noindex、批量换 canonical、批量改 URL，会让报告在接下来几周更乱。比较稳妥的做法是每次只处理一类原因，记录改动日期，等下一轮数据稳定后再判断。
几个容易误判的情况
- “已抓取未索引”不等于被惩罚，可能只是页面相似度高或内容太薄；
- “已发现未抓取”通常和抓取预算有关，先减少低价值 URL 比反复提交更有效；
- “重复网页，未选择规范网页”要回看 canonical 是否自洽，而不是只看报告结论；
- “备用网页”在移动端和桌面端之间很常见，一般不需要处理。
索引报告是结果面板，不是操作面板。看到排除原因后，先问“这个页面本来该不该进索引”，再问“技术上有没挡住”，最后才问“内容够不够”。顺序反了，容易白忙。
把排除原因分成三堆：预期内、待优化、观察中。预期内的不动，待优化的按优先级逐个处理，观察中的每周看一次变化。这样既不会被数字吓到，也不会漏掉真正需要修的页面。