看收录时，很多人只盯一个总数：站点有多少页面，索引里有多少条，然后拿这个比例判断好坏。但总数是把商品页、文章页、标签页、列表页、分页和带参数的筛选页混在一起算出来的，它更像一个平均气温，不能告诉你是哪儿在漏风。把页面按类型拆开，各算各的收录率，问题通常立刻就能看见。
先分组，再谈收录率
分组不必很细，按页面在站内的角色划分即可。关键是每一组内部的页面，价值和处理策略要大致接近。
常用的一种分法
- 内容页：文章、商品详情、文档页，通常是希望被收录的主体。
- 列表与聚合页：分类页、标签页、专题页，收录价值取决于是否提供独立信息。
- 分页：列表的第二页往后，一般只留前几页。
- 参数与筛选页：排序、价格区间、颜色尺寸等组合出来的 URL。
- 功能页：登录、购物车、站内搜索结果页、用户中心，通常不需要收录。
分好组后，分别用「该组已收录数 ÷ 该组已知 URL 数」算比例。经验上，内容页偏高，聚合页中等，分页与参数页偏低甚至接近零。如果低的是后两组，那多半不是故障，而是本就该收敛；如果内容页也低，才需要真正动手。
几种典型形态，对应不同的问题
所有类型都低
说明问题不在页面本身，而在更前面：站点整体抓取量不足、robots 或 meta 有误屏蔽、服务器响应偏慢导致抓取中断，或者站点太新还在观察期。这时候先看抓取日志和响应时间，比改页面内容有用。
只有内容页低
常见原因是同类内容过多、正文太短、模板化严重，页面之间只换了标题和几行文字。搜索引擎在这种情况下会挑一部分保留，剩下的走「已抓取未索引」。处理方向是合并相似页面、补充独立信息，而不是反复提交。
只有聚合与参数页低
这是正常状态。要确认的是这些页面有没有在做无意义的内链分发：如果每一页都链向几十个筛选组合，蜘蛛会把大量时间花在它们身上，内容页反而排到后面。
新页面低、老页面正常
通常只是发现和抓取有延迟。检查新页面有没有出现在 sitemap、有没有至少一条来自已收录页面的内链。没有任何入口的新页面，只能等着被偶然发现。
抓取和收录是两件事
日志里看到蜘蛛频繁访问，只能证明它来过，不能证明页面进了索引。抓取之后还要经过内容抽取、重复判断、质量评估，最后才决定是否放入索引，以及放入哪一个版本。
- 抓取正常、收录为零：看内容是否与站内其他页面高度重合，或者是否被 noindex、canonical 指向了别处。
- 抓取很少、收录尚可：说明抓取预算集中在了少数页面，新页面发现会慢。
- 抓取多、收录反复上下：常见于内容更新频繁但结构不稳定的页面。
抓取是入口，收录是结果。入口通畅不代表结果一定出现，中间还隔着去重、质量判断和索引选择。
一个可执行的排查顺序
- 按页面类型导出已知 URL，分组统计收录比例，先定位是哪一组低。
- 对低收录组抽查 10 到 20 个样本，逐个确认返回状态码、canonical、meta robots 是否正常。
- 把样本的正文互相比对，看是否存在大面积重复或模板文字占比过高。
- 检查这些页面有没有内链入口，以及入口页面自身是否已被收录。
- 看服务器日志中这一组的抓取频次与响应时间，判断是抓不到还是抓了不收。
- 确认后一次只做一件事：合并、补充内容、收敛入口，三选一，不要同时全做。
不要为了数字好看而做的事
- 把不该收录的功能页强行提交，短期数字上升，长期会稀释整站的质量判断。
- 为了凑量把相似页面拆成更多 URL，重复内容只会让收敛更难。
- 发现收录率低就反复提交 sitemap，改变不了内容层面的判断。
收录率是一个结果指标，不是可以直接优化的对象。把它拆成页面类型，找到具体是哪一类在拖后腿，再回到内容和入口上去处理，动作会小很多，见效也更稳。