为什么逐页盯收录很费劲
很多站长查收录的方式是：挑几个页面搜一下，发现没收录，就去改标题、加内链、再提交一次。这样做的问题是看不到规律——一个页面没收，可能是内容太薄，也可能是模板重复、内链走不到、参数太多。单页样本太少，改来改去往往只是在撞运气。
更有效的做法是把整站 URL 分成几组，按组看数据。同样是“收录率低”，如果只有一层目录低，那多半是那一批内容的问题；如果全站都低，才需要往站点整体质量和抓取状态上想。
先确定分组口径
分组前先统一 URL 口径，否则统计出来的数字会失真。要点有三条：
- 统一协议、域名和结尾形式：把带 www 与不带 www、http 与 https、带结尾斜杠与不带斜杠的写法收敛成一种，再统计。
- 去掉跟踪参数：utm、来源标记、排序和筛选参数尽量剥掉，只保留决定内容的参数。
- 用同一个来源清单：以站内链接、sitemap 或数据库里实际存在的页面为准，不要用抓取工具随手跑出来的结果当分母。
常用的三种分组方式
- 按目录分组：例如商品、文章、标签、专题、帮助中心各算一组。适合看哪一类业务页面收录差。
- 按模板分组：同一个模板生成的所有页面算一组，比如列表页、详情页、聚合页。同一模板的问题往往高度一致。
- 按来源分组：从首页几跳可达的、只在 sitemap 里出现的、只靠外链进入的，分开统计，可以看出内链深浅的影响。
每组都对齐四个数字
- 发出的 URL 数量：这一组里实际存在、允许被抓取的地址有多少。
- 已发现：蜘蛛知道这些地址存在，但还没访问。
- 已抓取：被访问过的数量，可从服务器日志或抓取统计里核对。
- 已收录：能被站内检索或索引状态查询确认进入索引的数量。
四个数字分开看，会比一个笼统的收录率有用得多。抓取和收录本来就是两件事，先抓不到还是抓了不收，处理方向完全不同。
几种常见组合怎么读
- 已发现多、已抓取少：多半是抓取预算被别的地址占掉了，或者这一组地址在内链里埋得太深，蜘蛛排队排不到。可以先从内链和低价值 URL 的收敛入手。
- 已抓取多、已收录少：说明蜘蛛来过，但索引阶段没选它。常见原因是内容重复度高、正文信息量不足，或同一主题已经有更完整的页面。
- 整组几乎不收录，其它组正常：优先怀疑这一组的模板本身，比如列表页只输出标题、详情页只有参数不同、页面主要靠前端脚本渲染。
- 每组都低：不急着改单页，先确认 robots、站点状态码、服务器响应是否正常，再看整站的内容结构。
按结果决定先修哪一段
只有某一组偏低
把精力放在这一组。检查正文是否实质性、同一模板产出的页面之间差异有多大、有没有必要让每个页面都独立存在。对确实没有独立价值的地址，保留入口但阻止索引，比硬撑着让它收录更省事。
各组都一般
这时更可能是结构和抓取层面的问题：重要页面离首页太远、导航把大量权重导向无价值列表页、参数地址重复消耗抓取。先做 URL 收敛和内链整理，再回头观察数字变化。
数字长期不动
先核对统计口径是否变了，比如改过域名、加过 CDN、日志格式换了。排除口径问题后，再看这段时间站内是否有大规模改版或模板调整。数字不动有时是统计错觉，不一定是收录退步。
这些数字只能说明趋势，不能当成绩单。索引里保留哪些页面由搜索方判断，我们能做的是把结构、内容和抓取条件整理清楚，而不是想办法凑出一个好看的收录率。
统计时容易踩的坑
- 时间窗口不一致：发出的 URL 是今天的，收录数据是上周的，比值自然失真。建议同一天取数，并标注时间。
- 把抓取当收录：日志里蜘蛛来过几次，只能说明抓了；是否进索引要单独确认。
- 样本太少就下结论：一组只有十几个 URL 时，个位数差异不说明问题。
- 只看总量不看分布：总量涨了但增量都来自标签页或筛选页，反而是负担。
把 URL 分组、对齐四个数字、按组判断，这件事本身不复杂，难的是每次都按同一口径做，并给它留出足够长的观察周期。坚持一段时间，你会更清楚自己的站点在哪个环节卡住，而不是每次都在猜。