很多站点发现收录上不去，第一反应是“蜘蛛没来”或“sitemap 没交”。但实际排查时，重复内容往往是更常见的原因。同一套内容以多个 URL 出现，搜索引擎在索引阶段会做聚类，选出一个主版本，其余版本可能长期停在“已发现未收录”或“重复网页，未选定 canonical”。
先把重复内容当成一个类型问题，而不是“删不删”的问题。不同类型对应不同处理顺序，乱删或乱加 noindex 反而可能让主版本也受影响。
先分清重复内容的几种来源
- 完全复制：同一篇内容原样出现在多个 URL，常见于采集、镜像或手动复制。
- 模板重复：不同页面主体内容不同，但页头、页脚、侧栏、推荐位占据大量相同文字。
- 聚合页重复：列表页、标签页、分页把已有摘要重复展示，本身缺少独立信息。
- 参数变体：排序、筛选、跟踪码产生大量 URL，内容主体几乎一致。
- 多语言或多地区：同一内容翻译或本地化，若未正确标注 hreflang，可能互相竞争。
收录时搜索引擎怎么处理相似页面
搜索引擎通常不会把所有相似 URL 都单独索引。它会在抓取后做内容指纹和聚类，选出一个它认为最合适的版本作为主版本。其他版本可能被标记为重复，或者被合并到主版本。这个过程不是“惩罚”，但会占用抓取配额，也让收录数字看起来不涨。
关键点在于：被抓取不等于被索引。一个重复页面可能每天被爬，但索引里始终只保留主版本。如果站点运营只看抓取量，容易误判为“正常”。
按什么顺序处理
- 先看页面有没有独立价值。如果用户打开这个 URL，能得到别处没有的信息，就值得保留；如果只是换个入口展示同样内容，考虑收敛。
- 再判断主版本是谁。优先保留内容最全、更新最及时、内链最多、URL 最简洁的版本。不要凭主观喜好选。
- 能合并就合并。把多个相似页面的内容整合到一个 URL，其他 URL 做 301 指向主版本。这是最干净的方式。
- 不能合并的，用 canonical 明确指向。注意 canonical 要指向真实可访问的 200 页面，且站点内链和 sitemap 尽量统一到同一版本。
- 完全不希望被索引的，再用 noindex。noindex 适合筛选页、跟踪页、无独立价值的聚合页，但它不传递权重，也不替代合并。
合并还是保留：看三个信号
不是所有相似页面都要消掉。可以用三个信号来判断：
- 搜索需求是否不同：如果两个页面能对应不同的搜索意图，保留并做差异化内容更合适。
- 用户路径是否必要：有些筛选页虽然内容重复，但用户确实会从搜索直接进入，这时要评估是否值得保留并优化。
- 维护成本是否可控：保留大量相似页面意味着后续更新要同步多处，很容易出现版本不一致。
如果三个信号都不明显，优先考虑合并或 301，而不是加一堆参数或 canonical 硬撑。
处理完之后怎么观察
调整后不要每天查收录数。先看索引覆盖报告里“重复网页，未选定 canonical”或“已抓取，尚未编入索引”的数量是否下降，再看主版本的抓取频次和展示量是否稳定。如果主版本没变化，说明收敛方向大致合理；如果主版本反而掉了，要回头检查 canonical 是否指错、301 是否链到了错误页面。
重复内容的处理目标不是“让每个 URL 都被收录”，而是让搜索引擎清楚哪个页面值得索引。先分清类型，再决定合并、指向还是屏蔽，顺序比动作更重要。