做站点收录时，重复内容是一个绕不开的问题。但“重复”并不是一种情况：模板造成的重复、聚合页造成的重复、转载同步造成的重复，处理方式完全不同。如果一上来就删页面或者批量加 noindex，很容易把本来有效的入口一起收掉。
先分清：重复内容与多 URL 不是同一件事
多 URL 通常指同一个页面被多个地址访问，比如带参数、大小写、末尾斜杠不同。重复内容则更宽泛：不同地址上展示的主体内容高度相似，甚至文字完全一样，只是模板、筛选条件或发布来源不同。两者可能同时出现，但排查顺序不一样。先看地址是否指向同一份内容，再看内容本身是否有独立价值。
三类常见重复及判断方式
模板重复
列表页翻到第二页、第三页时，如果页面上除了排序变化外，大部分条目和标题都相同，就容易形成模板重复。详情页底部推荐模块、侧栏热门文章如果大量重复，也可能稀释页面主体。判断时可以问：去掉模板部分后，这个地址还剩多少独立信息？
聚合重复
标签页、专题页、作者页、分类页常常把已有内容重新组合一遍。如果聚合页只是机械罗列标题和摘要，没有额外筛选维度、数据统计或编辑说明，它和详情页之间就构成明显重复。保留哪一边，取决于哪一边更可能被用户当作最终答案。
转载与同步重复
同一篇稿件发在多个栏目、多个子站，或者通过接口同步到不同域名，都会产生转载型重复。这类重复不一定需要删除，但需要明确主版本：首发地址、内容最完整的地址，或者用户最可能访问的地址。其余版本可以用 canonical 指向主版本，或延迟发布、保留来源说明。
处理顺序：先定主版本，再收口入口
- 确定主版本。从内容完整度、访问量、内链数量和更新维护成本四个角度选一个地址作为主版本，不要只凭域名新旧判断。
- 统一 canonical。其余版本如果能保留访问，就指向主版本；如果本身没有保留价值，再考虑合并或下线。
- 收内链。站内链接、导航、面包屑和 sitemap 尽量只指向主版本，减少搜索引擎反复发现重复入口。
- 处理无增量聚合页。没有额外信息的标签页、筛选页，可以 noindex 或 robots 屏蔽；有明确筛选需求的页面，再考虑保留并优化标题摘要。
- 观察日志与索引状态。调整后过一段时间看抓取频率和索引状态，确认主版本是否稳定，别只看一次 site 查询结果。
保留还是收掉：用一个简单标准
- 是否提供额外信息增量：筛选条件、价格对比、评论、数据图表、操作入口。
- 是否有独立搜索需求：用户会不会直接搜索这个聚合主题。
- 是否承担站内导航作用：能否帮助用户和爬虫发现更深层内容。
- 维护成本是否可控：内容更新后，多个版本是否都能同步更新。
如果三个以上答案是否定的，这类页面通常不值得作为独立索引对象保留。
收录不是目的，让用户和搜索引擎找到最合适的那一版内容才是。重复内容处理的核心不是“删得多”，而是“指得准”。
几个常见误区
- 把 canonical 当成删除指令：它只是建议主版本，页面仍可访问。
- noindex 和 robots 屏蔽混用：已经屏蔽抓取的页面，搜索引擎未必能看到 noindex。
- 只改模板不改历史 URL：旧地址仍可能被访问和链接，需要一并收口。
- 忽略内链锚文本：大量内链指向重复版本，会削弱主版本的信号集中度。
实际操作中，建议先拿一小批典型页面做处理，观察抓取和索引变化，再扩展到全站。重复内容不会一夜之间消失，但按类型分清、按顺序收口，通常比批量删除更稳妥。