同一段内容或高度相似的内容出现在多个 URL 上，是站点运营中很常见的情况。搜索引擎不会简单地把所有重复页面都收进索引，而是尝试判断哪个是主版本，其余的可能被合并、降权展示或直接排除。重复内容本身通常不是惩罚，但它会消耗抓取资源，也让收录和索引数据变得不好读。
先分清三种重复
处理之前，最好把重复分成三类：完全重复、近似重复和模板重复。它们的成因不同，对应的做法也不一样。
完全重复：同一份内容，多个地址
常见来源包括：HTTP 和 HTTPS 同时可访问、带 www 和不带 www 同时解析、打印页、AMP 页、带追踪参数的分享链接、镜像站或测试域名。这类重复的正文几乎一模一样，搜索引擎通常能识别，但识别不等于没有成本。
- 能 301 的，优先 301 到主 URL，不要用 JS 跳转代替。
- 不能 301 的，用 canonical 指向主版本，并确保 canonical 指向的是一个可抓取、返回 200 的 URL。
- 参数型 URL 如果只是追踪用途，尽量在站内链接里就不要生成，或在服务器端做规范化。
近似重复：内容像，但不完全一样
比如同一篇文章在不同栏目下稍作修改、产品描述只有型号不同、聚合页把摘要拼在一起。这类页面容易被搜索引擎判定为“高度相似”，但又不像完全重复那样容易合并。
处理思路是判断这些页面是否有独立价值：
- 如果只是同一内容的变体，选一个主版本，其余用 canonical 或 301 指向它。
- 如果每个页面都有独立信息，建议补充差异化内容，而不是只改标题。
- 如果页面只为了覆盖关键词而拼接内容，考虑 noindex 或直接下线，不要让它们进入索引。
模板重复：结构一样，内容空洞
列表页、标签页、分页、筛选结果页、空搜索结果页，往往共用同一套模板，只有标题或商品列表不同。它们对用户可能有用，但对索引来说容易变成低价值重复。
- 有明确检索需求的列表页，可以保留并优化，让每个页面有独立描述和内容模块。
- 筛选参数组合过多时，保留主要筛选路径，其余用 robots.txt 或 noindex 控制抓取和索引。
- 分页页通常不需要全部进索引，可以用 canonical 指向第一页，或按实际情况保留。
排查时看什么
判断重复影响，不要只看 site 查询。更实际的做法是结合索引报告、抓取统计和服务器日志：
- 看索引报告里“已排除”的原因，是否有“重复网页，用户未选定规范网页”或“替代网页，有 canonical 标记”。
- 看日志里哪些 URL 被抓取得多，但长期没有进入索引。
- 抽查页面的 canonical、返回状态码和内链指向是否一致。
重复内容处理的目标不是把每个 URL 都收进索引，而是让搜索引擎把抓取和索引集中在有价值的版本上。
把重复当成日常维护
站点改版、活动上线、参数变化都会带来新的重复。与其等收录数据变差再处理，不如在上线前检查 URL 规范、canonical 和内链。已经存在的重复，按类型分批清理：能合并的合并，不能合并的明确主版本，低价值的控制索引。持续做，比一次大清理更有效。