做收录检查时，重复内容是最常被提起的一类问题。但“重复”本身包含好几种情况，混在一起处理，容易把正常页面改坏，也未必能解决收录问题。先把重复类型分清，再决定是合并、规范还是保留。
一、先分清三种重复
站点里的重复通常来自三个层面：
- 模板重复：多个页面共用同一套标题、摘要或正文区块，主内容却很少。比如商品筛选页、空结果列表页。
- 参数重复：同一个页面因为追踪参数、排序参数、会话参数产生多个URL，指向基本相同的内容。
- 正文重复：不同URL下确实是同一篇文章、同一件商品，或大量转载内容。
三种重复的处理方式不一样。模板重复更多是页面质量问题，参数重复属于URL规范问题，正文重复才接近通常说的“复制内容”。
二、模板重复：先看页面有没有独立价值
模板重复不一定都要删。一个分类列表页如果确实帮用户找到内容，也有独立价值，可以保留；但如果只是把相同商品换个排序、换个筛选条件，正文几乎不变，索引里就容易出现多个相似页面。
处理时可以先问：这个页面离开模板之后，还剩下多少独有内容？如果只剩几行字加链接，可以考虑：
- 把低价值筛选组合设为 noindex，或让它仅用于用户导航；
- 保留有搜索量的主要筛选组合，补上说明性内容；
- 检查分页、排序参数是否产生了大量入口，避免它们和主列表页争抢同一个主题。
模板重复的核心不是“页面长得像”，而是“页面之间有没有可区分的用途”。
三、参数重复：优先做URL收敛
参数URL常见的麻烦是同一内容有多个地址。比如追踪参数、排序参数、会话ID、展示方式参数。搜索引擎可能只选一个版本，也可能把抓取预算分给多个入口。
可以按这个顺序处理：
- 列出参数类型，区分“改变内容”和“不改变内容”；
- 不改变内容的参数，尽量用 canonical 指向无参数版本；
- 确实需要保留的参数页面，确保标题、描述和页面主体有对应差异；
- 站内链接尽量只指向规范版本，不要多个版本混用。
这里要注意，canonical 是提示，不是强制指令。如果页面之间内容差异明显，或者内链长期指向另一个版本，搜索引擎未必按你期望的版本收录。
四、正文重复：判断是本身重复还是被转载
正文重复要分两种情况。一种是站内自己重复，比如同一篇文章挂在多个栏目下，或者旧版和新版同时存在；另一种是站外转载，别的站点先发或同步发布。
站内重复相对好办：保留一个主要URL，其余做301或 canonical，更新内链。站外转载则不完全可控，能做的通常是：
- 确认自己的页面是首发或至少是主要版本；
- 在正文中保留来源、作者、发布时间等可核对信息；
- 不要为了“抢收录”把同一篇文章反复改标题发布；
- 如果转载方大量采集，可以通过正规渠道反馈，但不必指望一次处理就全部消失。
五、抓取和收录要分开看
重复内容多，首先影响的是抓取分配：爬虫可能把时间花在相似URL上。但抓取到了不等于会被收录。收录还会看页面质量、链接关系、用户需求等。所以排查时不要只看“有没有被抓”，也要看“被抓的版本是不是你希望被索引的版本”。
一个实用的做法是：先按模板和参数分组，每组挑几个代表URL，到索引里查它们实际被收录的版本；再回头检查站内链接和 canonical 是否指向一致。如果发现同一内容有多个版本被索引，再逐组收敛，而不是一次性全站改动。
六、处理顺序小结
- 先分类：模板、参数、正文三类重复分开记录；
- 再看价值：页面是否有独立用途，能否留下；
- 然后定规范：确定主要URL，统一内链和 canonical；
- 最后观察：给一段过渡时间，看索引版本是否慢慢收敛；
- 不要频繁改：同一批URL反复换规范，反而让搜索引擎难以判断。
重复内容不是一删了之的事。多数情况下，先分清类型，再把URL和链接关系收敛到一个主版本，比大规模删页面更稳。