很多站点会同时把一篇内容放进“最新”“推荐”、分类目录、专题聚合等多个入口，有些系统还会自动生成打印页、分享页，或者给列表跳转带上来源参数。对用户来说这只是几个入口，对搜索引擎来说却是几个独立的 URL。它们各自都可能被抓取、被索引，于是同一份内容在索引里出现好几份，收录数字看着在涨，实际流量却被摊薄到不同的地址上。
先分清重复是哪一类
- 栏目复用：同一篇文章既挂在 /news/ 下，也挂在 /topic/ 或 /recommend/ 下，正文一模一样，只是面包屑和标题不同。
- 入口参数：列表页跳转时带上 ?from=list&sort=new 这类参数，同一个路径产生出多个地址。
- 功能版本：打印页、纯文本版、AMP 版、独立移动域各有一个地址。
- 内容聚合：标签页、作者页把摘要整段拼接，和详情页正文大面积重合。
这四类的处理方式并不一样。前两类通常收敛到一个地址就够了；后两类要先判断这个页面本身有没有独立存在的价值，再决定是保留、合并还是收敛。
核对顺序
- 先抽一份样本。不要一上来就全站改规则。从一个栏目里挑十到二十个地址，把它们的实际 URL、正文相似度、内部链接指向、canonical 标注分别记下来，看清重复到底出在哪一层。
- 定主地址。同一份内容指定一个对外代表地址，通常选路径最短、层级最浅、内链最多的那个。定下来之后不要再改，改来改去会让搜索引擎反复调整归属。
- 内部链接统一指向主地址。导航、面包屑、相关推荐、列表页的标题链接，全都改成主地址。这一步比任何标签都有效，因为链接是搜索引擎判断哪个地址更重要的直接依据。
- 再考虑 301 还是 canonical。如果旧地址确实不再需要对外出现，用 301 直接收敛更干净；如果旧地址还要给用户用，比如打印页和分享页，就保留页面并加 canonical 指向主地址。两者不要混用在同一组地址上。
- 站点地图只保留主地址。把重复地址从 sitemap 里撤掉，避免一边提交、一边声明重复，给自己制造矛盾信号。
- 观察收敛，不要频繁回改。索引更新有滞后，通常要等下一轮抓取和重新评估。改动后的两三周内只做记录，不要因为暂时没变化就再改一遍。
几个容易做过头的地方
标签页和专题页并不都是垃圾。如果它提供了详情页没有的筛选维度、时间线或人工整理的顺序，对用户有实际用处，那它本身就是一个可以独立存在的页面，此时要做的是把正文重复的部分收窄，而不是一刀切地全部 301 到详情页。
重复内容本身不是惩罚项，问题出在信号分散：几个地址互相竞争同一批关键词，外链和点击被拆到不同 URL 上，任何一个都难以积累到足够的权重。
还要留意一种情况：合并之后索引里短期可能同时保留新旧两个地址，甚至旧地址先显示得更靠前。这属于过渡期的正常现象，只要内部链接和规范标签都指向同一个主地址，方向就是对的。
形成固定检查习惯
比较省事的做法是给内容发布流程加两道检查：发布前确认这篇文章是否已经在其他栏目存在，存在的话复用主地址而不是新建；发布后定期抽查一批栏目页，看正文重合度是否又悄悄升上去了。模板、推荐位、参数规则一变，重复地址往往会重新长出来，靠一次性清理很难长期维持。