同一篇稿子，先在主站频道发一次，又在活动页、作者页、移动版目录各留了一份；编辑器里图省事，直接复制粘贴。这类做法在站内并不少见，短期看不出问题，等到做收录自查时，才发现搜索结果的落点是那个最不该被看到的版本。
重复本身不会「被罚」，但会让人替你做选择
搜索引擎遇到多个内容高度相似的 URL，通常不会直接判罚站点，而是自己挑一个作为主版本展示，其余留在索引里或被折叠。问题在于，它挑的那个版本，未必是你希望用户看到、也未必是最有转化价值的页面。如果挑中的是参数页、打印页或者没有导航的移动版，用户进来之后很难继续浏览。
另外，重复入口会摊薄内链的作用。十条内链分散在五个相似 URL 上，每个只拿到两条，力量不如集中在一个页面上。
站内重复的几个常见来源
- 同一篇内容发布在多个栏目，URL 各不相同；
- PC 与移动版各用独立域名或独立目录，且互相之间没有指向关系；
- 列表筛选、排序参数生成的页面，与原始列表内容基本一致；
- 打印页、纯文本版、分享落地页；
- 标签页、聚合页把已有文章全文输出的场景。
先判断：这个重复值不值得处理
不是所有重复都要动。判断标准可以简单一点：
- 这些 URL 有没有各自获得外部链接或站内链接？如果只有一个入口在正常使用，其余基本没人访问，优先级就低；
- 用户是否可能通过搜索结果直接落到非主版本？如果会，就需要收口；
- 该页面是否承担转化或关键信息展示？承担的话，主版本必须明确。
收口的几种做法
一、只留一个可访问版本
最干净的方式是让重复 URL 返回 301 指向主版本。适合真正重复、且原地址没有独立价值的场景，比如打印页、废弃的移动版目录。
二、保留多份，用 canonical 指明主版本
如果重复版本有存在理由（例如活动页需要独立样式），可以在这些页面上用 canonical 指向主版本。注意两点：canonical 是建议而不是命令，页面本身还有大量独有内容时，搜索引擎可能不采纳；另外，canonical 的目标页必须是可抓取、可索引、内容确实对得上的页面。
三、内链统一指向主版本
这一条常被忽略。站内链接是你能完全控制的信号。导航、面包屑、相关阅读、专题入口，都尽量指向同一个主版本；列表页里如果同时存在两个入口，把多余的那条去掉。链接收敛了，抓取和权重分配也会跟着收敛。
处理之后怎么确认
改动上线后，不必急着下结论。可以按这个顺序观察：
- 用站点日志看重复 URL 的抓取频次是否下降；
- 用网址检查类工具看主版本是否被选定、重复版本的索引状态是否变化；
- 观察搜索结果的落点是否稳定在主版本上。
索引状态的变化需要时间，几周内出现反复很正常，不要因为一两天没动静就频繁改回。
别把收敛做成折腾
有些站点为了「消除重复」，频繁调整 canonical、批量 301，结果把本来正常的抓取节奏打乱。重复内容更多时候是结构问题：先理清哪些 URL 真正对外使用、哪个版本该被用户看到，再决定用哪种收敛方式，比反复试探有效得多。收录与索引由搜索引擎决定，我们能做的是把版本关系表达清楚，让它在做选择时不容易选错。