同一个内容在站内出现两次以上并不少见：列表页把正文摘要又输出了一遍、移动版和 PC 版各自一个 URL、活动页复制了去年的模板只改标题、商品描述从供应商那里原样搬来。这些页面都能被抓取，但真正常留在索引里的往往只有一个。搞清挑选逻辑，比反复提交有用。
先分清重复是怎么来的
- 技术性重复：同一内容、多个 URL。参数、大小写、http/https、带 www、打印版、排序筛选都算，问题主要在 URL 层面收敛。
- 内容性重复：URL 不同，正文高度相似。分销商品描述、多城市落地页只换了地名、聚合页拼凑摘要，都属于这一类。
- 跨站重复：你的正文被别站转载，或者你转载了别人的。
后两类不是加一个 canonical 就能自动解决的，需要先判断这些页面是否都有必要被搜到。
代表页是怎么被挑出来的
面对一组相似页面，搜索引擎通常只保留一个作为可检索结果，其余归入“重复、未选中”。挑选没有公开公式，但可以从几个维度去推测：
- 哪个 URL 更早被发现，并且有相对稳定的外部链接；
- 站内链接更多指向哪一个；
- 页面上的 canonical 指向谁；
- 谁的正文更完整、含有独有信息，而不是模板加变量；
- URL 是否更简洁、层级更浅。
这也不是“谁先被收录就永远归谁”，后续替换代表页的情况同样会发生。
重复本身不等于惩罚
需要说明的是，大部分重复内容不会被当作作弊处理。真正的代价是：一组页面里只有一个能拿到收录名额和曝光机会，其余即便被抓取，也可能长期停在“重复”状态，白占了抓取与维护成本。
自查：找出站内的重复簇
- 用 site: 加正文中一句较独特的句子（带引号）去查，看同一段话对应几个 URL。
- 翻站内搜索或服务器日志，找标题、描述完全相同但路径不同的页面。
- 抽几个同模板页面，去掉导航和页脚后比对正文相似度。
- 检查旧域名、子域、测试环境是否还在线上可访问，这类页面常被忽略。
处理顺序
第一步，判断是否只需要一个页面被搜到。如果是，做收敛：把次要 URL 301 到主 URL，canonical 指向主 URL，并且把内链改指主 URL。注意 canonical 与 301 指向不一致时会互相打架。
第二步，如果都需要保留，就要制造真实差异。城市页只改地名属于低质差异，容易被判定为同一套内容，需要补充当地实际信息，否则很可能长期不被选中。
第三步，都不要、只想让人访问的页面。加 noindex 或做权限控制。注意 noindex 指令需要页面能被抓取才能读到，如果同时用 robots.txt 拦截，指令永远读不到，页面反而可能留在索引里。
第四步，跨站转载。能联系对方加 canonical 或注明来源最好；做不到的话，就让自己的版本拥有独特内容与稳定外链，让选中的是你这一版。
几个容易误判的点
- “重复”是按正文整体和段落相似度判断的，标题相同不等于内容重复。
- 加了 canonical 不等于立刻生效，要等页面被重新抓取并处理。
- 如果主 URL 本身被 noindex，一组页面都指向它，可能会导致整组都不出现在结果里。
- 参数筛选页之间正文几乎一样，但排序不同，先看有没有真实搜索流量，再决定是否 noindex。
- 内容重复率高的站，索引报告里“已收录”数量可能正常，能带来曝光的有效页面却很少，看数据时别只盯总数。
可以把重复内容当成一次清理机会：优先处理“同一内容存在多个可访问 URL”和“模板批量生成的低差异页”，收敛完成后留出一轮抓取周期，再观察索引与曝光的变化。