重复内容不是“惩罚”，而是让搜索引擎做选择
同一个页面如果存在多个可访问 URL，搜索引擎通常不会全部收录展示，而是挑一个作为代表，其余归入重复或低优先级。结果是索引量可能虚高，抓取预算被分散，真正想推的页面反而拿不到稳定信号。
把重复内容当成“需要收拾的副本”，而不是“越多越好”。
先分清三类重复来源
- 站内参数重复：追踪参数、排序参数、会话 ID、打印页、AMP 版等。
- 站内结构重复：大小写、结尾斜杠、www 与非 www、HTTP 与 HTTPS 混用。
- 跨站或相似内容：转载、镜像、聚合页、筛选页内容过薄。
前两类通常可以靠规范和技术设置解决，第三类要结合页面价值决定是否保留。
用三个地方核对重复情况
- 索引报告：看“重复，未选为规范页”等排除原因。
- 抓取日志：看同一内容被哪些 URL 反复抓取。
- 站内搜索：用 site: 查主关键词，看实际展示的是哪个 URL。
三处对不上很正常，先以索引报告为主，再用日志验证抓取是否集中在少数 URL。
处理顺序：先定主 URL，再统一信号
1. 确定主 URL
选内容最完整、内链最多、访问稳定、结构最简洁的那个。不要选带一堆参数或临时跳转的 URL。
2. 写自引用 canonical
每个页面都写指向自己的 canonical，重复页的 canonical 指向主 URL。避免 A 指向 B、B 又指向 C。
3. 旧副本用 301 合并
如果旧 URL 没有独立访问价值，直接 301 到主 URL，比只写 canonical 更干净。有独立价值的内容页则保留并差异化。
4. 参数页按用途处理
只影响展示、不影响内容的参数，用 canonical 指向无参数版；纯追踪参数可在服务器端忽略或做 301。需要挡在索引外的，用 noindex，不要用 robots.txt 屏蔽后还期待 noindex 生效。
5. 内链和 sitemap 统一指向主 URL
内链是强信号。导航、面包屑、相关推荐、sitemap 里尽量只出现主 URL，减少搜索引擎再次发现副本。
几个常见误区
- 给所有重复页加 noindex：可能误伤有流量或可合并的页面。
- canonical 和 301 指向不同：信号互相打架。
- 频繁更换主 URL：让搜索引擎反复重新判断。
- 只改 sitemap 不改内链：内链仍会把副本喂给爬虫。
改完后的观察节奏
处理完成后，通常需要几周时间看变化。重点看三件事：主 URL 是否稳定被抓取和展示；重复 URL 在抓取日志中的访问是否下降；索引报告里“重复未选”的数量是否减少。不要每天改一次 canonical，也不要因为短期没变化就急着换方案。
重复内容处理的终点，是让搜索引擎少做选择，把抓取和索引集中到真正想被看到的页面上。