很多人把重复内容理解成“别人抄我”，但在收录层面，很大一部分重复来自站点自己：同一段模板文字出现在几千个页面上，同一篇内容被列表页、标签页、归档页反复呈现。搜索引擎最终要做的是选一个版本留下来，其余的要么被归并，要么抓取优先级被压缩。理解这一点，比反复提交 URL 更有用。
先分清三种站内重复
一、模板造成的重复
当正文只有两三百字，而导航、侧栏、推荐位、页脚免责声明加起来上千字时，页面在特征上更接近模板而不是内容。多个这类页面放在一起，机器很难判断谁更有代表性。
二、集合页与正文页的重复
标签页、分类页、归档页、站内搜索结果页，往往把正文的标题和摘要原样罗列。如果集合页没有额外的编辑内容，它和正文页的差异可能只剩排版和内链。
三、跨页复用
同一篇内容发在两个栏目、多语言版本、打印版、AMP 版、带参数的分页地址，都属于同一份内容的多个出口。这些地址各自被收录，等于把同一份价值拆成了几份。
先判断哪些该处理
不是所有相似页面都需要动手。可以看三个信号：
- 服务器日志里，集合页被抓取的次数远高于正文页，正文页长期排在队列后面；
- 在搜索结果中，用户落地的是列表页而不是正文页，打开后缺少实质内容；
- 站点被索引的 URL 数量在涨，但真正有独立信息量的页面没有增加。
出现其中一两条，再考虑收口；如果正文页抓取正常、展示正常，不必为了“看起来干净”大动干戈。
处理顺序：从判断到取舍
- 先看正文占比。把模板部分去掉，页面还剩多少独立信息。剩下太少，说明这个地址本身价值有限，先别急着让它进索引。
- 再看集合页有没有独立价值。有编辑导语、有筛选说明、有排序逻辑的列表页，是可以被收录的；只有标题加摘要的，价值主要在内链而不在收录。
- 确定唯一代表版本。同一份内容的多个出口，选一个作为主版本，其他版本用 canonical 指过去。canonical 是建议而非强制，主版本本身必须可抓取、内容完整。
- 对无独立价值的集合页用 noindex, follow。页面不进索引，但其中的链接仍可被跟随，正文页的内链不会因此断掉。
- 慎用 robots.txt 屏蔽。被 robots 拦住的地址，抓取工具看不到页面上的 noindex 和 canonical，链接关系也会一起丢失，容易出现“已屏蔽但索引里还有”的情况。
- 跨页复用优先用 canonical，而不是复制全文。多栏目发布同一篇内容时，保留一处全文、另一处做摘要并指向主版本，比粘贴两遍更稳妥。
容易踩的几个坑
- 把“重复内容”当成惩罚。多数情况下是归并与择优，页面不会被处罚，但两个版本也很难同时获得展示。
- 把标签页、归档页一刀切 noindex，顺手也切掉了站内最重要的一批入口链接。
- 摘要长度、标题措辞有差异就以为不算重复。判断依据是主要内容特征，不是字数差。
- 只改一处，比如只加 canonical，却让分页、参数、打印版继续各自生成。
改完之后看什么
调整完成后，观察顺序建议是：先看日志里抓取请求是否向正文页倾斜，再看索引里留下的版本是不是你指定的那一个，最后才看搜索结果的落地页是否换成了正文。抓取层面的变化可能几天内就能看到，索引层面的替换通常需要更长时间，中间出现新旧版本交替属于正常现象。
重复内容处理的目标不是让站点“看起来很干净”，而是让抓取预算和收录名额尽量落在有独立信息量的页面上。收口之后仍需持续观察，别把一次调整当成终点。