做站点运营一段时间之后，常会遇到一类不太显眼的问题：同一份内容在站内以好几个地址存在。用户看到的是同一个页面，蜘蛛看到的却可能是五六个 URL。时间一长，内链分散、日志难读、改版时不知道该动哪一个版本，排查成本越滚越高。
这主要不是惩罚问题，而是判断成本的问题。把重复和近似版本理清楚，目的是让站点的真实结构更接近你心里那张地图。
重复内容一般从哪来
- 带参数的 URL：追踪参数、排序参数、筛选参数、会话 ID 都会派生出新地址。
- 同一内容的多套主机名：www 与非 www、http 与 https、临时测试域名。
- 打印页、纯文本页、移动端独立地址、AMP 版本。
- 分页列表的多种写法，例如参数式与路径式并存。
- 标签页、聚合页、作者页、站内搜索结果页把正文再次输出。
- 同款商品的多规格变体共用一份介绍文字。
- 站内不同栏目刊登同一篇稿件，或与其他站点的互相转载。
先做一次盘点，再动手改
从日志和站点地图两头对照
取最近一段时间的访问日志，按 URL 归类，找出返回内容长度接近、标题相同的地址。再拿站点地图的 URL 清单去比对，看看哪些地址同时出现在两边，哪些只出现在日志里。只出现在日志里的，往往是参数或历史路径派生出来的。
用站内搜索和外部搜索抽查
在搜索引擎里用 site 语法配合标题里的完整句子做检索，如果同一句话能带出三四个不同地址，那基本可以确认存在近似版本。站内搜索也可以顺手试一次，看结果页是否被当成独立页面收录的候选。
三种常见处理方式
指定规范版本
当多个地址确实都需要保留（例如筛选参数带来的流量入口），可以在页面里用 canonical 指向那个最完整、最稳定的版本。规范地址应当是可直接访问、状态码正常、不依赖参数跳转的地址。
合并或重定向
如果旧版本已经没有独立价值，直接做 301 到新版本更干净。注意跳转目标要是最终地址，别串成跳转链，也别跳到另一个同样重复的版本上。
明确不参与索引
不打算让某类页面出现在检索结果里，可以用 noindex。但要注意边界：如果页面同时设置了 noindex，又用 canonical 指向另一个地址，两个信号会互相抵消，实际效果很难预料。选一种表达方式就够了。
一份可执行的自查清单
- 列出所有会输出正文的页面类型，逐类确认是否存在多地址现象。
- 检查站点是否统一到一个主机名和一种协议，其余情况全部跳转过去。
- 检查分页、筛选、排序参数是否可以被自由组合拼出大量地址。
- 确认标签页、聚合页是否只做导航，而不是把正文整段复制。
- 抽查站内转载稿，看是否至少在标题或首段做了区分说明。
- 确认 canonical 指向的地址本身没有再次被重定向。
- 把处理过的地址与处理方式记进表格，方便改版时回查。
把结果记下来
重复内容的整理不是一次性的。栏目调整、商品上新、活动页上线都可能带来新的近似版本。建议每季度抽出半小时，按上面的清单过一遍重点是新增的页面类型，把变动记在同一个表格里。这样下次改版或迁移时，你不必再从零开始猜哪个地址才是主版本。
判断标准可以很简单：当两个地址的内容几乎一样、用户很难说清区别时，就该决定谁是主版本、谁是附属版本，而不是让它们长期并存。