同一批关键词，站内却有三四个页面在争抢，是站点运营里很常见的隐形损耗。搜索结果里它们互相挤占位置，蜘蛛也要为每条相似地址多走一趟。这项自查的目标不是消灭所有相似页面，而是把该合并的合并、该区分的区分讲清楚。
先分清三种情况
- 完全重复：正文几乎一致，只是地址不同，比如带不带参数的同一页、带尾斜杠与不带尾斜杠的同一篇文章。
- 高度相似：模板相同、内容七八成重合，比如同一类目的筛选页、同一篇文章的分类页和标签页。
- 主题重叠但内容不同：两篇独立文章讲同一件事，角度不同。这类不一定有问题，但如果标题、描述、开头都在打同一个词，就容易互相分散。
自查从哪里下手
- 挑出站点核心的十到二十个关键词，在搜索引擎里用 site: 加关键词查一遍，看每个词下面出现了几个自家页面。
- 拿这些地址比对标题、描述和正文首段。两页标题几乎同义，先记下来。
- 翻访问日志和抓取记录，看哪些地址被反复抓取却长期没有带来访问，这类往往是低价值重复页。
- 用站点地图或栏目列表做一次全量清点，把参数字址、分页、筛选页单独列出来。
常见的重复来源
- 列表页的筛选、排序、分页参数，组合起来会生成大量近似地址。
- 标签、作者、归档等自动生成的聚合页，内容与主列表高度重合。
- 移动端与桌面端使用两套不同的地址。
- 内容被转载后，站内又发布了一遍，形成两个版本。
- 测试环境或旧域名仍在对外提供内容。
处理原则：能合并就别新建
发现重复之后，先问一句：这两个页面各自有没有独立价值。答案是否定的，就别再花力气让它俩同时活着。
- 确定一个主地址，其余地址用 301 指向它，而不是直接跳首页。
- 筛选、排序这类参数页，如果不打算让人长期停留，可以在 robots.txt 里拦住抓取，或在页面上加 noindex，同时保证正常跳转不受影响。
- 标签页只保留有内容、有人维护的几个，其余合并进栏目页。
- 两篇文章各有角度、确实都值得留下的，就把标题、描述、正文重点拉开，别在同一处堆同样的词。
- 旧域名和测试环境的内容，尽快下线或加访问限制。
合并前的检查清单
- 主地址能否正常访问，内容是否完整；
- 被合并地址有没有外部链接或站内入口，需要一并改指向；
- 原地址返回 301，而不是 404 或软跳转；
- 站点地图里同步去掉旧地址，内链也换成新地址。
重复页面通常不会立刻带来惩罚，但它会稀释入口、分散蜘蛛的注意力。定期清理，比攒够一堆再一次性大改更容易坚持。
把它变成一件小事
不必每月做全站扫描。上新内容时顺手查一次标题和首段，季度做一次栏目级盘点，就足够拦住大部分问题。把处理过的地址记在一个简单的表格里，下次遇到同类情况就有参照，接手的人也看得懂。
重复自查不是一次性的工程，而是编辑流程里的一道习惯动作。少几个抢词的页面，站内入口和抓取记录都会清爽一些，剩下的页面也更容易被看清。