做收录核对时，常会遇到一种情况：索引里同时存在好几张内容高度相似的页面。它们大多来自同一个模板，正文差别不大，只是参数、排序或来源不同。数量一多，抓取资源被摊薄，用户在不同地址看到近乎一样的内容，页面之间也很难各自积累价值。与其纠结“为什么这张没收”，不如先把它们当成一组来处理：选出代表页，再决定其余页面的去向。
先分清“相似”是哪一种
不同来源的相似，处理方式完全不同。动手前先把样本拉出来，人工看十几组，比直接改批量规则更靠谱。
- 模板相似、正文不同：列表页、标签页、归档页常见。这类页面本身有导航价值，重点不是清掉，而是控制数量与内链入口。
- 正文相同、地址不同：带不同参数、带排序、带会话标识的地址。核心是确定哪个地址作为规范地址。
- 正文大段相同、只有局部差异：同款产品的不同颜色、同系列内容的不同期数。要看差异部分是否足以支撑一个独立页面。
判断时建议把模板部分去掉再比：导航、页脚、推荐位这些全站共有的内容，不参与相似度判断。
选代表页看三个维度
- 需求匹配度：用户真正会用什么词找到它。最贴合搜索意图的那张，通常更适合作为代表页。
- 位置与稳定性：URL 是否会随筛选条件变化、是否容易被下线、是否有稳定的内链入口。地址稳定、位置清晰的页面更适合承担代表的角色。
- 可维护性：这张页面是否有人持续更新，数据是否来自可靠来源。无人维护的页面当代表页，后面容易反复出问题。
其余页面的处理方式
- 收敛内链：站内链接优先指向代表页，减少从导航、列表、正文里指向其他相似地址的入口。这一步的效果往往比加标签更直接。
- 设置规范地址：用 canonical 指向代表页。需要说明的是，这是一个建议信号，搜索引擎仍会自行判断，并不保证一定采纳。
- 不参与索引：对确实没有独立价值的地址，可用 noindex 让其退出索引。注意不要在同一张页面上同时给出互相矛盾的指令。
- 合并或跳转：内容确实重复且没有保留必要的，合并到代表页并做 301，让已有链接集中到同一处。
- 保留观察：差异确实够大的可以保留，但要给它独立的内链入口和清晰标题，不要让它长期只能靠参数被访问到。
收录数量本身不是目标。索引里塞满同质页面，既占用抓取资源，也容易在筛选相似结果时把真正想展示的那张压下去。
改完之后怎么看效果
这类调整不会立刻见效，观察周期通常按周计。
- 看抓取日志中，代表页的抓取次数是否上升，被收敛的地址是否下降。
- 看索引覆盖报告里，被处理的地址是否逐步出现在“已排除”中，原因是否与预期一致。
- 用站点查询抽查几组，确认展现时优先出现的是代表页。
如果几周后没有任何变化，先回头确认三步有没有做到：内链是否真的改了、规范地址是否指向正确、被处理的地址是否还留在 sitemap 里。很多时候问题不在策略本身，而在执行没走完。
几个常见误区
- 一发现相似就批量 noindex，把本该保留的列表页、筛选页一起清掉，反而断了抓取路径。
- 只加 canonical，不改内链和 sitemap，站内依然在大量推荐其他地址，信号自相矛盾。
- 把多语言、多地区版本当成重复内容处理，这些页面面向不同用户，应当各自有独立地址与标注。
- 只看一次结果就下结论。索引更新有延迟，短时间的数据波动说明不了问题。
落地时可以这样做：拉一批相似页面，人工分成三类；每类挑出代表页并写清选择理由；再统一调整内链、规范地址与 sitemap；最后按周记录抓取与索引变化。流程不复杂，难的是把每一步都做完。