站内页面被收录了不少，但搜索某些词时，结果里几个自家页面轮换出现，点哪个都差不多——这种情况常常不是蜘蛛没抓，而是重复内容在索引里互相消耗。收录只是入口，页面之间高度相似时，信号会被摊薄。
先别急着删：重复不等于错误
列表页引用详情页摘要、同一产品的不同规格页，这些相似有存在理由。判断是否需要处理，可以问一句：用户搜这个词时，希望看到几个结果？如果只需要一个，就存在收口空间。
常见的几种重复形态
参数筛选与排序产生的近似列表页
筛选组合多，会生成大量主体内容接近的列表页。URL 各不相同，但页面里真正变化的只有排序和几个条件。
模板化的地区页、城市页
只替换地名、电话和少量字段，其余段落完全一致。这类页面容易批量进入索引，但彼此没有独立信息。
聚合页与详情页重叠
标签聚合、专题聚合把详情页摘要拼在一起，正文相似度高，和内页形成竞争。
同一内容的多版本入口
打印版、AMP 版、带跟踪参数的地址、被拆成多页的文章，都可能各自形成索引版本。
正文中的公共段落
产品参数、免责声明、公司介绍在每页都出现。通常不构成整页重复，但如果这部分占了页面主体，就需要留意。
怎么判断哪一版该留
- 内部链接和导航是否主要指向它；
- 是否已有外部链接或稳定的自然流量；
- 内容是否更完整、更新是否更及时；
- 用户搜索时最可能点开的是哪一个。
主版本通常是最完整、最稳定、被内链指向最多的那个，而不是最新的那个。
收口的几种做法
- 合并内容：把多个近似页面合并成一个，旧地址做 301，是最彻底的方式。
- canonical：适用于页面主体基本一致、但各有入口的情况；如果内容完全相同，合并或 301 更直接。
- noindex：页面仍需要给用户使用，但不希望进索引时使用。注意 robots.txt 屏蔽的是抓取，通常不会移除已有索引。
- 控制入口：减少筛选组合的内链暴露，把链接集中在有效组合上。
- 内容差异化：确实需要独立存在的页面，补充独有信息，而不是只换关键词。
别把重复当成收录问题
重复内容通常不是“蜘蛛不抓”，而是抓了、收了，再分配时彼此消耗。先看索引里实际保留的是哪一版，再看搜索结果里是否互相替换，比盯着收录量更有意义。
收录是入口，不是目标。页面之间互相内耗时，继续增加收录量往往让信号更分散。
处理重复不必一次清空。先挑影响最大的形态动手，观察一段时间索引和流量的变化，再决定下一步。