站内出现多份高度相似的正文,是收录问题里最常见的来源之一。它不一定让页面直接掉出索引,但会让搜索引擎在多个候选之间反复挑选,表现出来就是收录慢、索引版本来回换、流量分散到不同 URL。遇到这类情况,先别急着删页面,先确定哪一版才是主版本。
先分清三种重复
- 完全副本:正文一字不差,只是 URL 不同,比如打印版、导出页、旧路径残留、多域名镜像。
- 高度相似:模板、结构、卖点几乎一样,只有少量字段不同,比如同一产品的不同颜色页、同一城市的不同商圈页。
- 部分重复:正文里有大段相同的说明、条款或 FAQ,主体内容其实有差异。
这三种的处理方式完全不同。第一种通常只需要留一版;第二种要看是否各自满足不同的搜索需求;第三种大多数情况下不用动。
重复内容在收录上的典型表现
- 两个 URL 都被收录,搜索结果里来回替换,用户点进去发现内容差不多。
- 只收录其中一版,另一版显示为重复网页、未选择与 canonical 相同的版本。
- 收录很慢或者迟迟不进索引,抓取被分散到多份副本上。
- 内链和外链分散在不同 URL,主版本反而拿不到足够的信号。
核对顺序:先找主版本,再决定合并还是保留
- 用一段独特正文(比如正文中间的一句话)做精确搜索,看索引里到底有几条结果、分别对应哪些 URL。
- 在抓取日志里筛这些 URL,确认它们都被抓过、抓取频次是否正常,排除只是没抓到这种可能。
- 判断主版本:站内链接最多、外链最多、用户实际点击最多、内容最完整的那一版,通常就是主版本。如果都不明显,以最符合搜索意图的一版为准。
- 决定处理方式:留一版就合并、重定向或加 canonical;需要同时存在就补足差异;不再需要的旧副本直接清理。
几种常见处理方式
只保留一版
把旧副本 301 到主版本,或先加 canonical 观察一段时间再重定向。内部链接统一指向主版本,站点地图里也只保留主版本。
需要同时存在
不要只改标题或换几个词。颜色页、地区页这类,至少要写清适用范围、库存或服务差异,让每个页面有独立价值。
无法删除的副本
比如合作方页面、第三方平台上的转载,能加 canonical 就加;不能加,至少保证站内链接只指向自己的主版本。
容易踩的坑
- 把 canonical 指到一个既没被收录、也没有被链接的页面,等于把两版一起拖住。
- 一边加 canonical,一边在站内大量链接副本页,信号互相矛盾。
- 用 robots.txt 屏蔽副本页,结果主版本也拿不到该有的抓取。
- 只盯着哪版被收录,不看用户实际搜到的是哪一版,改完仍然乱。
重复内容的核对目标不是让每一版都被收录,而是让搜索引擎清楚知道哪一版才是你要展示的版本。
如果站内相似页面数量较多,建议按目录或模板分批处理,每批处理完看一次索引状态,再决定下一批怎么动。一次性大改,出问题时很难判断是哪一步引起的。