站内頁面被收錄了不少，但搜尋某些词时，结果里几個自家頁面轮換出現，点哪個都差不多——這種情况常常不是蜘蛛没抓，而是重复内容在索引里互相消耗。收錄只是入口，頁面之間高度相似时，信号會被摊薄。
先別急着删：重复不等于错誤
列表頁引用詳情頁摘要、同一产品的不同規格頁，這些相似有存在理由。判断是否需要處理，可以問一句：用戶搜這個词时，希望看到几個结果？如果只需要一個，就存在收口空間。
常见的几種重复形態
參數篩選與排序产生的近似列表頁
篩選组合多，會生成大量主体内容接近的列表頁。URL 各不相同，但頁面里真正變化的只有排序和几個條件。
模板化的地区頁、城市頁
只替換地名、电话和少量字段，其余段落完全一致。這類頁面容易批量進入索引，但彼此没有獨立信息。
聚合頁與詳情頁重叠
标簽聚合、专题聚合把詳情頁摘要拼在一起，正文相似度高，和内頁形成竞争。
同一内容的多版本入口
打印版、AMP 版、带跟踪參數的地址、被拆成多頁的文章，都可能各自形成索引版本。
正文中的公共段落
产品參數、免责声明、公司介绍在每頁都出現。通常不构成整頁重复，但如果這部分占了頁面主体，就需要留意。
怎么判断哪一版该留
- 内部連結和導航是否主要指向它；
- 是否已有外部連結或稳定的自然流量；
- 内容是否更完整、更新是否更及时；
- 用戶搜尋时最可能点開的是哪一個。
主版本通常是最完整、最稳定、被内鏈指向最多的那個，而不是最新的那個。
收口的几種做法
- 合並内容：把多個近似頁面合並成一個，舊地址做 301，是最彻底的方式。
- canonical：适用于頁面主体基本一致、但各有入口的情况；如果内容完全相同，合並或 301 更直接。
- noindex：頁面仍需要给用戶使用，但不希望進索引时使用。注意 robots.txt 屏蔽的是抓取，通常不會移除已有索引。
- 控制入口：减少篩選组合的内鏈暴露，把連結集中在有效组合上。
- 内容差异化：确實需要獨立存在的頁面，补充獨有信息，而不是只換關鍵詞。
別把重复当成收錄問题
重复内容通常不是“蜘蛛不抓”，而是抓了、收了，再分配时彼此消耗。先看索引里實际保留的是哪一版，再看搜尋结果里是否互相替換，比盯着收錄量更有意义。
收錄是入口，不是目标。頁面之間互相内耗时，繼續增加收錄量往往让信号更分散。
處理重复不必一次清空。先挑影响最大的形態動手，观察一段時間索引和流量的變化，再决定下一步。