很多站点發現收錄上不去，第一反應是“蜘蛛没来”或“sitemap 没交”。但實际排查时，重复内容往往是更常见的原因。同一套内容以多個 URL 出現，搜尋引擎在索引阶段會做聚類，選出一個主版本，其余版本可能長期停在“已發現未收錄”或“重复網頁，未選定 canonical”。
先把重复内容当成一個類型問题，而不是“删不删”的問题。不同類型對應不同處理顺序，乱删或乱加 noindex 反而可能让主版本也受影响。
先分清重复内容的几種来源
- 完全複製：同一篇内容原样出現在多個 URL，常见于采集、镜像或手動複製。
- 模板重复：不同頁面主体内容不同，但頁头、頁脚、侧栏、推荐位占據大量相同文字。
- 聚合頁重复：列表頁、标簽頁、分頁把已有摘要重复展示，本身缺少獨立信息。
- 參數變体：排序、篩選、跟踪碼产生大量 URL，内容主体几乎一致。
- 多語言或多地区：同一内容翻译或本地化，若未正确标注 hreflang，可能互相竞争。
收錄时搜尋引擎怎么處理相似頁面
搜尋引擎通常不會把所有相似 URL 都單獨索引。它會在抓取後做内容指纹和聚類，選出一個它認為最合适的版本作為主版本。其他版本可能被标记為重复，或者被合並到主版本。這個過程不是“惩罚”，但會占用抓取配額，也让收錄數字看起来不涨。
關键点在于：被抓取不等于被索引。一個重复頁面可能每天被爬，但索引里始终只保留主版本。如果站点运营只看抓取量，容易誤判為“正常”。
按什么顺序處理
- 先看頁面有没有獨立價值。如果用戶打開這個 URL，能得到別處没有的信息，就值得保留；如果只是換個入口展示同样内容，考虑收敛。
- 再判断主版本是谁。優先保留内容最全、更新最及时、内鏈最多、URL 最简洁的版本。不要凭主观喜好選。
- 能合並就合並。把多個相似頁面的内容整合到一個 URL，其他 URL 做 301 指向主版本。這是最干净的方式。
- 不能合並的，用 canonical 明确指向。注意 canonical 要指向真實可訪問的 200 頁面，且站点内鏈和 sitemap 尽量统一到同一版本。
- 完全不希望被索引的，再用 noindex。noindex 适合篩選頁、跟踪頁、無獨立價值的聚合頁，但它不传递權重，也不替代合並。
合並還是保留：看三個信号
不是所有相似頁面都要消掉。可以用三個信号来判断：
- 搜尋需求是否不同：如果两個頁面能對應不同的搜尋意图，保留並做差异化内容更合适。
- 用戶路径是否必要：有些篩選頁虽然内容重复，但用戶确實會從搜尋直接進入，這时要评估是否值得保留並優化。
- 维護成本是否可控：保留大量相似頁面意味着後續更新要同步多處，很容易出現版本不一致。
如果三個信号都不明顯，優先考虑合並或 301，而不是加一堆參數或 canonical 硬撑。
處理完之後怎么观察
調整後不要每天查收錄數。先看索引覆盖报告里“重复網頁，未選定 canonical”或“已抓取，尚未编入索引”的數量是否下降，再看主版本的抓取频次和展示量是否稳定。如果主版本没變化，說明收敛方向大致合理；如果主版本反而掉了，要回头检查 canonical 是否指错、301 是否鏈到了错誤頁面。
重复内容的處理目标不是“让每個 URL 都被收錄”，而是让搜尋引擎清楚哪個頁面值得索引。先分清類型，再决定合並、指向還是屏蔽，顺序比動作更重要。