做站点收錄时，重复内容是一個绕不開的問题。但“重复”並不是一種情况：模板造成的重复、聚合頁造成的重复、轉载同步造成的重复，處理方式完全不同。如果一上来就删頁面或者批量加 noindex，很容易把本来有效的入口一起收掉。
先分清：重复内容與多 URL 不是同一件事
多 URL 通常指同一個頁面被多個地址訪問，比如带參數、大小寫、末尾斜杠不同。重复内容則更宽泛：不同地址上展示的主体内容高度相似，甚至文字完全一样，只是模板、篩選條件或發布来源不同。两者可能同时出現，但排查顺序不一样。先看地址是否指向同一份内容，再看内容本身是否有獨立價值。
三類常见重复及判断方式
模板重复
列表頁翻到第二頁、第三頁时，如果頁面上除了排序變化外，大部分條目和标题都相同，就容易形成模板重复。詳情頁底部推荐模块、侧栏热门文章如果大量重复，也可能稀释頁面主体。判断时可以問：去掉模板部分後，這個地址還剩多少獨立信息？
聚合重复
标簽頁、专题頁、作者頁、分類頁常常把已有内容重新组合一遍。如果聚合頁只是机械罗列标题和摘要，没有額外篩選维度、資料統計或編輯說明，它和詳情頁之間就构成明顯重复。保留哪一邊，取决于哪一邊更可能被用戶当作最终答案。
轉载與同步重复
同一篇稿件發在多個栏目、多個子站，或者通過接口同步到不同域名，都會产生轉载型重复。這類重复不一定需要刪除，但需要明确主版本：首發地址、内容最完整的地址，或者用戶最可能訪問的地址。其余版本可以用 canonical 指向主版本，或延迟發布、保留来源說明。
處理顺序：先定主版本，再收口入口
- 确定主版本。從内容完整度、訪問量、内鏈數量和更新维護成本四個角度選一個地址作為主版本，不要只凭域名新舊判断。
- 统一 canonical。其余版本如果能保留訪問，就指向主版本；如果本身没有保留價值，再考虑合並或下线。
- 收内鏈。站内連結、導航、面包屑和 sitemap 尽量只指向主版本，减少搜尋引擎反复發現重复入口。
- 處理無增量聚合頁。没有額外信息的标簽頁、篩選頁，可以 noindex 或 robots 屏蔽；有明确篩選需求的頁面，再考虑保留並優化标题摘要。
- 观察日誌與索引狀態。調整後過一段時間看抓取频率和索引狀態，確認主版本是否稳定，別只看一次 site 查询结果。
保留還是收掉：用一個简單标准
- 是否提供額外信息增量：篩選條件、價格對比、评论、資料图表、操作入口。
- 是否有獨立搜尋需求：用戶會不會直接搜尋這個聚合主题。
- 是否承担站内導航作用：能否帮助用戶和爬虫發現更深层内容。
- 维護成本是否可控：内容更新後，多個版本是否都能同步更新。
如果三個以上答案是否定的，這類頁面通常不值得作為獨立索引對象保留。
收錄不是目的，让用戶和搜尋引擎找到最合适的那一版内容才是。重复内容處理的核心不是“删得多”，而是“指得准”。
几個常见誤区
- 把 canonical 当成刪除指令：它只是建议主版本，頁面仍可訪問。
- noindex 和 robots 屏蔽混用：已经屏蔽抓取的頁面，搜尋引擎未必能看到 noindex。
- 只改模板不改歷史 URL：舊地址仍可能被訪問和連結，需要一並收口。
- 忽略内鏈锚文本：大量内鏈指向重复版本，會削弱主版本的信号集中度。
實际操作中，建议先拿一小批典型頁面做處理，观察抓取和索引變化，再扩展到全站。重复内容不會一夜之間消失，但按類型分清、按顺序收口，通常比批量刪除更稳妥。