同一段内容或高度相似的内容出現在多個 URL 上，是站点运营中很常见的情况。搜尋引擎不會简單地把所有重复頁面都收進索引，而是尝试判断哪個是主版本，其余的可能被合並、降權展示或直接排除。重复内容本身通常不是惩罚，但它會消耗抓取资源，也让收錄和索引資料變得不好讀。
先分清三種重复
處理之前，最好把重复分成三類：完全重复、近似重复和模板重复。它們的成因不同，對應的做法也不一样。
完全重复：同一份内容，多個地址
常见来源包括：HTTP 和 HTTPS 同时可訪問、带 www 和不带 www 同时解析、打印頁、AMP 頁、带追踪參數的分享連結、镜像站或測試域名。這類重复的正文几乎一模一样，搜尋引擎通常能识別，但识別不等于没有成本。
- 能 301 的，優先 301 到主 URL，不要用 JS 跳轉代替。
- 不能 301 的，用 canonical 指向主版本，並确保 canonical 指向的是一個可抓取、返回 200 的 URL。
- 參數型 URL 如果只是追踪用途，尽量在站内連結里就不要生成，或在服務器端做規范化。
近似重复：内容像，但不完全一样
比如同一篇文章在不同栏目下稍作修改、产品描述只有型号不同、聚合頁把摘要拼在一起。這類頁面容易被搜尋引擎判定為“高度相似”，但又不像完全重复那样容易合並。
處理思路是判断這些頁面是否有獨立價值：
- 如果只是同一内容的變体，選一個主版本，其余用 canonical 或 301 指向它。
- 如果每個頁面都有獨立信息，建议补充差异化内容，而不是只改标题。
- 如果頁面只為了覆盖關鍵詞而拼接内容，考虑 noindex 或直接下线，不要让它們進入索引。
模板重复：结构一样，内容空洞
列表頁、标簽頁、分頁、篩選结果頁、空搜尋结果頁，往往共用同一套模板，只有标题或商品列表不同。它們對用戶可能有用，但對索引来说容易變成低價值重复。
- 有明确检索需求的列表頁，可以保留並優化，让每個頁面有獨立描述和内容模块。
- 篩選參數组合過多时，保留主要篩選路径，其余用 robots.txt 或 noindex 控制抓取和索引。
- 分頁頁通常不需要全部進索引，可以用 canonical 指向第一頁，或按實际情况保留。
排查时看什么
判断重复影响，不要只看 site 查询。更實际的做法是结合索引报告、抓取統計和服務器日誌：
- 看索引报告里“已排除”的原因，是否有“重复網頁，用戶未選定規范網頁”或“替代網頁，有 canonical 标记”。
- 看日誌里哪些 URL 被抓取得多，但長期没有進入索引。
- 抽查頁面的 canonical、返回狀態碼和内鏈指向是否一致。
重复内容處理的目标不是把每個 URL 都收進索引，而是让搜尋引擎把抓取和索引集中在有價值的版本上。
把重复当成日常维護
站点改版、活動上线、參數變化都會带来新的重复。與其等收錄資料變差再處理，不如在上线前检查 URL 規范、canonical 和内鏈。已经存在的重复，按類型分批清理：能合並的合並，不能合並的明确主版本，低價值的控制索引。持續做，比一次大清理更有效。