先分清重复的层次
站点里出現两段相似的内容，本身不是故障。搜尋引擎在抓取和建立索引的過程中會做去重與規范化，站内存在一定程度的重复是很常见的現象。真正需要動手的情况，通常是重复已经影响到抓取资源的分配，或者让蜘蛛在多個版本之間来回選擇，導致某個版本迟迟拿不到稳定的信号。
所以動手之前先分類。下面這几類来源，處理方式差別很大，混在一起改容易誤伤本来不需要動的頁面。
常见的几類站内重复来源
模板與通用文案
頁头、頁脚、侧邊栏、版權声明、配送政策、免责說明，這些内容在每個頁面都一样。單獨看它們信息量不大，但如果正文本身很短，模板部分就會占據頁面的大部分文本。判断方式不是看有没有重复，而是看正文與模板的文字比例。
URL 參數與會话标识
来源追踪參數、排序參數、分頁參數、會话 ID 會让同一個頁面产生多個可訪問地址。這類重复的特征是：URL 不同，返回的 HTML 几乎完全一样。可以先從訪問日誌或服務器配置里確認哪些參數是功能必需的，再决定剩下的怎么處理。
同一内容挂在多個栏目
一篇文章同时属于「行业资讯」和「案例分享」，如果两個栏目各自生成獨立地址，就會出現两個内容一致、路径不同的頁面。這類重复通常有一個更合理的主归属，可以结合内鏈结构和面包屑来判断哪個版本更值得作為入口。
列表頁與摘要頁
列表頁會截取正文前几段做摘要，当站点列表頁很多、每頁條目很少时，摘要文字與正文的重叠比例會變得很高。tag 頁、作者頁、站内搜尋结果頁也属于這一類，它們的共同点是頁面内容由其他頁面拼装而来。
多终端與打印版本
移動站、打印頁、導出頁、精简版，如果各自有獨立 URL 且彼此之間没有指向關系，也會形成一组重复。响應式布局通常不涉及這個問题，獨立域名或獨立路径才需要處理。
判断是不是真重复的几個检查点
- 两個地址去掉導航和頁脚後，正文主体文字是否基本一致
- 两個地址是否都有站内連結或外部連結指向
- 其中一個是否有獨立的搜尋需求，比如打印版、移動版有單獨入口
- 两個版本的更新時間是否同步，是否有一方長期不维護
- 是否有一個地址能作為明确的主版本，其余地址绕不開它
如果几個检查点都指向同一個结论，處理起来就比較清楚；如果结论互相矛盾，往往說明這几個頁面承担的功能不同，不宜一刀切。
處理顺序可以這样排
- 先處理完全等價、且没有任何獨立價值的地址，比如追踪參數頁、會话連結、打印頁。
- 再處理多栏目、多分類造成的重复，先确定一個主归属，再让其他入口指向它。
- 然後看列表頁與摘要頁，判断哪些需要保留、哪些可以收敛數量。
- 最後才考虑模板层面的調整，這部分通常動作最大、單頁收益最小。
別把重复当成收錄問题的萬能解释
重复内容只是收錄問题的一種成因。抓取预算不足、服務器响應慢、内鏈入口缺失、頁面本身信息量偏低，都可能造成類似的表面現象。如果只是發現几個相似頁面，不一定要立刻改站点结构，先確認這些頁面是否真的影响了其他頁面的抓取與收錄，再决定是否動手。
改動之後也需要给蜘蛛重新抓取和重新评估的時間，期間索引狀態出現波動属于正常過程，不必因為一两天的變化就再次大改。
重复内容的處理目标，是让主版本的信号更清晰，而不是把所有相似頁面都删干净。