做收錄核對时，常會遇到一種情况：索引里同时存在好几張内容高度相似的頁面。它們大多来自同一個模板，正文差別不大，只是參數、排序或来源不同。數量一多，抓取资源被摊薄，用戶在不同地址看到近乎一样的内容，頁面之間也很难各自积累價值。與其纠结“為什么這張没收”，不如先把它們当成一组来處理：選出代表頁，再决定其余頁面的去向。
先分清“相似”是哪一種
不同来源的相似，處理方式完全不同。動手前先把样本拉出来，人工看十几组，比直接改批量規則更靠谱。
- 模板相似、正文不同：列表頁、标簽頁、归档頁常见。這類頁面本身有導航價值，重点不是清掉，而是控制數量與内鏈入口。
- 正文相同、地址不同：带不同參數、带排序、带會话标识的地址。核心是确定哪個地址作為規范地址。
- 正文大段相同、只有局部差异：同款产品的不同颜色、同系列内容的不同期數。要看差异部分是否足以支撑一個獨立頁面。
判断时建议把模板部分去掉再比：導航、頁脚、推荐位這些全站共有的内容，不參與相似度判断。
選代表頁看三個维度
- 需求匹配度：用戶真正會用什么词找到它。最贴合搜尋意图的那張，通常更适合作為代表頁。
- 位置與稳定性：URL 是否會随篩選條件變化、是否容易被下线、是否有稳定的内鏈入口。地址稳定、位置清晰的頁面更适合承担代表的角色。
- 可维護性：這張頁面是否有人持續更新，資料是否来自可靠来源。無人维護的頁面当代表頁，後面容易反复出問题。
其余頁面的處理方式
- 收敛内鏈：站内連結優先指向代表頁，减少從導航、列表、正文里指向其他相似地址的入口。這一步的效果往往比加标簽更直接。
- 設定規范地址：用 canonical 指向代表頁。需要說明的是，這是一個建议信号，搜尋引擎仍會自行判断，並不保證一定采纳。
- 不參與索引：對确實没有獨立價值的地址，可用 noindex 让其登出索引。注意不要在同一張頁面上同时给出互相矛盾的指令。
- 合並或跳轉：内容确實重复且没有保留必要的，合並到代表頁並做 301，让已有連結集中到同一處。
- 保留观察：差异确實够大的可以保留，但要给它獨立的内鏈入口和清晰标题，不要让它長期只能靠參數被訪問到。
收錄數量本身不是目标。索引里塞满同质頁面，既占用抓取资源，也容易在篩選相似结果时把真正想展示的那張压下去。
改完之後怎么看效果
這類調整不會立刻见效，观察周期通常按周計。
- 看抓取日誌中，代表頁的抓取次數是否上升，被收敛的地址是否下降。
- 看索引覆盖报告里，被處理的地址是否逐步出現在“已排除”中，原因是否與预期一致。
- 用站点查询抽查几组，確認展現时優先出現的是代表頁。
如果几周後没有任何變化，先回头確認三步有没有做到：内鏈是否真的改了、規范地址是否指向正确、被處理的地址是否還留在 sitemap 里。很多时候問题不在策略本身，而在执行没走完。
几個常见誤区
- 一發現相似就批量 noindex，把本该保留的列表頁、篩選頁一起清掉，反而断了抓取路径。
- 只加 canonical，不改内鏈和 sitemap，站内依然在大量推荐其他地址，信号自相矛盾。
- 把多語言、多地区版本当成重复内容處理，這些頁面面向不同用戶，應当各自有獨立地址與标注。
- 只看一次结果就下结论。索引更新有延迟，短時間的資料波動說明不了問题。
落地时可以這样做：拉一批相似頁面，人工分成三類；每類挑出代表頁並寫清選擇理由；再统一調整内鏈、規范地址與 sitemap；最後按周记錄抓取與索引變化。流程不复杂，难的是把每一步都做完。