同一篇稿子,可能在自有站点、授權轉载方、聚合平台,甚至几個镜像域名上同时存在。结果就是搜尋结果里冒出好几個入口,用戶点進去看到的正文几乎一样。這是做收錄时很常见的一種“分散”。要處理它,先得理解搜尋引擎在几個版本之間更倾向保留哪一版。
判断主版本时,通常會參考哪些信号
没有公開的固定權重,但下面几類信息在多數情况下都會被用到:
- 首次出現的時間:同一段内容,先被發現的那一版往往更容易被当作原始出處。
- 指向它的連結:外部連結、站内推荐、轉载时保留的来源連結,都算一種投票。
- URL 與站点的稳定性:协议、主机名、路径寫法统一,可正常抓取的站点,判断成本更低。
- 内容完整度:正文齐全、有作者和發布時間、配图可訪問的那一版,通常比残缺副本更占優。
- 站点整体质量:如果同一站点里低價值頁面占比很高,它的版本被保留的概率也會受影响。
這些信号是综合看的,所以“谁先發谁一定赢”並不成立,只能在方向上争取,而不是精确控制。
站点能主動做的收敛動作
與其等搜尋引擎去猜,不如先把明顯的重复路口收掉。
授權轉载
- 原作者與轉载方约定時間差,轉载方延後發布,避免同一时刻两處齐發。
- 轉载頁在 head 里用 canonical 指向原文 URL,前提是两邊地址都長期稳定。
- 正文保留来源與原文連結,轉载方不要把這行删掉。
- 同一篇稿子不要在轉载方站内再衍生出多個可索引版本,例如分享用的带參數連結。
站内的副本
- 聚合頁、标簽頁、打印頁這類系統生成的副本,判断價值不高时可以让它們不進索引。
- 分頁内容尽量不要把每一頁都当成一篇獨立文章来處理。
- 同一份内容不要同时挂在子域名和主域名两套路径下,否則等于自己和自己竞争。
發出信号之後,看什么資料
收敛動作做完並不等于立刻生效,重复内容的判定會随着新一轮抓取重新评估,观察几周比較現實。
- 用标题片段或站内搜尋查,看结果里保留的是哪個域名、哪個 URL。
- 看抓取日誌,副本站点的蜘蛛来訪频次是否在下降。
- 看自己站点的索引狀態,目标 URL 有没有被替換成別的版本。
- 看這部分頁面的点击入口是否集中到了主版本上。
重复内容處理的目标不是“只剩一個 URL 才叫干净”,而是让用戶和搜尋引擎都能明确知道,哪一版是長期维護的主版本。
容易走偏的几個做法
- 直接屏蔽所有轉载方的抓取,短期看似干净,却也丢掉了外部連結和曝光机會。
- 把 canonical 随便指向一個内容不相干的頁面,這種信号通常會被忽略。
- 自家多個域名互相 canonical,形成循环,等于没有指定。
- 只有主站做了規范,轉载方照舊各自生成副本,收敛效果會打折扣。
把這几個环节理顺之後,同一篇内容的多個入口會慢慢收拢,剩下的工作就是定期抽查:主版本是否還稳定可抓取,副本站的重复是否又長出来了。