很多站点並不是被外部抄了内容才出現重复,而是自己内部就有了好几份。一篇文章同时發在“行业资讯”和“公司動態”,又被标簽頁、专题頁各摘一段,再加上按分類篩選出的列表頁,搜尋引擎抓到的同一份内容就有好几個地址。這種情况下,收錄本身通常不會出問题,麻烦在于最後被選中的版本不一定是你想推的那個。
站内重复的几種常见来源
- 多栏目同时發布:同一篇稿子挂到两個以上栏目,产生两個正式 URL。
- 标簽頁與聚合頁:用列表或摘要把正文再放一遍,标题和描述高度相似。
- 篩選、排序、分頁參數:同一批内容生成大量只差參數的地址。
- 版本類頁面:打印版、分享版、移動版等與正文頁並存。
- 正文改寫但骨架相同:针對不同地区或渠道改几個词,其余完全一致。
搜尋引擎遇到重复时會怎么做
大体上是先聚類,再在同一個簇里挑一個代表地址進入索引,其余的要么被合並,要么長期停留在“已發現未收錄”的狀態。這個挑選過程會參考連結指向、URL 结构、頁面完整度、抓取先後等因素。也就是说,你在内鏈里一直推的地址,不一定是最後被展示的那個。
需要留意的是,重复並不等于惩罚。真正的代價是權重被分散到多個地址上,以及你無法控制展示的是哪個标题、哪個摘要、哪個連結。
先排查,再動手
- 用站点查询看索引里同一篇内容出現了几個地址。
- 拿文章标题的關键片段加引号搜尋,看结果是否来自多個 URL。
- 抓一遍全站,比對标题和正文相似度,标出高度重合的组。
- 對照服務器日誌,看蜘蛛是否在多個相似地址之間反复抓取。
處理顺序:能合並的先合並
如果两份内容确實只需要一份,最干净的做法是保留一個正式地址,其余做 301 指向它,並把内鏈统一改過来。這不是“删頁面”,而是把入口收拢到一個地址上。
如果两份都必须保留,比如不同栏目确實有各自的導航意义,那就用 canonical 指明主版本,同时保證主版本的正文更完整、内鏈更多。canonical 是建议而不是命令,搜尋引擎仍可能按自己的判断做選擇,所以頁面本身的一致信号越多越好。
标簽頁和聚合頁要按價值区別對待:能带来真實流量的,保留並让它有自己的獨特說明;只是自動罗列内容的,可以考虑收進 robots 或加 noindex。參數頁則通過统一規范、限制可抓取參數组合来减少地址數量。
把問题挡在發布前
新内容上线时先問一句:這篇文章的正式地址是哪一個?多栏目發布时,只在一處放正文,其余位置用指向正式地址的入口或简短介绍。标簽命名尽量沿用已有词,不要為同一主题反复新建近义标簽。列表頁和专题頁保持标题、摘要上的差异,避免整頁複製。
几個容易做過头的地方
- 為了防重复,把有自然流量的舊地址直接 noindex,结果入口没了。
- 全站套用 canonical,连本来就该獨立的頁面也指向首頁。
- 改完当天就下结论,實际上索引更新需要一段時間才能反映出来。
站内重复更多是“地址管理”問题,不是内容质量問题。把同一份内容尽量收拢到一個地址,剩下的交给時間观察。