發現自己的文章被別的站全文搬走,很多人第一反應是「我的收錄要完了」。實际上搜尋引擎處理重复内容的方式是:在同一批内容里挑一個它認為最合适的版本展示,而不是把後出現的那個直接删掉。但「挑谁」這件事,你是有办法影响的。下面按排查顺序说。
先分清是哪一種重复
- 站外轉载:別人原样複製,可能加了来源連結,也可能没加。
- 你自己产生的多份副本:測試域名可訪問、http 與 https 同时在线、CDN 回源域名能打開、同一篇文章同时挂在两個栏目下。這類問题比站外轉载更该優先處理,因為它完全在你控制范围内。
- 聚合與镜像:内容平台、RSS 抓取站、阅讀器缓存。
先處理第二類。多域名、多协议、多路径同时可訪問时,搜尋引擎看到的是一堆内容完全一样的頁面,選谁都有可能,而通常不會選你想選的那個。把測試站和回源域名用訪問限制或 404 挡住,http 统一 301 到 https,重复栏目只保留一個入口並让另一個跳到主版本。
時間證據:谁先出現,往往比谁内容多更重要
判断原始版本时,搜尋引擎會參考首次發現時間。所以:
- 發布时同步提交 sitemap,並在首頁或栏目頁给出内鏈,让爬虫第一次訪問就带着「這是新内容」的信号。
- 不要在測試环境先發布、几天後再搬到正式域名,那等于把首發時間让给了別人。
- 如果對方比你先被收錄,只改自己頁面的文字通常不够,需要實质更新内容或走對方的處理渠道。
canonical 與内鏈:把「我是主版本」说清楚
canonical 是提示而不是命令,但它能把歧义降到最低。给自己的正文頁加自指 canonical;如果同一内容确實出現在两個 URL,让次要版本指向主版本。同时注意別把 canonical 指向 404 頁、指向 noindex 頁,也不要形成多級跳轉鏈,這類错誤會让提示直接失效。
内鏈同样重要。被轉载的頁面常常有大量外鏈指向它,而你的原创頁可能只有站内連結。把正文頁從栏目頁、相關推荐、站点地图几個入口都连上,至少保證它不會因為入口太深而被忽略。
要不要联系對方
如果對方只引用了開头几百字並给出連結,通常不必處理。全文複製且没有来源时,可以按這個顺序尝试:
- 先看對方是否有内容合作或投诉入口,很多站會接受撤稿或补充来源連結。
- 如果對方是聚合平台或内容分發渠道,先確認自己是否曾授權同步過,有些功能在開通时預設带了轉载授權。
- 都不奏效,再考虑走搜尋引擎的侵權投诉通道,提前准备好原始發布時間截图或網頁存档。
現實一点说:轉發量大的内容,靠逐一投诉處理成本很高。與其追着轉载方跑,不如把原创頁做成「值得被選的那個版本」——结构清晰、有持續更新、有内部連結支撑,而不是一篇發完就再也不動的静態文本。
長期做法
- 保留首發记錄:發布日誌、sitemap 的 lastmod、社交平台上的首發連結,都是時間證據。
- 關键内容定期更新,更新後同步 lastmod 並請求重新抓取,更新過的版本比原封不動的複製品更有優势。
- 對授權同步的渠道,要求對方带来源連結,或至少使用来源标记。
- 定期检查:用站内搜尋和索引查询確認同一篇文章没有在自己站内留下多個可訪問 URL。
重复内容本身不會让站点被惩罚,真正影响收錄的,是同一份内容存在多個版本、而你没能清楚地指明主版本。把能控的部分先收干净,再去處理別人的轉载,顺序才不會反。