发现自己的文章被别的站全文搬走,很多人第一反应是「我的收录要完了」。实际上搜索引擎处理重复内容的方式是:在同一批内容里挑一个它认为最合适的版本展示,而不是把后出现的那个直接删掉。但「挑谁」这件事,你是有办法影响的。下面按排查顺序说。
先分清是哪一种重复
- 站外转载:别人原样复制,可能加了来源链接,也可能没加。
- 你自己产生的多份副本:测试域名可访问、http 与 https 同时在线、CDN 回源域名能打开、同一篇文章同时挂在两个栏目下。这类问题比站外转载更该优先处理,因为它完全在你控制范围内。
- 聚合与镜像:内容平台、RSS 抓取站、阅读器缓存。
先处理第二类。多域名、多协议、多路径同时可访问时,搜索引擎看到的是一堆内容完全一样的页面,选谁都有可能,而通常不会选你想选的那个。把测试站和回源域名用访问限制或 404 挡住,http 统一 301 到 https,重复栏目只保留一个入口并让另一个跳到主版本。
时间证据:谁先出现,往往比谁内容多更重要
判断原始版本时,搜索引擎会参考首次发现时间。所以:
- 发布时同步提交 sitemap,并在首页或栏目页给出内链,让爬虫第一次访问就带着「这是新内容」的信号。
- 不要在测试环境先发布、几天后再搬到正式域名,那等于把首发时间让给了别人。
- 如果对方比你先被收录,只改自己页面的文字通常不够,需要实质更新内容或走对方的处理渠道。
canonical 与内链:把「我是主版本」说清楚
canonical 是提示而不是命令,但它能把歧义降到最低。给自己的正文页加自指 canonical;如果同一内容确实出现在两个 URL,让次要版本指向主版本。同时注意别把 canonical 指向 404 页、指向 noindex 页,也不要形成多级跳转链,这类错误会让提示直接失效。
内链同样重要。被转载的页面常常有大量外链指向它,而你的原创页可能只有站内链接。把正文页从栏目页、相关推荐、站点地图几个入口都连上,至少保证它不会因为入口太深而被忽略。
要不要联系对方
如果对方只引用了开头几百字并给出链接,通常不必处理。全文复制且没有来源时,可以按这个顺序尝试:
- 先看对方是否有内容合作或投诉入口,很多站会接受撤稿或补充来源链接。
- 如果对方是聚合平台或内容分发渠道,先确认自己是否曾授权同步过,有些功能在开通时默认带了转载授权。
- 都不奏效,再考虑走搜索引擎的侵权投诉通道,提前准备好原始发布时间截图或网页存档。
现实一点说:转发量大的内容,靠逐一投诉处理成本很高。与其追着转载方跑,不如把原创页做成「值得被选的那个版本」——结构清晰、有持续更新、有内部链接支撑,而不是一篇发完就再也不动的静态文本。
长期做法
- 保留首发记录:发布日志、sitemap 的 lastmod、社交平台上的首发链接,都是时间证据。
- 关键内容定期更新,更新后同步 lastmod 并请求重新抓取,更新过的版本比原封不动的复制品更有优势。
- 对授权同步的渠道,要求对方带来源链接,或至少使用来源标记。
- 定期检查:用站内搜索和索引查询确认同一篇文章没有在自己站内留下多个可访问 URL。
重复内容本身不会让站点被惩罚,真正影响收录的,是同一份内容存在多个版本、而你没能清楚地指明主版本。把能控的部分先收干净,再去处理别人的转载,顺序才不会反。