做站点运营时，常见一种情况：为了覆盖更多词，同一主题被拆成多篇，或者在多个栏目里重复发布。单看每一篇都像正常内容，放到一起就出现大量相似页面。蜘蛛要抓，用户要选，最后反而分散了页面的权重和点击。
先明确：什么算站内重复
判断重复不必只看文字是否一字不差。下面几种情况都值得警惕：
- 标题、H1 和首屏表达相近，解决的是同一个搜索需求；
- 正文主体段落重合度高，只是换了案例、地区或年份；
- 同一产品/服务在多个栏目下各有一份详情页；
- 标签页、聚合页、列表页自动带出大量摘要，与栏目页高度雷同；
- 旧版页面和新版页面同时可访问，内容有继承关系。
如果两个页面给用户的价值差异很小，对蜘蛛来说就是重复入口。不是必须删除，但需要明确谁代表这个主题。
站内重复常见的来源
1. 多栏目同步发布
同一篇文章在“新闻”“行业”“知识”等栏目各发一次，URL 不同，正文相同。短期看多了入口，长期看容易让蜘蛛反复抓取同一内容。
2. 按维度批量拆页
把同一套内容套上不同城市、不同年份、不同型号，生成一批模板页。如果正文没有实质差别，这些页面很难独立成立。
3. 标签与聚合自动生成
标签页本身可以保留，但如果它只是把列表页的摘要重新排列，且没有编辑整理的说明，就和列表页形成竞争。
4. 改版后的新旧并存
新详情页上线后，旧地址仍返回 200，内容没有差异。这是典型的历史遗留重复。
自查可以按这五步走
- 抽样来源：从 Sitemap、栏目列表、站内搜索词和蜘蛛日志里各取一批 URL，不要只看自己熟悉的栏目。
- 两两对比：看标题、H1、首屏结论、主体小标题、案例数据和结尾引导，判断是否在解决同一问题。
- 标记角色：给每个页面标出“主版本”“可合并”“可下架”“可 canonical”“需差异化”。
- 优先处理高相似：先处理正文重合度高、又都有一定抓取记录的页面，不必一开始就全站铺开。
- 观察日志：处理完后回看蜘蛛抓取频次和落地页变化，确认没有误伤仍有价值的旧地址。
处理原则：保留、合并还是降级
- 有独立搜索需求的内容，保留并写透。不要为了“看起来干净”把有用的长尾页删掉。
- 同一主题的多篇短文，优先合并。合并后更新主页面，旧地址做 301 或保留可访问的摘要并指向主版本。
- 只是入口的标签页和聚合页，做好规范。可以保留给用户浏览，但要用 canonical 或 noindex 明确它不参与主题竞争，具体看页面是否有独立价值。
- 历史页面有外链或稳定流量，先更新再考虑下架。直接删除容易丢掉已有入口，先补内容、改标题、加内链可能更稳妥。
- 不要批量删除。重复页面里往往混着真正有效的长尾，先抽样观察日志再做决定。
把重复检查前置到日常流程
事后清理成本高，日常选题和发布时就可以少挖坑：
- 写新稿前，先用站内搜索查一遍核心词，看是否已有页面覆盖；
- 编辑规范里写清楚：同一主题只保留一个主版本，其他入口用内链或列表引用；
- 发布检查清单加入“是否与已有页面高度相似”这一项；
- 改版或栏目调整时，同步处理旧 URL，不要留下两套可访问内容。
站内重复自查的目标不是把页面数量压下去，而是让每个被蜘蛛抓到的 URL 都有清楚的角色：要么是主版本，要么是入口，要么是历史存档。角色清楚，抓取预算和用户注意力才不会被无谓消耗。