做站点运营时，常见一種情况：為了覆盖更多词，同一主题被拆成多篇，或者在多個栏目里重复發布。單看每一篇都像正常内容，放到一起就出現大量相似頁面。蜘蛛要抓，用戶要選，最後反而分散了頁面的權重和点击。
先明确：什么算站内重复
判断重复不必只看文字是否一字不差。下面几種情况都值得警惕：
- 标题、H1 和首屏表達相近，解决的是同一個搜尋需求；
- 正文主体段落重合度高，只是換了案例、地区或年份；
- 同一产品/服務在多個栏目下各有一份詳情頁；
- 标簽頁、聚合頁、列表頁自動带出大量摘要，與栏目頁高度雷同；
- 舊版頁面和新版頁面同时可訪問，内容有繼承關系。
如果两個頁面给用戶的價值差异很小，對蜘蛛来说就是重复入口。不是必须刪除，但需要明确谁代表這個主题。
站内重复常见的来源
1. 多栏目同步發布
同一篇文章在“新闻”“行业”“知识”等栏目各發一次，URL 不同，正文相同。短期看多了入口，長期看容易让蜘蛛反复抓取同一内容。
2. 按维度批量拆頁
把同一套内容套上不同城市、不同年份、不同型号，生成一批模板頁。如果正文没有實质差別，這些頁面很难獨立成立。
3. 标簽與聚合自動生成
标簽頁本身可以保留，但如果它只是把列表頁的摘要重新排列，且没有編輯整理的說明，就和列表頁形成竞争。
4. 改版後的新舊並存
新詳情頁上线後，舊地址仍返回 200，内容没有差异。這是典型的歷史遗留重复。
自查可以按這五步走
- 抽样来源：從 Sitemap、栏目列表、站内搜尋词和蜘蛛日誌里各取一批 URL，不要只看自己熟悉的栏目。
- 两两對比：看标题、H1、首屏结论、主体小标题、案例資料和结尾引導，判断是否在解决同一問题。
- 标记角色：给每個頁面标出“主版本”“可合並”“可下架”“可 canonical”“需差异化”。
- 優先處理高相似：先處理正文重合度高、又都有一定抓取记錄的頁面，不必一開始就全站铺開。
- 观察日誌：處理完後回看蜘蛛抓取频次和落地頁變化，確認没有誤伤仍有價值的舊地址。
處理原則：保留、合並還是降級
- 有獨立搜尋需求的内容，保留並寫透。不要為了“看起来干净”把有用的長尾頁删掉。
- 同一主题的多篇短文，優先合並。合並後更新主頁面，舊地址做 301 或保留可訪問的摘要並指向主版本。
- 只是入口的标簽頁和聚合頁，做好規范。可以保留给用戶浏览，但要用 canonical 或 noindex 明确它不參與主题竞争，具体看頁面是否有獨立價值。
- 歷史頁面有外鏈或稳定流量，先更新再考虑下架。直接刪除容易丢掉已有入口，先补内容、改标题、加内鏈可能更稳妥。
- 不要批量刪除。重复頁面里往往混着真正有效的長尾，先抽样观察日誌再做决定。
把重复检查前置到日常流程
事後清理成本高，日常選题和發布时就可以少挖坑：
- 寫新稿前，先用站内搜尋查一遍核心词，看是否已有頁面覆盖；
- 編輯規范里寫清楚：同一主题只保留一個主版本，其他入口用内鏈或列表引用；
- 發布检查清單加入“是否與已有頁面高度相似”這一項；
- 改版或栏目調整时，同步處理舊 URL，不要留下两套可訪問内容。
站内重复自查的目标不是把頁面數量压下去，而是让每個被蜘蛛抓到的 URL 都有清楚的角色：要么是主版本，要么是入口，要么是歷史存档。角色清楚，抓取预算和用戶注意力才不會被無谓消耗。