站内重复内容不一定是“作弊”，但它會让搜尋引擎在多個相似頁面之間做選擇。選擇本身需要成本：抓取、對比、判断哪個URL更适合作為代表。结果就是，有些頁面迟迟不進索引，或者進了又被替換掉。
先分清重复的類型
處理之前，先看重复發生在哪一层。不同层級的重复，收錄取舍完全不同。
- 完全重复：多個URL輸出几乎一样的内容，比如打印頁、带追踪參數的地址、同一商品的不同排序參數。
- 部分重复：列表頁包含詳情頁的摘要甚至全文；詳情頁之間只有少量參數不同。
- 模板重复：分類頁、标簽頁、篩選頁共用一套模板，只有标题和商品列表變化。
完全重复通常需要收口；部分重复要看頁面是否承担獨立功能；模板重复則要评估有没有獨立的搜尋需求。
收錄取舍的三個問题
不是所有重复頁面都要處理。每决定一個頁面的去向，先問三個問题。
- 用戶會不會直接搜到它？如果用戶可能搜尋“某某品牌 價格篩選”並希望落到篩選頁，這個頁面就有獨立價值。
- 它是不是唯一的落地頁？如果詳情頁被删掉，用戶只能從列表頁進入，列表頁就不能简單收口。
- 它是否在分發内鏈？很多列表頁本身内容重复，但它是蜘蛛發現詳情頁的重要入口。直接noindex或刪除，可能让詳情頁更难被抓到。
如果三個問题的答案都是“否”，這個頁面就可以考虑合並或收口。只要有一個答案是“是”，就要谨慎。
常见處理方式與注意点
保留並規范
如果頁面有獨立價值，保留它，但用 canonical、内鏈和 sitemap 保持一致信号。canonical 指向的頁面要和内鏈、sitemap 里的首選地址一致，別一邊 canonical 指A，一邊内鏈全用B。
合並同類頁面
多個頁面只是參數或措辞不同，没有獨立搜尋需求，就合並成一個，舊地址做301。合並後更新内鏈和 sitemap，別让舊地址繼續被蜘蛛反复抓到。
收口但不阻断抓取
想不让某個頁面進索引，用 noindex 比 robots.txt 更合适。robots.txt 拦住抓取後，搜尋引擎看不到 noindex，索引里可能繼續保留舊URL。要收口，先让頁面可抓取，再给 noindex，或者用 canonical 指向代表頁。
重复内容通常不是惩罚問题，而是選擇問题。减少選擇成本，比追求“每個URL都收錄”更實际。
几個容易踩的坑
- 把所有列表頁、标簽頁统一 noindex，结果詳情頁失去内鏈入口，抓取變慢。
- 為了增加收錄量，批量生成只有關鍵詞不同的聚合頁，這些頁面既没有獨立需求，又稀释了站内质量信号。
- 只改 canonical，不改内鏈和 sitemap，信号互相矛盾，蜘蛛仍然在多個URL之間来回切換。
- 把“收錄量下降”直接当成惩罚，急着删頁面。先看是不是重复頁面被正常收敛，再看核心頁面有没有受影响。
回到目的
收錄是為了让有價值的頁面進入索引，不是让每個URL都出現在搜尋结果里。站内重复内容處理得好，蜘蛛能把時間花在詳情頁、原创内容和真正有搜尋需求的聚合頁上；處理得不好，要么浪費抓取预算，要么誤伤入口頁面。
動手前先列一遍站内主要頁面類型，标出哪些有獨立搜尋需求、哪些只是導航或篩選。按類型定策略，比一個一個頁面改 canonical 更省事。