标簽頁和聚合頁，問题往往出在“批量生成”
标簽頁、聚合頁、篩選頁大多由系統按規則批量生成，數量會随着内容增加而膨胀。它們被蜘蛛抓取通常不难，难的是判断哪些值得進索引。一旦全部放開，站内會多出大量结构相似、正文雷同的頁面；一旦全部屏蔽，又可能把真正有搜尋需求的入口一起關掉。所以處理這類頁面，顺序比手段更重要。
第一步：先分清面對的是哪一類頁面
不同類型頁面的處理方式差別很大，動手前先分清楚：
- 标簽頁：由分類词或關鍵詞自動生成，内容通常是一批文章标题的列表，容易與分類頁重叠。
- 聚合頁：按主题、地区、品類等條件组合而成，可能有編輯维護的說明文字，價值差异最大。
- 站内搜尋结果頁：由用戶查询動態生成，數量近乎無限，一般不建议放開收錄。
- 篩選與排序頁：靠參數生成同一批内容的不同排列，属于重复内容的常见来源。
把這几類分開統計數量和抓取情况，後面的判断才有依據。
第二步：用四個問题判断有没有獨立價值
- 有没有獨立的搜尋需求？把這個标簽或组合词拿去搜一下。如果有人确實這样搜，頁面就有存在理由；如果只是系統拆分出来的组合，通常没有。
- 頁面上有没有獨立内容？除了列表和标题，是否有說明、篩選逻辑、編輯整理的推荐。纯列表頁被替代的概率很高。
- 和目标頁重合度多高？如果标簽頁的内容和分類頁几乎一致，那它更像是同一批内容的另一個入口，而不是新頁面。
- 數量是否可控？几十個标簽可以逐個判断；几千個自動生成的组合词，通常需要先定規則再收敛。
四個問题的答案如果大多是否定的，就属于该收敛的一類；如果前两個答案是肯定的，可以保留並做加强。
第三步：决定放開时，需要补哪些東西
- 给頁面加上一段真正属于它的說明文字，而不是套用同一段模板。
- 從相關頁面给出稳定的内鏈，让蜘蛛能顺着正常路径找到它。
- canonical 指向自身，避免被系統誤判到別的頁面。
- 只有确定要收錄的 URL 才放進 sitemap，不要把全部标簽一次性提交。
第四步：决定收敛时，選一種方式就够
常见手段有几種，力度和适用场景不同：
- 不打内鏈、不生成：最彻底，也最省事。没有入口的頁面，抓取和收錄都會自然减少。
- canonical 归並：把标簽頁指向對應的分類頁或主頁面，适合内容确實重合的情况。
- noindex：頁面仍可被抓取，只是不進索引，适合需要保留给用戶使用、但不需要被搜到的頁面。
- robots.txt 屏蔽：直接不让抓取，适合數量大、确定没有價值的路径。注意屏蔽後蜘蛛看不到頁面上的 noindex，已索引的 URL 不會因此立刻消失。
一般来说，能通過减少入口解决的就不要動 canonical，能用 canonical 说清關系的就不必上 noindex。层級越靠後，改動的影响面越大。
處理之後，重点观察三件事
- 索引报表里這類 URL 的數量變化趋势，而不是某一天的绝對值。
- 抓取統計里這些路径的抓取频次是否下降，释放出的抓取額度有没有被有效頁面用上。
- 站内搜尋資料：用戶是否真的在搜這些标簽词，這比主观判断更可靠。
不建议一次性把站内所有标簽頁全部屏蔽。先挑一類頁面小范围處理，观察两到四周的抓取和索引變化，再决定是否扩大到其他類型。
标簽頁和聚合頁本身没有好坏，關键在于它們是否解决了用戶的某個具体需求。把這一点判断清楚，放開還是收敛的答案會清楚很多。