很多站点在做收錄優化时，會把注意力放在文章詳情頁，但真正让索引變乱的，往往是标簽頁、聚合頁、列表頁這些顺带生成的頁面。它們天生數量多、更新频繁、内容重复度不低，如果處理方式不统一，容易出現两種极端：要么大量低质頁面進入索引，稀释站点质量；要么把有價值的入口頁全部封掉，内頁發現速度反而變慢。
先给頁面分角色：入口型還是内容型
判断一個頁面该不该收錄，第一步不是看它有没有排名，而是看它承担什么角色。
- 内容型頁面：本身提供完整信息，用戶点進来就能解决問题，比如文章詳情頁、产品詳情頁、专题深度頁。
- 入口型頁面：主要作用是串联連結，帮助用戶和蜘蛛找到更多内容，比如分類列表、标簽聚合、作者頁、時間归档。
- 混合型頁面：既有一定内容摘要，又承担導航作用，比如带简介的专题聚合頁、有總结的榜單頁。
入口型頁面不等于没有價值，但它的價值更多体現在發現和分發，而不是獨立满足搜尋需求。如果它只是把已有内容按不同维度重新排列一遍，且没有額外說明、篩選逻辑或編輯整理，那么收錄後與詳情頁竞争同一批關鍵詞，反而會带来重复内容問题。
哪些标簽頁和聚合頁可以考虑放行
不是所有聚合頁都该被排除。满足下面几個條件时，可以考虑让它們進入索引：
- 頁面有稳定的主题邊界，比如某個明确品類的全部产品，而不是所有带某個词的文章。
- 頁面上有編輯补充的說明、篩選說明或推荐理由，不是纯連結堆叠。
- 该頁面能承接用戶主動搜尋的需求，比如合集、對比、入门清單這類查询。
- 頁面數量可控，不會因為标簽组合、參數篩選無限膨胀。
- 即使不收錄，也不會影响重要内頁的發現路径。
如果聚合頁只是站内導航的辅助，且内頁已经通過其他路径被稳定抓取，那么让它保持可抓取但不進入索引，通常更干净。這里要区分抓取和收錄：允许蜘蛛抓取，是為了让它顺着連結發現内頁；不進入索引，是避免低價值頁面占用索引名額。
需要收敛时，先選對工具
常见的處理方式有三種，效果和适用场景並不一样。
1. noindex 配合可抓取
如果希望蜘蛛繼續訪問頁面、跟随連結，但不希望頁面出現在搜尋结果里，可以在頁面 head 中設定 noindex。注意不要同时用 robots.txt 禁止抓取，否則蜘蛛看不到 noindex，頁面仍可能被索引。
2. canonical 指向主版本
当多個标簽頁或篩選頁内容高度相似，只是排序、參數或展示维度不同，可以用 canonical 指向一個主版本。前提是主版本确實存在，並且内容覆盖更完整。不要把 canonical 当成随便指一個頁面的萬能工具，指向不相關頁面會造成信号混乱。
3. robots.txt 或連結层收敛
對于參數组合無限生成、没有獨立價值的頁面，可以從内鏈中移除入口，或通過 robots.txt 限制抓取。但要注意，robots.txt 只是控制抓取，不保證頁面不被索引；如果頁面已经被外部連結指向，仍可能以 URL 形式出現在索引中。更稳妥的做法是：先减少站内入口，再配合 noindex，最後才考虑 robots.txt。
處理时容易踩的坑
- 一刀切封掉所有标簽頁：如果内頁發現主要依赖标簽聚合，封掉後新内容可能長時間不被發現。
- noindex 和 canonical 同时指向不同 URL：信号互相矛盾，蜘蛛可能忽略两者。
- 只改模板，不清理舊頁面：已收錄的聚合頁需要等待重新抓取才會更新狀態，期間可能繼續出現在索引里。
- 用 robots.txt 屏蔽後不再检查：被屏蔽的頁面仍可能因外鏈被索引，需要配合移除或 noindex 處理。
- 把收錄量当成唯一指标：收錄數量上升不代表有效流量上升，重点應看重要頁面是否稳定進入索引並參與展示。
收錄策略的目标不是让索引里頁面越多越好，而是让该出現的頁面稳定出現，不该出現的頁面尽量不干扰。
一個可执行的检查顺序
- 列出站点所有自動生成的标簽頁、聚合頁和列表頁，按 URL 模式归類。
- 标记每類頁面的角色：入口型、内容型還是混合型。
- 检查它們是否有獨立内容、稳定搜尋需求和可控數量。
- 對需要保留的頁面，补充說明文字、優化标题和摘要，让頁面有獨立價值。
- 對需要收敛的頁面，優先從内鏈和 sitemap 中移除，再按情况使用 canonical 或 noindex。
- 處理完成後，用同一批 URL 持續观察抓取和索引狀態，不要只看一天的資料。
标簽頁和聚合頁不是天生该被排除，也不是天然该被收錄。先判断它到底是入口還是内容，再决定放行、收敛還是移除，索引结构會清楚很多。