标簽頁、聚合頁、相關推荐頁這類由系統自動生成的地址，往往在上线时没人特別在意，執行一两年之後數量却可能遠超真正的文章頁。它們结构相似、正文稀薄，又常常通過标簽云、侧邊栏、底部推荐互相連結，很容易在抓取预算里占據不小的比例。
先判断：标簽頁到底算不算内容
标簽頁本质上是一個列表，它承载的是篩選與聚合，而不是獨立的观点或信息。所以判断一個标簽頁该不该留，可以先問两個問题：
- 有没有真實的搜尋需求：這個词在站内搜尋、外部搜尋里是否被人主動找過；
- 落地之後能不能解决問题：用戶点進来，除了看到一串标题，還能得到什么。
两個問题都答不上来的标簽頁，基本可以归到系統产物一類，它存在的意义更多是给編輯自己看，而不是给訪問者看。
三種最容易失控的生成方式
- 随手新建：不同編輯對同一個概念用了相近但不相同的词，同义标簽並存，每個都只有一两篇文章。
- 自動组合：分類加标簽加年份、地区加類型這類交叉组合，组合數按乘法增長，很快就變成几百上千個地址。
- 無限推荐：底部相關阅讀、猜你喜欢生成的组合頁，每次抓取都可能發現新的排列。
留與弃：几個可操作的判断角度
- 内容量：聚合到的條目低于某個阈值时，頁面信息量通常不足以獨立成頁。
- 與栏目頁的重叠度：标簽頁和分類頁指向的内容高度一致时，两者會互相稀释。
- 更新频率：長期不新增内容的标簽頁，價值會随時間下降。
- 入口位置：如果它只出現在全站标簽云里、從不被正文連結，本身也說明了它的地位。
處理顺序：先合並，再收敛，最後才屏蔽
比較稳妥的顺序是先做合並。把同义标簽归並到一個主词上，让原来分散的几頁收敛成一頁；确實不用的标簽頁可以直接刪除，让地址返回 404 或 410。對于暂时拿不准、又不想让它參與索引的頁面，可以先用 noindex 观察一段時間。
這里有個容易踩的顺序問题：如果先用 robots.txt 把整個标簽目錄屏蔽，蜘蛛就不會去抓這些頁面，自然也讀不到頁面里的 noindex。结果可能是頁面既没被 noindex 清掉索引，又失去了後續調整的余地。要么放開抓取让 noindex 生效，要么屏蔽抓取但接受索引狀態更新會慢很多，两者不建议同时上。
如果短期内無法改造模板，也可以考虑让标簽頁 canonical 指向對應的栏目頁作為過渡，但這只是止血，不解决根本問题。
從源头控制新增标簽
- 把标簽的添加權限收拢到少數人手里，或增加一道审批；
- 维護一份标簽库，新建前先搜一遍有没有近似词；
- 给标簽頁設定一個總量上限，超過就要求先合並舊的；
- 自動组合類頁面預設不生成，需要时再手動開。
定期复核看什么
隔一段時間回来看几個數：抓取日誌里列表類地址占的比例有没有明顯上升，站内被索引的标簽頁數量是否還在增長，以及标簽頁带来的入口点击是否集中在少數几個词上。如果大部分标簽頁長期没有点击，說明它們更多是在消耗抓取资源，而不是在帮忙。
标簽和聚合頁不是不能有，關键是每一個都要能回答為什么它值得單獨存在。數量控制住，剩下的頁面才更容易被認真對待。