标簽頁、聚合頁、篩選頁這類頁面通常由系統自動拼装，數量增長很快。它們有时能承接一部分長尾需求，也常常變成薄内容、重复内容和抓取浪費的来源。關键不是一刀切地禁用，而是先想清楚哪些頁面值得留下、哪些该收口。
先分清三類自動生成的頁面
- 标簽頁：由人工或半人工给内容打标後生成，比如「服務器维護」「内鏈優化」。标簽總量可控，但容易出現一個标簽只有一两篇内容的情况。
- 聚合頁：按栏目、作者、時間、专题等维度自動匯總。专题類通常有編輯投入，價值相對稳定；纯按時間或作者自動生成的列表，往往只是換個排序看同一批内容。
- 篩選與搜尋頁：由參數组合或站内搜尋产生，地址數量可能呈指數增長，也是重复地址最集中的地方。
判断一個聚合頁该不该留
與其凭感觉，不如用几個可驗證的條件過一遍：
- 是否有真實的需求入口，比如這個词在站内搜尋、用戶問询或外部渠道里反复出現；
- 聚合後的條目數量是否足够撑起一頁，太少就只是換個方式展示首頁；
- 頁面是否有自動生成之外的獨有内容，比如編輯寫的導语、挑選逻辑、常见問题；
- 是否有人定期维護，包括补充條目、剔除失效内容、更新導语。
四條里满足得越多，越值得保留並纳入導航或内鏈；只满足一條甚至一條都不满足，就更适合做收口處理。
三個最常见的坑
1. 空壳與薄内容
标簽建立後長期没有内容填充，或者只有标题加一串連結。這類頁面本身没有阅讀價值，却會占用抓取资源，還可能让用戶從栏目頁跳進死胡同。定期清理無内容的标簽，比事後补救更省力。
2. 參數叠加生成無限地址
排序、每頁條數、篩選條件、追踪參數一旦允许任意组合，地址數量就不可控。建议给可被抓取的组合设一個明确上限，其余组合通過 robots 規則或參數约束挡在外面，並确保分頁地址有稳定的規范指向。
3. 多套入口互相重叠
同一批内容同时出現在分類頁、标簽頁、专题頁、作者頁里，如果没有主次之分，蜘蛛和用戶都难以判断哪個是主要入口。做法通常是選定一到两個重点入口保持可抓取，其余頁面收敛或做頁面級處理。
上线前的自查清單
- 列出目前所有自動生成的頁面類型，标注各自的數量級和增長方式。
- 抽查每類頁面各若干條，检查是否有獨有文案、條目是否充足、是否混入失效内容。
- 核對分頁、排序、篩選參數是否會产生重复地址，確認規范地址指向正确。
- 检查标簽頁是否進入主導航或栏目頁内鏈，避免只能靠站点地图被發現。
- 確認頁面級指令與實际意图一致，不要出現既要保留又屏蔽的矛盾配置。
- 在服務器日誌里观察這些頁面的抓取占比，比例過高时優先复查。
巡检节奏與记錄
聚合頁的問题往往是缓慢累积的：标簽越建越多，篩選组合越来越随意，几個月後才發現抓取被大量低價值地址占满。建议把它纳入月度巡检，和栏目更新、死鏈检查放在一起做。
记錄时不要只寫「清理了标簽頁」，而要寫清時間、頁面類型、處理方式（保留、收敛、加規范、屏蔽）和判断依據。下次复查时，這份记錄比记忆可靠。
衡量效果也不必求快。可以先看這類頁面的抓取比例、用戶跳出情况、栏目頁的内鏈是否更清晰，再决定下一步是繼續收紧，還是放開部分入口。