很多站点运营的日常工作围绕正文頁展開：選题、排版、發布、更新。相比之下，栏目頁、标簽頁、专题頁這些由模板批量生成的聚合頁，往往在後台挂着几十上百個，却很少有人回头看一眼。它們结构高度相似，列表内容又经常變動，蜘蛛一旦進入，很容易在大量相似地址之間反复轉圈。
這篇文章不讨论怎么去迎合蜘蛛，只聊一件更基础的事：聚合頁到底该不该被大量發現，以及怎么让自己的栏目结构把這件事说清楚。
聚合頁的問题通常出在哪
聚合頁由模板生成，頁面主体几乎全是連結。模板化的标题、重复的導语、没有實质描述的列表，會让一批頁面在蜘蛛眼里長得几乎一样。再叠加分頁、排序、篩選、标簽组合，同一批内容可以裂變出成百上千個地址。此时抓取资源被摊薄，真正需要被發現的正文頁反而排到了後面。
先给聚合頁分個類
動手改之前，建议先把站内所有聚合頁列出来，按價值分成三類：
- 有獨立價值：栏目本身有明确定位，有導语或說明文字，有稳定的更新节奏，用戶會直接点進来浏览。
- 纯導航型：存在的意义主要是把連結归拢在一起，帮助用戶和蜘蛛向下走一层，本身没有太多可讀内容。
- 空壳型：栏目建了但長期没有内容，或者只有一两條记錄，描述文字是模板自動填充的。
分類之後，處理方式就清晰了：第一類值得被正常抓取，第二類需要控制抓取深度和數量，第三類通常應该先清理，而不是急着让蜘蛛来發現。
空栏目和長期不更新的列表
空栏目最容易被忽视，因為它不报错、不返回 404，看起来一切正常。但對蜘蛛来说，一個点進去什么都没有的列表頁，價值和软 404 差不多。如果栏目短期内确實没有内容，比較稳妥的做法是先不上线，或者暂时從導航和 Sitemap 中拿掉，等内容积累起来再開放。
還有一種情况是老栏目内容被清空或迁移走了，頁面還留在原處。這類頁面要么补上替代内容，要么做好跳轉或下线處理，不要让它長期空轉。
分頁、排序與篩選參數
带參數的列表頁通常是最容易失控的部分。分頁、排序、價格区間、颜色尺寸、多條件组合，很容易生成大量内容几乎相同的地址。建议在站内先明确几條規則：
- 分頁保留可抓取，但只在頁面内提供「上一頁/下一頁」這類线性入口，不要把几十上百個頁碼一次性铺在頁面上。
- 排序、篩選類參數尽量不單獨生成可被收錄的地址，或用 noindex 明确表態。
- 篩選组合頁如果有真實的搜尋需求，可以保留少量高價值组合，其余交给站内搜尋承接。
noindex、canonical 與 robots.txt 的選擇
處理聚合頁时，這三種手段经常被混用，效果差別很大：
- noindex：适合确實不需要出現在搜尋结果里的列表頁，比如排序頁、篩選结果頁。注意它需要頁面能被抓取到才能生效，用 robots.txt 屏蔽後再加 noindex 往往無效。
- canonical：适合内容确實重复、但用戶需要通過不同入口訪問的頁面，指向那個主版本地址。
- robots.txt：适合批量屏蔽參數组合這類量大且無價值的地址，但它只控制抓取，不控制收錄。
三者不要互相打架。常见错誤就是一邊用 robots.txt 挡住抓取，一邊在頁面里寫 noindex，结果两邊都没達到预期。
让聚合頁自己也有点内容
如果希望某個栏目頁被正常抓取，最省事的做法是给它一点真實内容。一段說明這個栏目收錄范围、更新频率的導语；几條編輯挑選的推荐；每個列表項带一句摘要而不是只有一個标题——這些都能让頁面和其他列表区分開。差异不需要很大，但要有。
一份可以照着做的自查清單
- 站内所有聚合頁是否已列出，並标注了類型和價值。
- 是否存在長期空白的栏目、标簽頁，是否已清理或暂时下线。
- 分頁是否可控，頁面内是否出現几十上百個頁碼連結。
- 排序、篩選、标簽组合參數是否設定了明确的處理規則。
- noindex、canonical、robots.txt 三者是否策略一致，没有互相冲突。
- 重点栏目是否有導语、說明或人工推荐内容。
- 導航和面包屑指向的栏目，是否就是希望優先被抓取的那几個。
聚合頁不是越多越好，也不是一律屏蔽。關键是把有限的抓取机會，留在那些真正能代表站点價值的頁面上。
栏目结构是站点長期运营的骨架，一次梳理不需要改動太多東西，但能避免大量重复列表在後台悄悄消耗抓取资源。建议每隔一段時間回来看一次，尤其是新增栏目和站点改版之後。