很多站点在做内容之外,還會自動生成一批聚合頁面:标簽頁、分類归档頁、按月归档頁、作者頁、专题頁。它們本来是為了帮用戶找内容,但如果没有治理,很容易變成几百上千個「半成品」地址,既占抓取预算,也让頁面之間的主题變得模糊。這篇文章讲怎么盘点和處理這類頁面。
先弄清楚站里到底有多少聚合頁
在做判断之前,先把數量摸清楚。可以從這几個入口統計:
- 站点地图里带 /tag/、/category/、/author/、/date/ 等路径的地址數量;
- 服務器日誌里被蜘蛛抓取次數最多的目錄;
- 後台标簽管理頁,看有多少标簽只對應一两篇文章;
- 归档頁的层級,是否同时存在 /2024/05/ 和 /2024/05/12/ 两套。
如果标簽數量遠大于文章數量,基本可以确定聚合頁已经失控。
什么样的聚合頁值得保留
判断标准其實很朴素:這個頁面能不能獨立回答一個用戶會搜尋的問题。
- 有稳定内容量:比如某個标簽下有 15 篇以上同主题文章,用戶看完列表還會点進去;
- 有明确主题:像「服務器运维」這種标簽可以留,但「随筆」「其他」「临时」這類标簽没有检索價值;
- 有持續的更新:标簽下會不断有新增内容,而不是建完就停在原地;
- 能被導航找到:用戶從首頁或栏目頁点两三次能到,而不是只能靠站内搜尋。
常见問题:标簽頁變成重复内容
一篇文章挂十几個标簽
編輯习惯性多打标簽,结果同一個地址會出現在十几個标簽列表里。列表頁本身内容有限,重复出現在多個列表里,會稀释頁面主题。建议给每篇文章限定标簽數量,比如 3 到 5 個,並在發布流程里做检查。
标簽頁、分類頁、归档頁互相重叠
分類頁已经覆盖了主题聚合,再建一套标簽頁做同样的事,等于自己和自己竞争。可以明确分工:分類頁负责大方向,标簽頁只用于跨分類的细分主题,归档頁只做時間维度且不放進主導航。
空标簽和單篇标簽
标簽下只有一篇或零篇文章时,頁面几乎没有價值。要么补内容,要么把這類标簽合並、刪除,並做好 301 或让地址返回 404。
處理方式:留、並、藏、删
- 留:内容量足、主题清晰的聚合頁正常保留,寫清标题和描述,並放進面包屑和站内連結。
- 並:多個意思相近的标簽合並成一個,舊地址 301 到新地址。
- 藏:暂时有用但不希望被大量抓取的頁面,可以用 noindex 處理,但要確認它仍然對用戶可達。noindex 和 robots.txt 屏蔽不要同时用,否則抓取被挡住,noindex 也就讀不到了。
- 删:完全没有價值的空頁面直接下线,返回 404 或 410,並從站点地图和歷史内鏈里清掉。
归档頁與日期路径的注意点
按月归档通常保留最近 12 到 24 個月就够,更早的可以合並成按年归档,或者只保留文章本身的日期信息,不再單獨生成列表頁。如果站点的日期路径曾经改過格式,记得检查舊地址是否還有效,避免蜘蛛反复撞到 404。
面包屑和聚合頁的配合
聚合頁本身层級浅,容易让蜘蛛「绕圈」。给聚合頁加上清晰的面包屑,並在列表項里保留指向文章的内鏈,可以让蜘蛛顺着列表往下走,而不是在几十個列表之間来回跳。面包屑里的連結要指向真實存在的上級頁面,別指向空地址。
一次可以落地的自查清單
- 統計标簽、分類、作者、归档頁的總數,和文章總數對比;
- 找出文章數少于 3 篇的聚合頁,逐個决定留、並、藏、删;
- 检查标簽是否被滥用,给文章标簽數量设上限;
- 確認 noindex 的頁面没有被 robots.txt 挡住;
- 清理站点地图里已经下线的聚合地址;
- 检查列表頁的分頁和内鏈是否正常,別出現一堆空列表。
聚合頁不是越多越好。它存在的意义是帮用戶和蜘蛛更快找到内容,如果做不到,少一点反而更清爽。