很多站点的頁面數量增長,並不完全来自編輯主動發布的文章。分類頁、标簽頁、作者頁、篩選參數頁、站内搜尋结果頁,這些由系統自動生成的目錄型頁面,往往在几個月内就超過正文頁的數量。它們本来是為了方便用戶找内容,但如果放任不管,很容易變成一堆内容稀薄、标题雷同的頁面。
先分清站内自動頁面的類型
治理的第一步不是删,而是分類。不同類型的頁面,處理逻辑完全不同。
- 分類頁:通常對應明确的栏目结构,是站点层級的主干,一般應当保留並持續维護。
- 标簽頁:由編輯或系統根據關鍵詞自動聚合,數量容易失控,是治理的重点對象。
- 篩選與排序參數頁:颜色、價格、排序方式等條件组合产生的頁面,數量往往呈指數級增長。
- 站内搜尋结果頁:由用戶查询生成,通常不适合作為常規内容入口被大量暴露。
失控时常见的几種表現
- 标簽頁只關联三五條内容,頁面主体几乎全是導航和推荐位。
- 多個标簽頁的标题和描述高度相似,彼此之間没有明顯区分。
- 同一批文章被十几個标簽同时聚合,形成内部互相竞争。
- 參數组合頁被大量連結到,蜘蛛在站内反复穿行却抓不到新内容。
處理方式:保留、收敛與合並
给标簽頁设定保留门槛
比較實用的做法是设定一個内容數量门槛,例如累計關联内容少于若干條的标簽,不單獨生成可訪問的列表頁,或者只在文章頁内以連結形式展示。门槛不必照搬別人的數字,结合自己站点的内容量来定即可。關键是让規則固定下来,而不是每次上线新功能时再临时判断。
区分用戶需要的入口和系統顺手生成的入口
用戶真正會点击的标簽,通常是主题明确、内容量足够的。系統按分词自動打上的标簽,很多只是字符串匹配的结果。可以在後台把标簽来源标记清楚,只對人工维護的标簽開放列表頁入口。
參數頁尽量收敛到主版本
篩選參數可以保留给用戶使用,但不必每個组合都允许被索引。常见的處理是给主列表頁設定規范地址,參數组合頁通過 robots 規則或頁面級标记進行收敛,避免同一批内容出現几十個入口。
合並而不是简單刪除
如果两個标簽高度重合,直接删掉其中一個會让已有連結断掉。更稳妥的做法是保留内容更多的那個,把另一個地址做永久跳轉,並把内部連結逐步替換過去。
判断一個聚合頁是否值得保留,可以先問一句:如果用戶從搜尋结果直接落到這個頁面,他會不會觉得這里是一個完整的、有明确主题的頁面?如果答案是否定的,它大概率只是系統顺手生成的中間頁。
定期巡检清單
- 統計标簽頁與參數頁的總量,和上個月對比,看增長是否異常。
- 按關联内容數量排序,找出内容极少的頁面。
- 抽查标题與描述,看是否存在大批量重复。
- 检查内鏈,確認主導航和文章頁没有大量指向低價值聚合頁。
- 確認被收敛的頁面返回明确狀態,而不是仍然可以正常訪問。
- 把處理结果记錄下来,方便下次巡检时對照。
小结
标簽頁和聚合頁本身不是問题,問题在于它們有没有被当成正式内容来管理。把規則定清楚、把门槛寫下来、定期回看增長曲线,站内連結和抓取资源才會更集中到真正需要被看到的内容上。