很多站点在上线初期會顺手開啟标簽、作者、专题、地区等自動聚合頁,想着“多一個入口總没坏處”。模板一跑,几百上千個頁面就生成了。這些頁面往往只有一行标题加几條摘要,内容重复度高,對用戶價值有限,却會實實在在占用抓取、索引和後續维護的精力。
自動聚合頁為什么會失控
聚合頁本身没有問题,問题在于它的生成逻辑常常和内容量脱钩:某個标簽下只有两篇文章,也照样生成一個獨立 URL;同一個作者名下既有長文也有短讯,全被塞進同一份列表。頁面數量涨得比正文快,站点在抓取端呈現出的整体质量就會被拉低。
- 标簽由編輯随手添加,没有數量上限,也没有合並机制;
- 同一批内容被标簽、作者、分類、日期反复组合,形成多條路径指向近似頁面;
- 列表頁只有标题和摘要,缺少一段能說明“這個頁面是干什么的”的引導文字;
- 頁面上大量連結指向同類聚合頁,蜘蛛容易在里面循环绕行。
自查:先看清現状再動手
1. 數量與生成阈值
統計标簽頁、作者頁、专题頁各有多少個,再看其中有多少個頁面只挂着 1 到 3 篇内容。這類頁面通常就是薄頁的主要来源。同时確認模板的生成規則:是内容達到一定數量才生成,還是只要有标簽就先建頁面。
2. 抓取日誌里的表現
在服務器日誌中筛出聚合頁路径,观察蜘蛛在這類頁面上的停留频率與抓取结果。如果一批聚合頁被反复抓取,却很少带来有效的下一跳,說明它們更多是在消耗预算,而不是在帮内容分發。反過来,如果某些标簽頁确實是用戶找到内容的主要入口,就不要一刀切。
3. 用戶到底用不用
站内搜尋词、頁面停留、跳出資料都可以作為參考。一個值得保留的聚合頁,通常满足两点:有人從外部或站内点進来,且進来之後會繼續往下点。長期零訪問、零点击的标簽,清理起来阻力最小。
處理顺序建议
- 先合並重复标簽。同义词、單复數、大小寫造成的重复标簽,合成一個入口,比新增規則更有效。
- 给生成设阈值。例如某标簽下内容少于 5 篇时不生成獨立頁面,或只保留在篩選參數中,不單獨给 URL。
- 收敛入口。把标簽云收進折叠区或獨立的标簽索引頁,减少頁脚、侧栏到處铺連結。
- 必要时用指令控制。對确實要留给用戶、但不希望進入索引的聚合頁,可以在该頁模板上設定 noindex,同时保留連結可跟随,避免把站内路径截断。
- 增强保留頁面。给保留下来的聚合頁补一段人工撰寫的說明,交代這個标簽收錄什么、按什么顺序排列,頁面就不再只是列表。
- 定期清理。按季度检查新增标簽,把零訪問、零内容的刪除或合並。
動手时容易踩的坑
不要一次性把全站标簽頁统一 noindex 或刪除。先分批、先看資料,改動後观察日誌里這些路径的抓取變化。如果某批頁面确實要下线,返回 404 還是 301,取决于它有没有外部連結和用戶入口:有替代頁面的做 301,纯内部重复的可以直接 404。
另外,标簽頁和分頁、篩選參數不是一回事。分頁是同一份列表的延續,标簽是内容维度的聚合,两者的處理策略不要混用。
聚合頁的價值不在數量,而在它是否真的帮用戶找到下一篇文章。如果答案是否定的,它占的那份索引资源就是可以省下来的。
复查节奏
把聚合頁检查放進月度或季度例行工作:看新增了多少标簽、有多少頁面長期没有訪問和点击、日誌里有没有明顯的循环抓取路径。保持在一個可控規模,比事後大規模清理要省事得多。