網站收錄

标簽頁與聚合頁要不要放收錄:按頁型分批决定

标簽頁、专题頁和篩選頁往往是站内 URL 增長最快的部分。本文先把聚合頁按用途分類,再给出判断是否放收錄的四個問题、放出去之後的收口動作,以及不放收錄时 noindex 與 robots.txt 的選擇思路。

網站收錄

标簽頁與聚合頁要不要放收錄:按頁型分批决定

标簽頁、专题聚合頁、篩選结果頁,往往是站点里 URL 數量涨得最快的一批。它們有的确實能承接長尾搜尋,有的只是把同一批内容換個顺序再列一遍。放不放收錄,不是一個“全站開”或“全站關”的開關,而是按頁型分批决定。

先按用途给聚合頁分個類

  • 導航型:栏目首頁、分類頁,用戶靠它往下走,也是内鏈的骨架,通常放在收錄范围里。
  • 篩選型:颜色、價格、排序、時間范围等參數组合生成,绝大多數组合没有獨立價值。
  • 内容型聚合:围绕一個具体主题人工组织的专题頁,有獨立标题、導语和编排逻辑,這類最值得單獨评估。

分類之後再谈收錄,判断會清楚很多,也不容易出現“标簽頁全部 noindex,结果誤伤专题頁”的情况。

判断一個聚合頁能不能放收錄,看四個問题

  1. 它有没有自己的主题:能不能用一句不重复的话说清這頁在讲什么。说不清,多半只是列表的另一種排列。
  2. 條目够不够、稳不稳:只有两三條内容的标簽頁,或者内容每周被整批替換的頁面,很难形成稳定的索引價值。
  3. 和主列表是否高度重复:标题、正文、條目顺序與上級分類頁几乎一致时,两頁同时被收錄容易互相竞争。
  4. 有没有人维護:能持續补充導语、調整條目的聚合頁才值得放出去;建完就没人管的,通常只是增量负担。
判断口径要寫進文档,而不是留在某個人的经驗里。否則每次換人维護,收錄范围就會漂一次。

决定放收錄之後,要做三件收口的事

  • 控制數量:给每個栏目设一個上限,只保留搜尋需求明确、内容量達标的那部分标簽頁,其余不生成或直接返回 404。
  • 處理翻頁與排序:翻頁 URL 用 canonical 指向列表主地址,排序、每頁數量這類參數不單獨生成静態 URL。
  • 接好内鏈:聚合頁要從栏目頁和相關内容区块获得稳定入口,別只挂在站点地图里等着被發現。

决定不放收錄时,選對工具

如果頁面本身對用戶有用,只是不该進索引,用 noindex 更合适;如果整類 URL 都不需要被抓取,再考虑 robots.txt 屏蔽。需要注意,被 robots.txt 屏蔽的頁面,搜尋引擎也讀不到上面的 noindex,两者同时使用可能互相抵消。

既没有搜尋需求、也不服務用戶的组合參數,最干净的處理方式是根本不生成連結,而不是先造出来再想办法排除。

放出去之後,按季度复核一次

上线一段時間後回头看:哪些聚合頁已经有了稳定的展現和点击,哪些長期零曝光、内容也没再更新。前者可以繼續加内鏈、补内容,後者合並回上級頁面或改成 noindex。收錄范围不是一次配置,而是跟着内容與需求慢慢收窄或放開的過程。