网站收录

标签页与聚合页要不要放收录:按页型分批决定

标签页、专题页和筛选页往往是站内 URL 增长最快的部分。本文先把聚合页按用途分类,再给出判断是否放收录的四个问题、放出去之后的收口动作,以及不放收录时 noindex 与 robots.txt 的选择思路。

网站收录

标签页与聚合页要不要放收录:按页型分批决定

标签页、专题聚合页、筛选结果页,往往是站点里 URL 数量涨得最快的一批。它们有的确实能承接长尾搜索,有的只是把同一批内容换个顺序再列一遍。放不放收录,不是一个“全站开”或“全站关”的开关,而是按页型分批决定。

先按用途给聚合页分个类

  • 导航型:栏目首页、分类页,用户靠它往下走,也是内链的骨架,通常放在收录范围里。
  • 筛选型:颜色、价格、排序、时间范围等参数组合生成,绝大多数组合没有独立价值。
  • 内容型聚合:围绕一个具体主题人工组织的专题页,有独立标题、导语和编排逻辑,这类最值得单独评估。

分类之后再谈收录,判断会清楚很多,也不容易出现“标签页全部 noindex,结果误伤专题页”的情况。

判断一个聚合页能不能放收录,看四个问题

  1. 它有没有自己的主题:能不能用一句不重复的话说清这页在讲什么。说不清,多半只是列表的另一种排列。
  2. 条目够不够、稳不稳:只有两三条内容的标签页,或者内容每周被整批替换的页面,很难形成稳定的索引价值。
  3. 和主列表是否高度重复:标题、正文、条目顺序与上级分类页几乎一致时,两页同时被收录容易互相竞争。
  4. 有没有人维护:能持续补充导语、调整条目的聚合页才值得放出去;建完就没人管的,通常只是增量负担。
判断口径要写进文档,而不是留在某个人的经验里。否则每次换人维护,收录范围就会漂一次。

决定放收录之后,要做三件收口的事

  • 控制数量:给每个栏目设一个上限,只保留搜索需求明确、内容量达标的那部分标签页,其余不生成或直接返回 404。
  • 处理翻页与排序:翻页 URL 用 canonical 指向列表主地址,排序、每页数量这类参数不单独生成静态 URL。
  • 接好内链:聚合页要从栏目页和相关内容区块获得稳定入口,别只挂在站点地图里等着被发现。

决定不放收录时,选对工具

如果页面本身对用户有用,只是不该进索引,用 noindex 更合适;如果整类 URL 都不需要被抓取,再考虑 robots.txt 屏蔽。需要注意,被 robots.txt 屏蔽的页面,搜索引擎也读不到上面的 noindex,两者同时使用可能互相抵消。

既没有搜索需求、也不服务用户的组合参数,最干净的处理方式是根本不生成链接,而不是先造出来再想办法排除。

放出去之后,按季度复核一次

上线一段时间后回头看:哪些聚合页已经有了稳定的展现和点击,哪些长期零曝光、内容也没再更新。前者可以继续加内链、补内容,后者合并回上级页面或改成 noindex。收录范围不是一次配置,而是跟着内容与需求慢慢收窄或放开的过程。