自动生成的列表页，往往没人管
栏目页和内容页通常有人盯着，改标题、调结构、补内容都有人负责。但标签页、作者页、日期归档页这类由系统自动生成的列表页，很多人从上线那天起就没再看过第二眼。它们的数量可能比内容页还多，页面本身却只是标题加摘要的重复堆叠，既没有独立价值，又占着站内链接位置和抓取入口。
先盘点站点里有哪些自动列表页
- 标签页与关键词聚合页：一篇文章打三五个标签，每个标签都能翻出一串列表。
- 分类归档页：栏目下的分页列表，翻到第几十页依然存在。
- 日期归档页：按年月生成的归档，内容通常和首页、栏目页高度重复。
- 作者页：多作者站点常见，页面可能只有作者名加一排文章标题。
- 站内搜索或条件组合生成的列表页：这类按筛选参数单独处理。
盘点时不用一个个打开看，先从后台或数据库统计各类型的 URL 数量，再抽样看几页，就能大致判断问题有多严重。
判断标准：这个页面自己能不能立住
拿一个列表页问三个问题：它有没有一个明确的主题？除了标题链接，还有没有别的内容，比如一段说明、排序筛选、精选推荐？用户直接落到这个页面，会不会觉得来对了地方？三个问题都答不上来，说明它更接近索引页，而不是值得被单独访问的内容页。
标签页的三种处理
- 有聚合价值的：标签能对应一个真实需求，而且持续有内容补充。给它写一段简短介绍，同时控制标签数量，避免一篇文章挂七八个标签。
- 价值一般的：页面保留，但别让它在导航、侧栏、正文里到处出现，减少内链入口，让它自然沉下去。
- 纯粹凑数的：不生成独立页面，改成页面内的前端筛选，或者直接合并到上级栏目。
归档页与作者页
日期归档多数情况下可以直接关掉。用户很少按某个年月去找内容，这类页面也很难提供栏目页之外的信息。分类归档建议保留，但注意两点：分页要能正常翻到后面的内容页，不要只靠脚本加载；翻到很深的页码时，可以考虑收敛，把入口和权重留给前几页。
作者页不要做成纯列表。如果站点有若干固定作者，可以补上作者介绍、领域方向、代表文章，让它成为一个有信息量的页面；如果只是后台自动生成的名字页，完全可以不做成可访问的地址。
用统一规则收口，而不是一个个改
- 先统计数量：标签页、归档页各有多少，优先处理规模最大的那一类。
- 定规则：哪些保留、哪些合并、哪些不输出可点击链接，先写下来再动手。
- 改模板：列表页的标题与描述模板要能区分不同页面，别让所有标签页都是同一句“某标签 - 网站名”。
- 减入口：从页脚、侧栏撤掉全量标签云和全部归档链接，只留少量有价值的入口。
- 看日志：改完之后观察一段时间，确认这些页面的抓取请求在下降，同时内容页的抓取没有受到牵连。
别走向另一个极端
有些站点发现问题后，把所有列表页一律设为不索引，结果把真正有价值的聚合入口也一起关掉了。标签页和归档页本身不是坏东西，一个主题清晰、持续更新的标签页，有时比单篇文章更容易承接长尾需求。关键在于区别对待：有价值的补内容、给入口，没有价值的收链接、合页面。数量少了、入口清了，抓取和用户注意力才会落到真正需要被看到的内容上。
处理自动列表页的目标不是把它们全部删掉，而是让每个保留下来的页面都有存在的理由。这条规则同样适用于之后新增的任何一类自动生成页面。