评论、论坛回帖、用户投稿、问答……这些由访客产生的内容（UGC）往往是站点里数量最大的一批页面。它们能给页面补充真实信息，也可能在没人留意的时候，把大量低质地址送进搜索引擎的视野。问题通常不在于“有评论”，而在于这些页面是怎么被展示、被组织、被允许抓取的。
先分清 UGC 页面属于哪一类
同样由用户产生的内容，在抓取层面的价值并不一样。先把它们分成三类，思路会清楚很多。
- 正文下的评论区：通常附在文章页上，属于页面的一部分。只要文章本身值得抓，评论一般不会单独成为一个地址。
- 独立的帖子或投稿详情页：有自己的 URL，可以单独被访问。这类页面质量参差，需要判断哪些值得保留。
- 列表页与个人页：比如“最新评论”“某用户的主页”“TA 的投稿记录”。这些页面往往靠模板自动拼装，数量容易失控。
自查清单
可以按下面的顺序过一遍，不必一次改完，先找出量最大的那部分。
- 可索引范围是否明确。哪些 UGC 页面希望出现在搜索结果里，哪些只服务于站内互动？心里没答案的地方，通常就是问题所在。
- 列表页是否会无限翻下去。评论列表、投稿记录如果没有任何翻页边界，蜘蛛顺着“下一页”会一路走到很深的地址。
- 个人主页是否被大量生成。注册即生成主页，且内容为空或只有几条动作记录的页面，价值通常很低。
- 是否存在预览页与提交成功页。表单提交后的临时页面如果没有处理，容易被外部链接或历史记录带出去。
- 审核机制是否落在展示层。先审后发还是先发后审，直接决定了低质内容有没有机会被抓到。
- 外链是否被放开。评论区里的链接如果默认可见、可点，容易被当成投放目标。
- 排序与筛选参数是否收敛。按时间、按热度、按点赞排序如果各生成一套地址，同一批内容会复制出很多入口。
处理时的几个取舍
保留互动，但收紧出口
不是所有 UGC 都需要被搜索引擎看到。对纯互动性质的列表页、个人页，可以考虑用 noindex 一类的方式让它们不进入索引，同时保留站内可访问。这样既不影响访客使用，也不至于让抓取预算被大量模板页消耗。
让审核发生在展示之前
如果内容先展示、后审核，那么在被删除之前，它已经有机会被抓走一次。把审核放在展示之前，或者对未审核内容设置不可访问状态，能减少很多后续清理工作。
给翻页一个明确的尽头
分页做到一定深度就停止，或者对“更多”页面设置抓取限制，让蜘蛛不至于顺着列表一路向下。数量有限的老帖归档，比无穷尽的滚动列表更容易管理。
判断标准可以很简单：这个页面如果被一个陌生访客看到，他会不会觉得这是站点愿意展示的内容？如果答案是否定的，那它大概率也不需要被搜索引擎看到。
观察与复盘
做完调整之后，可以从抓取日志里看看 UGC 相关地址的访问量有没有下降，同时确认文章页、栏目页的抓取有没有被挤掉。真正的目标不是把 UGC 一刀切掉，而是让有价值的互动页面留下来，让模板拼出来的空页面不再占用入口。
这件事没有一劳永逸的做法。评论量、投稿量会涨，规则也需要跟着调。把它当成栏目规划的一部分，定期看一眼，比出了问题再回头收拾要省事得多。