评论、论坛回帖、用戶投稿、問答……這些由訪客产生的内容（UGC）往往是站点里數量最大的一批頁面。它們能给頁面补充真實信息，也可能在没人留意的时候，把大量低质地址送進搜尋引擎的视野。問题通常不在于“有评论”，而在于這些頁面是怎么被展示、被组织、被允许抓取的。
先分清 UGC 頁面属于哪一類
同样由用戶产生的内容，在抓取层面的價值並不一样。先把它們分成三類，思路會清楚很多。
- 正文下的评论区：通常附在文章頁上，属于頁面的一部分。只要文章本身值得抓，评论一般不會單獨成為一個地址。
- 獨立的帖子或投稿詳情頁：有自己的 URL，可以單獨被訪問。這類頁面质量參差，需要判断哪些值得保留。
- 列表頁與個人頁：比如“最新评论”“某用戶的主頁”“TA 的投稿记錄”。這些頁面往往靠模板自動拼装，數量容易失控。
自查清單
可以按下面的顺序過一遍，不必一次改完，先找出量最大的那部分。
- 可索引范围是否明确。哪些 UGC 頁面希望出現在搜尋结果里，哪些只服務于站内互動？心里没答案的地方，通常就是問题所在。
- 列表頁是否會無限翻下去。评论列表、投稿记錄如果没有任何翻頁邊界，蜘蛛顺着“下一頁”會一路走到很深的地址。
- 個人主頁是否被大量生成。註冊即生成主頁，且内容為空或只有几條動作记錄的頁面，價值通常很低。
- 是否存在预览頁與提交成功頁。表單提交後的临时頁面如果没有處理，容易被外部連結或歷史记錄带出去。
- 审核机制是否落在展示层。先审後發還是先發後审，直接决定了低质内容有没有机會被抓到。
- 外鏈是否被放開。评论区里的連結如果預設可见、可点，容易被当成投放目标。
- 排序與篩選參數是否收敛。按時間、按热度、按点赞排序如果各生成一套地址，同一批内容會複製出很多入口。
處理时的几個取舍
保留互動，但收紧出口
不是所有 UGC 都需要被搜尋引擎看到。對纯互動性质的列表頁、個人頁，可以考虑用 noindex 一類的方式让它們不進入索引，同时保留站内可訪問。這样既不影响訪客使用，也不至于让抓取预算被大量模板頁消耗。
让审核發生在展示之前
如果内容先展示、後审核，那么在被刪除之前，它已经有机會被抓走一次。把审核放在展示之前，或者對未审核内容設定不可訪問狀態，能减少很多後續清理工作。
给翻頁一個明确的尽头
分頁做到一定深度就停止，或者對“更多”頁面設定抓取限制，让蜘蛛不至于顺着列表一路向下。數量有限的老帖归档，比無穷尽的滚動列表更容易管理。
判断标准可以很简單：這個頁面如果被一個陌生訪客看到，他會不會觉得這是站点愿意展示的内容？如果答案是否定的，那它大概率也不需要被搜尋引擎看到。
观察與复盘
做完調整之後，可以從抓取日誌里看看 UGC 相關地址的訪問量有没有下降，同时確認文章頁、栏目頁的抓取有没有被挤掉。真正的目标不是把 UGC 一刀切掉，而是让有價值的互動頁面留下来，让模板拼出来的空頁面不再占用入口。
這件事没有一劳永逸的做法。评论量、投稿量會涨，規則也需要跟着調。把它当成栏目規划的一部分，定期看一眼，比出了問题再回头收拾要省事得多。