论坛帖、問答頁、商品评價、文章评论，這些由用戶产生的内容（UGC）往往數量大、更新快，也是收錄量最容易失控的一块。全部放出去，容易被大量模板相似、正文稀薄的頁面拖累；全部屏蔽，又會丢掉里面真正有人搜的長尾内容。更現實的做法是按信息增量分档處理，而不是按栏目一刀切。
先给三類用戶内容分档
分档的标准只問一件事：這個頁面除了導航、模板和一堆重复的框架文字，還剩多少別人寫不出或很少人寫的内容。
第一档：有獨立主题和完整正文
- 提問带着具体场景、條件和已经尝试過的做法，回答有针對性；
- 帖子有完整叙述，能單獨回答一個搜尋词；
- 评價包含使用條件、时長、對比對象，而不只是“很好用”。
這類頁面本身就是内容，标题、正文、URL 都相對稳定，属于優先让抓取和收錄的一档。
第二档：内容依附于主頁面
典型是文章下面的评论、课程頁下面的提問。單條评论可能只有一两句话，但聚在一起能补充主頁面没有的细节。這一档不建议單獨收錄每條回复，而是让主頁面把有價值的部分呈現出来，比如精選問答、按热度排在前面或有帮助标记的评论。按時間翻頁的评论墙、翻到很後面的评论分頁，就更需要谨慎。
第三档：几乎没有增量
簽到帖、打招呼、纯表情回复、無人回复的空白問答、只有用戶名和头像的個人主頁。這些頁面會占用抓取額度却带不来價值，通常的做法是不放内鏈入口、不寫進站点地图，必要时在模板层面统一處理。
判断前先核對三件事
- 主体内容是否在服務端返回的 HTML 里。很多社区把评论和回答放到前端异步加载，抓取工具拿到的只是一個空壳。這種情况下讨论收不收錄没有意义，先把内容放到首次返回里。
- URL 是否稳定、是否只有一個。同一個帖子带排序參數、翻頁參數、来源參數會产生多個地址，先统一主地址，再谈收錄。
- 狀態碼和入口是否正常。内容還在，頁面却返回 404，或者需要登入才能看到，收錄自然不會發生。這一類要先修，不要用屏蔽来掩盖。
處理顺序：模板、入口、單個 URL
顺序反了容易白做工。先用少量样本頁面確認模板本身是否合理，再看這些頁面從哪些入口被連結到、入口层級有多深，最後才處理個別需要單獨决定的 URL。反過来，只盯着單條連結去改，模板一換又全都變了。
几個容易漏掉的地方
- 评论分頁。翻到很後面的评论，通常没有獨立價值，也不适合作為收錄入口。
- 空结果頁。搜尋無结果、标簽下没有内容，這類地址應返回明确狀態，而不是顯示一個“暂無内容”的正常頁面。
- 用戶主頁與簽名頁。如果只有名字和头像，先看它能不能把该用戶的有效内容聚合出来；不能，就先別让入口散開。
- 折叠内容。需要点击展開才出現的正文，抓取和用戶看到的可能不一致，尽量預設展示或改為服務端輸出。
收錄與否是结果，不是開關。先把頁面做到配得上被收錄，再决定要不要收窄入口；顺序倒過来，通常只是把問题從索引里挪到別處。
收口之後看什么
調整完不要立刻盯總數，先看抓取日誌里這些地址的訪問频次有没有下降、高质量帖子的抓取有没有變多，再看索引里留下的頁面标题和摘要是否更贴近主题。索引量的變化往往滞後，判断依據應该放在抓取分布和頁面质量上，而不是某一天的數字。