论坛帖、问答页、商品评价、文章评论，这些由用户产生的内容（UGC）往往数量大、更新快，也是收录量最容易失控的一块。全部放出去，容易被大量模板相似、正文稀薄的页面拖累；全部屏蔽，又会丢掉里面真正有人搜的长尾内容。更现实的做法是按信息增量分档处理，而不是按栏目一刀切。
先给三类用户内容分档
分档的标准只问一件事：这个页面除了导航、模板和一堆重复的框架文字，还剩多少别人写不出或很少人写的内容。
第一档：有独立主题和完整正文
- 提问带着具体场景、条件和已经尝试过的做法，回答有针对性；
- 帖子有完整叙述，能单独回答一个搜索词；
- 评价包含使用条件、时长、对比对象，而不只是“很好用”。
这类页面本身就是内容，标题、正文、URL 都相对稳定，属于优先让抓取和收录的一档。
第二档：内容依附于主页面
典型是文章下面的评论、课程页下面的提问。单条评论可能只有一两句话，但聚在一起能补充主页面没有的细节。这一档不建议单独收录每条回复，而是让主页面把有价值的部分呈现出来，比如精选问答、按热度排在前面或有帮助标记的评论。按时间翻页的评论墙、翻到很后面的评论分页，就更需要谨慎。
第三档：几乎没有增量
签到帖、打招呼、纯表情回复、无人回复的空白问答、只有用户名和头像的个人主页。这些页面会占用抓取额度却带不来价值，通常的做法是不放内链入口、不写进站点地图，必要时在模板层面统一处理。
判断前先核对三件事
- 主体内容是否在服务端返回的 HTML 里。很多社区把评论和回答放到前端异步加载，抓取工具拿到的只是一个空壳。这种情况下讨论收不收录没有意义，先把内容放到首次返回里。
- URL 是否稳定、是否只有一个。同一个帖子带排序参数、翻页参数、来源参数会产生多个地址，先统一主地址，再谈收录。
- 状态码和入口是否正常。内容还在，页面却返回 404，或者需要登录才能看到，收录自然不会发生。这一类要先修，不要用屏蔽来掩盖。
处理顺序：模板、入口、单个 URL
顺序反了容易白做工。先用少量样本页面确认模板本身是否合理，再看这些页面从哪些入口被链接到、入口层级有多深，最后才处理个别需要单独决定的 URL。反过来，只盯着单条链接去改，模板一换又全都变了。
几个容易漏掉的地方
- 评论分页。翻到很后面的评论，通常没有独立价值，也不适合作为收录入口。
- 空结果页。搜索无结果、标签下没有内容，这类地址应返回明确状态，而不是显示一个“暂无内容”的正常页面。
- 用户主页与签名页。如果只有名字和头像，先看它能不能把该用户的有效内容聚合出来；不能，就先别让入口散开。
- 折叠内容。需要点击展开才出现的正文，抓取和用户看到的可能不一致，尽量默认展示或改为服务端输出。
收录与否是结果，不是开关。先把页面做到配得上被收录，再决定要不要收窄入口；顺序倒过来，通常只是把问题从索引里挪到别处。
收口之后看什么
调整完不要立刻盯总数，先看抓取日志里这些地址的访问频次有没有下降、高质量帖子的抓取有没有变多，再看索引里留下的页面标题和摘要是否更贴近主题。索引量的变化往往滞后，判断依据应该放在抓取分布和页面质量上，而不是某一天的数字。