很多站点运营把“收录量”当成绩单，页面一多就希望全部被索引。但搜索引擎的抓取和索引资源有限，低价值页面进入索引后，反而可能拉低整站质量判断。更实际的做法是先给页面做收录价值分层，再决定放行、观察还是收敛。
抓取与收录不是一回事
蜘蛛抓取只说明 URL 被访问过，收录则意味着页面经过质量与重复度判断后进入索引。抓取正常但未收录，常见原因不是“蜘蛛没来”，而是页面在索引层被筛掉。因此做收录管理时，不能只看抓取日志，还要看 URL 类型和页面价值。
三层收录价值
核心页：应当放行
核心页是用户搜索后真正需要落地的那批页面，比如产品详情、文章正文、分类主入口。判断标准：有独立内容、能满足明确需求、URL 稳定、内链有入口。这类页面应保持可抓取、可索引，canonical 指向自身，并确保移动端和 PC 端使用同一套 URL。
辅助页：可以观察
辅助页包括筛选页、标签页、分页、作者页、归档页等。它们可能带来额外入口，也可能只是重复内容的另一种排列。处理方式不是一刀切，先看是否有搜索需求、是否有独立信息增量、是否与主页面高度重复。有增量就保留并规范 URL，没有增量就考虑 noindex 或收敛。
碎片页：优先收敛
碎片页通常由参数、排序、会话 ID、站内搜索、空结果页产生，数量可能远超核心页。它们对收录几乎没有正向价值，却会消耗抓取配额。处理顺序：先阻断站内搜索和会话参数，再对排序、筛选参数做规范化，最后检查是否还有大量无入口的孤岛 URL。
判断时看哪几个信号
- 内容增量：页面是否有独立正文，还是只是列表或模板拼接。
- 重复程度：标题、摘要、正文是否与站内其他 URL 高度相似。
- URL 规范：是否存在大小写、参数、尾斜杠等多个变体。
- 内链入口：是否有来自核心页的稳定链接，还是只能靠 sitemap 提交。
- 搜索需求：用户是否可能直接搜索该页面主题，还是只是站内路径。
处理顺序：先收敛，再谈提交
- 先列出站点主要 URL 类型，按目录和参数分组统计。
- 把核心页、辅助页、碎片页分别标记，不要混在一起看收录率。
- 对碎片页先做抓取层拦截，再处理索引层信号。
- 对辅助页做小范围测试，观察是否有搜索展现，再决定放行还是 noindex。
- 最后把稳定放行的核心页放进 sitemap，并保持内链可达。
收录不是越多越好，而是让该被索引的页面稳定进入索引，让不该进入的页面在抓取或索引层就被收敛掉。
常见误区
一个误区是把“提交 sitemap”当成收录动作，提交只是告知，不保证进入索引。另一个误区是只盯着收录数字，不区分 URL 类型，结果核心页没收录，碎片页却大量进入索引。还有一种情况是核心页和辅助页内容重复，搜索引擎选择了辅助页作为主版本，核心页反而被替换。遇到这类问题，先检查 canonical 和内链是否指向了正确版本。
收录管理更像是做减法。把页面按价值分层，持续收敛低价值 URL，核心页的抓取和索引才会更稳定。判断标准可以随业务调整，但“先分层、再放行”的顺序不要反过来。