做收录排查时，很多人习惯先看爬虫来访次数、sitemap 提交量和内链入口。这些确实是 URL 被发现的前提，但它们决定的是有没有被抓，而不是会不会被收。搜索引擎抓完页面后，还要判断这个 URL 是否值得进入索引：内容是否独立、是否满足某种查询需求、是否和站内其他页面高度相似。抓取正常却收录少，通常要回到页面质量上找原因。
先分清抓取与收录的边界
抓取是爬虫把页面 HTML 取回的过程，收录是搜索引擎把这个 URL 作为候选结果保存下来的过程。前者出问题，日志里会看到大量错误码、超时或抓取频次过低；后者出问题，日志可能一切正常，索引报告里却是“已抓取，尚未编入索引”。如果把这两类问题混在一起处理，很容易在服务器和 robots 上反复折腾，却碰不到真正的原因。
索引取舍时通常看什么
搜索引擎没有公开完整的收录标准，但从实际表现看，下面几项会明显影响一个 URL 能否进入索引。
- 内容是否独立可用：页面有没有自己的主体信息，还是只由标题、几句导语和一堆推荐位拼成。
- 是否与站内其他页面重复：同一批商品、同一篇文章通过参数、排序或分页生成出多条近似 URL 时，搜索引擎通常只会保留其中一条。
- 是否对用户有实际价值：列表页只有几条结果、筛选页组合出大量空结果、标签页只是关键词堆砌，这类页面被索引的概率会低很多。
- 站点整体质量与信任度：同一批模板批量生成的页面越多，单个页面的索引机会越容易被稀释。
重复内容与 URL 规范
重复内容不一定是复制别人的文章，站内自己产生的重复同样常见。比如商品列表按价格、销量、上架时间排序，生成了 order=price、order=sales 等多个 URL；文章带打印版、AMP 版、移动版；筛选条件叠加后出现大量参数组合。这些 URL 如果都能被抓到，索引就会在几条几乎一样的页面之间反复选择。
处理思路是先确定每个内容对应的规范 URL，再用 canonical、站内链接和 URL 规则把信号收敛过去。需要注意，canonical 是建议而不是命令，如果站点内部仍然用不同 URL 互相链接，搜索引擎可能不会按你期望的那条来收录。
几类容易拖累收录的页面
- 空列表页与无结果筛选页：没有实际内容，建议返回合适的 404 或 410，或者用 robots 阻止抓取，而不是让它们长期返回 200。
- 批量生成的模板页：如果只是替换城市名、关键词，正文结构完全一样，索引价值有限。
- 纯聚合页：把站内或站外内容简单拼接，缺少自己的整理和判断。
- 内容极少的详情页：只有一两句话和图片，用户和搜索引擎都难以判断页面主题。
这几类页面不一定要全部删除，但至少不要让它们大量占用抓取额度和索引位。对确实有流量的筛选组合，可以补上说明文字、常见问题和结构化信息，让它从参数壳变成可独立回答问题的页面。
自查时按这个顺序走
- 先在索引报告里区分已抓取未收录和未抓取两类 URL，避免混着看。
- 抽查未收录页面，看正文、标题、描述是否与站内其他页面高度相似。
- 检查同一批内容有几条可访问 URL，站内链接实际指向哪一条。
- 统计模板页、筛选页、空结果页在整站 URL 中的占比，再看抓取日志里它们占了多少访问。
- 对确认低价值的 URL 做收敛或屏蔽，对有价值但内容单薄的页面补充信息。
把索引位留给值得的页面
收录不是越多越好。大量低质 URL 进入索引，反而会稀释站点整体的质量信号，让真正需要被搜索到的页面更难获得机会。相比追求收录数字，更实际的做法是定期清理重复和空壳 URL，保证每个被索引的页面都能回答一个具体问题。
抓取解决的是来没来，收录解决的是值不值得留。当抓取正常而收录停滞时，优先检查页面本身的独特性和站内 URL 的收敛情况。