抓取和收录之间还有一道筛选
日志里看到蜘蛛抓取，只说明页面被下载过，不代表它一定会进入索引。搜索引擎还会对页面做质量评估、重复识别和 URL 合并，再决定是否保留。很多站点把“抓取正常”当成“收录没问题”，结果在索引报告里看到大量已抓取未编入索引的 URL，原因往往不在抓取，而在页面本身。
内容维度：看信息增益，不只看字数
是否提供了新增信息
同一类问题，如果页面只是把已有内容重新排列，或者用模板拼接关键词，搜索引擎很难判断它比现有结果多出什么。信息增益可以理解为：用户看完这一页，能不能得到别处没有的细节、数据、案例或解释。
正文是否可见
内容依赖登录、点击展开、滚动加载或大段脚本渲染时，抓取端看到的可能是空壳。即使页面能正常打开，索引版本也可能只保留很少文字。把核心说明放在 HTML 可读位置，更利于页面被理解和判断。
模板维度：有壳无肉会拖累整批页面
不少站点的问题不在单页，而在模板。导航、侧栏、广告、推荐位占去大量位置，正文占比很低；或者同一模板批量生成成百上千个页面，字段替换后主体几乎一样。这类页面容易在索引阶段被合并或舍弃。
- 导航和页脚链接过多，正文被挤到后面
- 列表页直接输出所有条目，却没有筛选或说明
- 详情页只有参数表，缺少解释和使用场景
- 同一模板下多个 URL 内容只差一两个词
URL 与重复内容：先收口，再谈收录
URL 写法不统一会让同一内容分散到多个地址。常见情况包括大小写混用、带不带末尾斜杠、追踪参数生成多个版本、http 与 https 同时可访问。搜索引擎需要先判断这些 URL 是不是同一页面，才能决定把哪个版本放进索引。
处理顺序通常是：能重定向的做 301，参数用规范链接或 robots 规则收口，站内链接统一到目标版本。不要一边保留多个入口，一边期待收录稳定。
站点入口：内链决定重要页面是否被持续发现
页面质量不错，但没有稳定内链入口，也可能长期停留在“已发现”状态。首页、栏目页、相关推荐、面包屑这些位置，至少要让重要页面有一条可抓取的路径。孤岛页面不是绝对不能收录，但发现和复查频率通常更低。
自查顺序：从抓取日志到索引状态
- 先看日志，确认目标 URL 是否被抓取，返回码是否正常。
- 检查 URL 规范，合并重复版本，确认 canonical 指向正确。
- 对比同模板页面，看是否只有字段差异，正文是否过薄。
- 检查内容是否依赖交互，抓取端能否看到主要文字。
- 最后观察索引状态，区分未发现、已发现未抓取、已抓取未编入索引。
几个常见误区
提交 URL 影响的是发现速度，不是收录结果。sitemap、主动提交和蜘蛛池能增加入口，但页面是否进入索引，仍要看质量评估和重复判断。
另一个误区是只看收录数量。收录涨了，如果进来的都是筛选页、搜索页或低质模板页，对站点并没有实际帮助。与其追数量，不如先把重要页面的内容、模板和 URL 整理清楚。
收录是一个动态结果。页面改动、站点结构调整、重复内容变化，都可能让索引状态发生波动。定期用日志、索引报告和站内检查交叉验证，比单看某一天的收录数字更可靠。