排查收录时经常遇到一种情况：首页和主要栏目收录得比较全，某个目录却长期只进了一小部分。只看整站总数，这个问题是看不出来的——总数会被表现好的部分掩盖。把统计口径拆到目录层面，问题才会显出轮廓。
目录是观察收录的一个合适颗粒度
搜索引擎的收录决策最终落在单个 URL 上，并不存在“这个目录被收录了”这样的状态。但站点的结构本身是按目录划分的，内链、模板、内容类型、发布时间往往都以目录为单位区分。因此目录层面的收录率差异，通常能直接指向原因所在。
先确认差异是不是真的
在动手调整之前，先把数据口径的问题排除掉，否则很容易对着假象做优化。
- 抽样方式：site: 查询只能反映大概，最好在服务器日志里按目录统计被抓取的 URL 数量，再和该目录实际的独立 URL 数量对比。
- 时间窗口：新目录和老目录的收录节奏本来就不同，别拿上线一周的目录和上线三年的目录直接比。
- 索引状态：用网址检查看几个代表页，确认是“确实没收录”，而不是“收录了但没有展示”。这两件事的处理方式完全不同。
- 目录边界：统计时先确定分页、筛选参数、标签页算不算在同一个目录里，口径不一致会得出相反结论。
目录收录差的几种常见原因
内链分布不均
导航和正文里指向某个目录的入口少，目录内的页面又只能靠列表页一层层往下带，蜘蛛能到达的深度就有限。可以实际点一下：从首页出发，走到某个目录内第 20 个页面需要几跳？如果超过四五跳，抓取覆盖往往就不完整。
目录内页面质量参差
有些目录里混着模板化聚合页、空列表页和少量真正有内容的详情页。整体抓取时，低质部分会稀释这个目录的表现。比较可行的做法不是一刀切，而是把有价值的页面挑出来，用内链和入口明确地扶起来。
URL 参数与重复
带筛选、排序、分页参数的目录，很容易出现一个内容对应几十个 URL 的情况。如果这些参数 URL 都能被抓到，抓取资源会被大量消耗，真正希望被收录的规范页反而被挤在后面。
目录的历史包袱
老目录里可能沉淀了大量已下线内容、被替换过的路径和失效链接。这些不会直接“拖累”新页面，但会让蜘蛛在这个目录里花掉更多无意义的时间，间接影响新内容的发现速度。
目录层面可以做的调整
- 统计：按目录列出被抓 URL 数、独立 URL 数、索引进 URL 数，找出差距最大的那一个，先集中处理。
- 收口：参数 URL 和无价值聚合页要通过合适的手段控制住，具体选哪种方式取决于你是想阻止抓取还是阻止索引，两者不能混用。
- 扶正：在导航、面包屑、相关推荐里给目标目录增加稳定的内链入口，把点击深度压到合理范围内。
- 减负：清理失效链接、合并高度近似的页面，让目录内的 URL 数量和实际内容数量大致匹配。
- 观察：按目录分别看日志中的抓取频次变化，判断调整是否生效。这个过程需要时间，不适合频繁反复修改。
不是每个目录都需要把收录率拉满
收录数量本身不是目标。工具类目录、帮助文档、活动页、历史归档，承担的作用各不相同。对没有搜索需求、也不作为站内入口的目录，控制抓取、减少无谓消耗，往往比追求收录更合理。
反过来也一样：如果某个目录承载了主要的流量入口，那么它在索引里的覆盖率就值得持续关注，而不是等到问题累积了才回头查。
小结
把收录拆到目录层面看，问题通常会具体很多。与其盯着整站总数反复猜测，不如先找到那个明显拖后腿的目录，再从内链、质量、参数和历史内容几个方向逐个排查。调整之后按目录观察，比看全站曲线更容易判断有没有起作用。