后台看到索引量在涨，点进去却发现几乎全是首页、栏目页、分页列表和标签页，真正有内容的详情页寥寥无几。这种情况和“完全不收录”是两回事，盲目重复提交 sitemap 或者加外链，往往解决不了问题。先要判断的是：收录结构为什么失衡。
第一步：把收录按页面类型分组，而不是只看总量
把站内页面分成几类：首页与主要栏目、列表与分页、标签或聚合页、详情内容页、功能与筛选页。分别抽样统计收录比例。如果详情页的收录比例明显低于列表页，问题多半出在发现路径、抓取分配或模板质量上，而不是一句“爬虫不待见我的站”。
第二步：常见原因与对应表现
入口太窄，详情页只能靠列表页被动带出
列表页翻几页就到头，每页链接数量有限，新内容很快沉到深层；或者列表只加载第一屏，后面的内容靠点击“加载更多”触发，链接不是真实的 a 标签。结果是爬虫能到列表页，却看不到多少详情链接。
模板撑起了页面的大部分内容
详情页正文很短，而页头页脚、推荐位、侧栏、评论占了绝大部分篇幅，多个页面之间的差异极小，就可能被当作低价值或高度近似页面处理。检查方式很简单：把两三个页面的正文单独抽出来对比，看有效信息量究竟差多少。
列表页消耗了大部分抓取
分页、排序参数、筛选条件生成了大量可抓取 URL，爬虫每次来访都在这些地址上打转，留给详情页的次数自然就少了。这类地址通常不需要全部保留在索引里。
内容依赖客户端渲染
页面 HTML 源码里没有正文，链接由脚本插入。抓取和渲染是两个阶段，渲染环节出问题时，页面可能只被判成一个空壳。可以查看抓取到的 HTML 快照来确认。
第三步：一个可执行的排查顺序
- 抽样详情页，确认返回状态码正常，且没有被 robots.txt 或 meta 规则挡住。
- 确认这些页面在站内有真实可点的链接入口，路径是否超过三四层。
- 看抓取日志中各类型页面的抓取占比，判断是否被列表类地址稀释。
- 检查 HTML 源码中正文是否直接可见。
- 对比同模板页面的内容差异度与信息完整度。
处理动作与观察方式
- 把详情页入口前移：栏目页首屏、相关内容模块、面包屑里给出稳定链接。
- 收敛低价值列表：筛选参数、排序参数、翻页过深的地址可以用 noindex 或规则过滤，但注意别把正常入口一起挡掉。
- 补足页面本身的信息：正文、结构化数据、图片说明、关联内容。
- sitemap 只放真正希望被索引的详情页，并保持更新。
调整之后不要每天盯着索引数量变化。抓取和索引都有滞后，通常需要几周时间观察抓取比例和详情页收录比例是否一起改善。如果抓取量上升、详情页收录比例却不动，说明瓶颈不在抓取，而在页面本身。
收录结构失衡往往不是单一原因，而是入口、抓取分配和页面质量叠加的结果。先定位主要矛盾，再逐项调整，比一次性大改更可控。