爬虫来过、日志里留着 200，不等于页面会被收录。抓取只是把页面取回去，收录还要看搜索引擎是否认为它值得作为一个独立结果保留。正文太薄、模板和导航占了大半屏的页面，最容易卡在“已抓取、未收录”这一步。
先分清：抓到了和收不收是两件事
抓取是技术动作，收录是价值判断。日志里有访问记录，只说明 URL 被发现了、被取回了一次。至于这个页面进不进索引，取决于它有没有独立的信息增量、内容是否成篇、跟站内其他页面是不是高度重合。把这两件事混在一起看，很容易得出“爬虫不爱来”的错误结论，然后去改一些并不相关的配置。
什么样的页面会被判定为“主体不清晰”
不需要专业工具，从用户视角过一遍就能看出大概。下面几类页面，通常很难拿到独立的收录位：
- 只有一句结论的页面：标题加一段话，剩下的全是相关推荐、热门标签和页脚。
- 靠列表堆词的页面：几十个关键词串成一段，读起来没有句子结构，看不出要回答什么问题。
- 拼接出来的页面：正文由其他页面的摘要拼起来，内容都能在别处找到，本身没有增量。
- 模板占比过高：首屏几乎全是导航、筛选、广告和运营位，正文被压到很靠下的位置。
- 同一模板的量产页：除了标题里的地名或型号，正文段落几乎一字不差。
这些页面的共同点不是“短”，而是看不出这个 URL 存在的理由。长度只是表象，主体是否成立才是关键。
自查：把模板去掉，再看剩下什么
与其纠结字数，不如做一次结构上的剥离，看看页面在“只剩主体”时是什么样子：
- 暂时屏蔽全站导航、侧栏和页脚，在浏览器里刷新，看正文还剩下多少。
- 把小标题和列表符号去掉，只读段落，判断是不是还能形成连贯表达。
- 把页面标题盖住，看正文里有没有一句话能说明它讲的是什么。
- 拿同模板的三个页面做对比，找出除了名称之外还有哪些内容不一样。
- 在站内搜一句正文里的原话，看有没有别的页面出现过同样的表述。
做完这几步，页面属于“主体偏薄”“主体缺失”还是“与其他页高度重合”，基本就能定性了。定性之后再去决定改哪里，比笼统地“加点字数”有效得多。
核对之后的处理顺序
处理时建议按下面这个顺序推进，先判断价值，再决定动作：
- 先判断有没有独立价值：这个 URL 是否解决了别处没解决的问题。有，就走补内容；没有，直接进入下一条。
- 补主体而不是补字数：补充用户真正需要的信息，比如具体步骤、判断依据、常见误区，而不是把一句话扩写成三段同义句。
- 能合并就合并：同一主题下若干薄页，合并成一个完整页面，让旧 URL 指向新页，避免多页争一个需求。
- 确实没有价值就收敛：例如无内容的筛选结果页、纯参数组合页，用规范的指令让它不进索引，而不是放任它被反复抓取。
- 改动后按批次观察：一次只调整一类页面，过一段时间回看抓取日志与索引状态，才能判断这次调整是否有效。
几个容易走偏的地方
- 为了凑长度硬加模板段落，只会让模板占比更高，问题反而更明显。
- 把关键词密度当成主体质量，堆词换不来收录，还会影响可读性。
- 只盯着收录数量，忽略这些页面被收录后是否真的带来访问，容易做无用功。
- 把“已抓取、未收录”一律当成技术故障，忽略了页面本身的问题。
收录是页面质量的结果，不是配置出来的状态。先把页面写成值得被保留的样子，再去谈抓取和提交。
如果你手上正有一批长期停在“已抓取、未收录”的 URL，可以先按模板把页面分成几组，从最薄的一组开始做主体核对。改完一批再观察一批，比全站同时动刀更容易看清是哪一步起了作用。