投放蜘蛛池之后，抓取日志里能看到搜索蜘蛛来过，目标 URL 也返回 200，但查询状态长期停在“已抓取，尚未编入索引”。这种情况和“已发现未抓取”是两件事：前者说明蜘蛛已经拿到了页面，问题出在抓取之后；后者是蜘蛛还没来。方向不同，排查顺序也不同。
第一步：确认到底是哪个状态
- 已发现，尚未抓取：蜘蛛知道 URL 存在，但没访问。重点在内链、sitemap、抓取配额。
- 已抓取，尚未编入索引：页面已被抓取，搜索引擎暂时没有把它放进结果。重点在页面本身和站点整体情况。
- 已编入索引却搜不到：多半是查询词、地域或排序问题，不一定是索引问题。
把状态搞混，很容易在错误的方向上反复投放，钱花了，问题还在原地。
抓取之后不入索引，常见卡点
1. 页面级设置挡路
- meta robots 里写了 noindex，或响应头 X-Robots-Tag 带了 noindex；
- canonical 指向了别的地址，尤其是统一指向首页或某个栏目页；
- 页面属于登录后内容、弹窗遮罩、需要验证码，蜘蛛看到的是空壳；
- 正文靠 JS 渲染，服务端没输出，蜘蛛拿到的是空白框架。
2. 内容层面的问题
- 正文太薄，或与站内其他页面高度重复；
- 主体内容被大量导航、广告、推荐位挤到很靠后，正文占比低；
- 同一批页面只是模板变量不同（城市、型号、参数），实质差异极小；
- 标题、描述与正文不匹配，或整站标题大面积重复。
3. 站点整体信号
索引决策不只看单页。如果整站新页面都不入索引，视线就要抬高到站点层面：
- 站内堆积大量低质页面（采集、空分类、无限筛选参数页），拉低整体评价；
- 站点缺少外部链接和品牌搜索，新页面缺少“被需要”的信号；
- 服务器响应慢、频繁 5xx，蜘蛛对站点的抓取意愿会下降。
蜘蛛池在这个环节能做什么
蜘蛛池解决的是“让搜索蜘蛛知道并访问目标 URL”，属于发现与抓取环节。它能让页面更快进入抓取队列，但索引与否由搜索引擎根据页面质量和站点整体情况判断，不存在投放了就必须收录的对应关系。把蜘蛛池当收录工具用，通常会很失望；把它当发现工具用，预期才对得上。
判断标准可以很简单：抓取日志里有蜘蛛、页面返回 200、状态从“已发现”变成“已抓取”，就说明投放这一环起作用了。后面的索引，要回到页面和站点去解决。
一个可执行的排查顺序
- 查页面是否被 noindex 或 canonical 指向别处，用抓取工具看渲染后的 HTML 和响应头。
- 对比同站已收录页面，看正文长度、结构、标题重复度差在哪。
- 看同目录、同模板的其他页面收录情况，判断是单页问题还是整批问题。
- 检查 sitemap 和站内链接是否把该 URL 送进了正常抓取路径，而不只是靠蜘蛛池。
- 看服务器日志的抓取频次与响应码，排除 5xx、超时、CDN 或 WAF 拦截。
- 如果是整批新页面，先补内链、补内容差异，再观察一到两个抓取周期。
几个容易走偏的想法
- “再投一轮蜘蛛池就能收录”：抓取已经不是瓶颈时，重复投放不会改变索引结果。
- “把 canonical 去掉就行”：如果页面本身就是重复版本，去掉 canonical 反而制造重复内容。
- “返回 200 就没问题”：200 的空页、软 404、纯模板页一样不会被收录。
把“抓取”和“索引”拆开看，蜘蛛池的定位会更清楚：它负责把 URL 送到蜘蛛面前，剩下的交给页面质量、站内结构和时间。