收录量突然下降，第一反应往往是“是不是被降权了”。但实际排查中，配置层面的误伤出现频率更高，也更容易被忽略：robots.txt 少写一个斜杠、模板里多一行 noindex、WAF 把蜘蛛当成攻击流量拦掉，都会让蜘蛛停止抓取或放弃索引，而你在后台看到的只是一个变小的数字。所以排查顺序建议是：先排除自伤，再查服务器，最后才回到内容和结构。
第一步：确认下降是真实的，还是口径变了
不同工具给出的收录数本来就不一致，site 查询也只是估算值，短期上下浮动几十条不代表出问题。真正值得警惕的是趋势性下降：连续一到两周持续走低，并且伴随抓取量同步下滑。
- 看趋势，不看单点：把近 30 天的收录数与抓取数放在一起看，两个同时降，通常是抓取侧的问题。
- 区分索引与展现：收录数没变但点击下滑，多半是排序或需求变化，不要往收录方向查。
- 区分整体与局部：按目录、模板分组看，如果只有一个栏目掉，问题通常出在那个模板或那批 URL 上。
第二步：优先排查 robots.txt 与 noindex
这两类信号都属于“一句话定生死”，写错之后蜘蛛连页面都不会正常处理，所以放在最前面。
robots.txt 常见的三类问题
- 误封整站：测试环境的配置上线时，把全站禁止抓取的规则一起带到了正式环境。
- 分组写法影响其他 UA：为一个 UA 单独分组后，未列出的 UA 会读取默认分组，容易误伤主流蜘蛛。
- 规则写得太粗：用一条规则封了带参数的目录，结果把正常内容页也一起挡掉。
检查方法很直接：在浏览器里打开线上的 robots.txt 文件，确认它是正式环境的最新版本，再把它的修改时间和抓取统计里的抓取量下滑时间点对一下。
noindex 的传播范围往往超出预期
- 模板继承：在基础模板里加了一次 noindex，整站页面都继承了这个信号。
- 信号冲突：meta robots 与 HTTP 响应头里的 X-Robots-Tag 同时存在且互相矛盾，搜索引擎一般按更严格的那个执行，结果是“想收录却收不了”。
- 批量误伤：分页、筛选页、标签页做过一次批量 noindex，后来页面结构改了，规则却没清掉。
第三步：再看服务器响应与抓取状态
配置没问题，就去看蜘蛛来的时候站点是什么状态。
- 5xx 与超时：偶发一次没事，如果抓取日志里 5xx 占比明显，蜘蛛会主动降低抓取频次。
- 限速与 CDN 拦截：部分 WAF 的默认规则会把高频抓取判为攻击并返回 403，抓取量可能出现断崖式下降。
- 响应时间变长：整站变慢不一定直接掉收录，但会压缩单位时间内能抓取的页数。
这一步不用凭感觉，直接看抓取统计里的响应码分布和平均响应时间，比猜有用得多。
第四步：最后才回到内容与结构改动
如果前面三步都正常，再回头看最近做过什么：
- 大批量改版或 URL 结构变更，但没有做 301，或者只做了一部分跳转；
- 栏目合并、内容下线，把一批页面直接变成了 404；
- 模板调整后正文占比下降，页面被判定为低价值。
一个可执行的自查顺序
- 确认是趋势性下降，还是口径波动；
- 打开线上 robots.txt，确认没有误封；
- 抽查首页、栏目页、内容页的 meta robots 与 X-Robots-Tag；
- 查看抓取统计的响应码分布，排查 5xx、403 与超时；
- 核对近期的 URL 变更，确认跳转是否完整；
- 按目录、模板分组对比收录变化，定位到具体页面类型；
- 修复后观察一两个抓取周期，再看收录是否回升。
配置类问题的特点是：修得快，但不一定立刻见效。信号改了之后，仍然要等蜘蛛重新抓取、重新处理，收录才会有反应。所以不要在同一天反复改配置，容易把变量搅乱，也看不出是哪一步起的作用。
收录下降本身只是一个结果，真正要回答的是“蜘蛛现在还能不能正常拿到并处理这些页面”。把 robots、noindex、服务器响应这三层先过一遍，大多数误伤都能在半小时内排除掉，剩下的才值得往内容质量上想。