收录量不是一条平稳的直线。多数站点每天都会有几十条甚至几百条页面在“已收录”和“未收录”之间来回变化,这本身不一定是问题。真正麻烦的是把正常波动当成异常去大动干戈,或者把持续下滑当成常态拖上几周。判断的关键不在于“今天少了几条”,而在于这次变化落在哪个维度上。
先看波动的三个维度
同一条收录曲线,从不同角度看结论会完全不一样。遇到变动时,先把下面三点弄清楚,再决定要不要动手。
- 幅度:占总索引量的比例。总量几千条的站点掉几十条,和总量几万条的站点掉几千条,性质并不相同。
- 持续时间:一两天就回弹,多半是索引更新节奏;连续两周单向下滑,才值得花时间查。
- 涉及范围:是全站一起掉,还是集中在某个目录、某个模板、某一类内容。集中出现通常指向具体问题,全站同步则更可能与整站信号有关。
这三点里,范围最有诊断价值。先按目录或页面类型把变动拆开,比盯着总数看有效得多。
通常属于正常起落的几种情况
- 新页面刚上线,在索引里先出现又消失,反复几次才稳定下来。
- 站点更新频率变了,抓取节奏跟着变,索引更新相应推迟。
- 同一批页面在“已抓取未索引”和“已索引”之间来回切换,属于索引库的常规筛选。
- 季节性或活动型页面集中到期,被移出索引,属于预期内的减少。
这些情况大多会在一个到两个抓取周期内自行收敛。此时更该做的是记录和观察,而不是改代码、改 robots、批量提交。
值得动手排查的信号
- 收录数连续下降,且下降集中在同一批模板生成的页面。
- 原本有稳定展现的页面被移出索引,同时站内并没有做任何改动。
- 新页面长期停在“已发现”状态,几周都没进入抓取队列。
- 索引数量没变,但展现和点击同步下滑,说明索引里留下的页面质量在变化。
收录数量下降不一定等于站点变差,但“该被收录的页面被移除”和“新页面进不来”同时出现,基本可以判定是机制层面的问题,而不是数据噪音。
建议的排查顺序
- 先确认基线。用同一口径、同一时间点做对比,避免把两次不同来源的数据混着看。
- 看索引状态分布,把“已发现未抓取”“已抓取未索引”“重复或备用页面”分开统计,确认减少的是哪一类。
- 抽样检查被移除的页面本身:内容是否被合并、是否有规范标签指向别处、标题和正文近期是否改动过。
- 查抓取端:日志或抓取统计里,这些目录最近还有没有访问记录,抓取频次是否明显下滑。
- 查入口:受影响的页面是否还有稳定的内链入口,还是只靠 sitemap 支撑。
- 最后才考虑提交或调整。前面几步没有结论之前,任何改动都可能只是在制造新的变量。
处理时容易踩的两个坑
一是用提交工具反复提交同一批 URL。提交主要解决“没被发现”的问题,解决不了“抓了但没收”。如果页面本身没有变化,重复提交只会增加噪音,还容易掩盖真正的原因。
二是为了让数字好看,把低质量页面集中删除或屏蔽。索引数字短期确实会好看,但如果删掉的是仍承担内链结构的页面,会顺带切断其他页面的入口,反过来影响 URL 发现。
把每次波动当成一次信息采集:记下时间、范围、涉及的目录,再按索引状态、抓取记录、页面质量三层顺序看一遍。多数情况下,你会发现问题出在很早的一步,而不是最后看到的那个数字。