做站点运营的人,几乎都遇到过这种场面:昨天 site 查询还有八千条,今天只剩六千多条,后台没有任何改动,第一反应往往是“是不是被惩罚了”。多数情况下,收录量的起伏属于索引的正常维护,和惩罚没有必然关系。
先接受一件事:收录量本身不是精确数字
site 查询给出的数字,本质上是一个抽样估算,不是后台账本。不同数据中心、不同时间点查到的结果都可能不一样,差个百分之十几很常见。把它当成绝对值去对比昨天和今天,本身就容易得出错误结论。
更关键的是,索引里的页面是分层的。有些页面处在临时区,随时可能被替换;有些页面只是被发现,还没正式进入索引;有些页面收录了但长期没有展示。这些状态在收录量上混在一起,单看数字看不出区别。
这些波动通常不用处理
- 新页面进进出出:新 URL 被收录后又消失,过几天再出现,在内容偏少的页面上尤其常见,蜘蛛还在评估它该不该长期留在索引里。
- 老页面重抓后短暂消失:蜘蛛重新抓取时,页面会短暂处于待更新状态,抓取完成、内容确认后一般会回来。
- 站内结构调整带来的少量掉量:改导航、改分页、合并栏目,内链入口变化会让一部分 URL 的抓取频率下降,收录随之波动。
- 抓取失败的临时重试:服务器偶发 5xx 或超时,蜘蛛这次没抓到,不等于页面被删除。
判断标准可以简单一点:掉的是不是零散页面、几天内能不能自然恢复、核心页面还在不在。三个条件都满足,优先观察,不要急着改页面。
这些信号出现,就该动手排查
真正需要处理的波动,通常有明确形态:
- 同一目录、同一套模板生成的 URL 在几天内成批消失,而不是零散掉几条;
- 首页、栏目页、核心详情页这类入口型 URL 从索引里消失;
- 服务器日志中 5xx、超时、连接被拒的比例明显上升;
- robots.txt、canonical、meta robots 在近期有过改动;
- 页面模板改版后,正文变成必须执行脚本才能出现的内容;
- 站内出现大量空壳页、参数页、搜索结果页,把抓取引向了低价值 URL。
收录量下降本身不是问题,抓取到索引这条链路上某个环节断了才是。先定位断点,再决定要不要改内容。
一套固定的排查顺序
- 看日志状态码分布:5xx 和超时是否集中出现、集中在哪些目录。这一步能排掉大部分服务器侧原因。
- 确认抓取规则:robots.txt 是否被误改,是否有整段规则覆盖了正常目录。
- 检查索引指令:抽查若干消失的 URL,看 canonical 是否被模板统一改错,meta robots 是否被带上了 noindex。
- 验证渲染结果:用抓取工具查看蜘蛛拿到的 HTML,正文是否完整,还是只剩一个空容器。
- 最后再看内容与重复度:同一批页面是否高度相似,是否只是参数不同、排序不同的同一份内容。
用固定口径记录,而不是每天刷新
建议准备一份 30 到 50 条的抽样 URL 清单,覆盖首页、栏目页、详情页、分页,每周用同一种方式检查一次,记录收录状态、最近抓取时间和返回码。观察两到四周,趋势会比单日数字可靠得多。
同时把“收录”和“展示”分开记录。收录量稳定但自然流量下滑,问题往往在关键词覆盖和点击表现上,和索引维护是两件事。
索引本身就是一个持续更新、允许试错的地方。小幅波动是它的工作方式,不是发给你的信号。真正需要动作的,是那些形态明确、能定位到具体环节的变化。