收录量下降通常不是一夜之间发生的,而是先有抓取或结构上的变化,过一段时间才反映在数字上。看到下降时,先别急着批量提交 URL 或用第三方工具去“催”,而是把问题分成三类:索引真的变少了、抓取出了问题、还是查看口径变了。
一、先确认口径是否一致
排查之前,先确认两次对比的是同一组数据。常见干扰有:site 查询的结果数是估算值,本身会浮动;搜索控制台里的索引报告只统计已验证的资源,子目录和子域名要分开看;不同第三方工具的样本库也不一样。如果波动幅度在几个百分点以内,且趋势平稳,多半只是估算差异。
二、索引真的减少了
这类情况能在索引报告或抽查中看到具体的 URL。常见触发点包括:
- 页面被删除,或者开始返回 404 / 410;
- robots.txt 新增了 Disallow,且改动的目录范围较大;
- 页面模板或统一组件里加了 noindex,影响整批页面;
- canonical 被改成指向另一个地址,原地址被合并;
- 服务器长时间返回 5xx 或大量超时,蜘蛛反复抓取失败后减少访问;
- 正文依赖 JS 渲染,而渲染环节出错,蜘蛛拿到的是空壳。
这些改动往往是一次性的,但影响会分批显现,所以容易和“最近没动过”的直觉冲突。回看最近两周的提交记录和发版记录,通常能找到对应。
三、抓取异常:还没掉,但很快会掉
抓取问题往往先出现在日志里,而不是索引报告里。可以关注三个信号:某个目录的抓取次数明显下降、5xx 与超时占比上升、页面平均响应时间变长。另外,robots.txt 本身返回 5xx 时,蜘蛛会暂停抓取,这会连带影响整站的更新节奏。带宽受限、CDN 规则调整、防火墙误拦 UA,也都可能造成类似现象。
四、按顺序排查
- 确认两次对比的口径、时间范围与资源范围一致;
- 检查 robots.txt、meta robots、canonical 最近是否有改动;
- 抽查掉收录的 URL,看现在的状态码、标题与正文是否正常输出;
- 看服务器日志中该目录的抓取量与响应码分布;
- 对比 sitemap 中的 URL 与线上实际可访问的 URL,找出差值;
- 检查改版后导航和内链是否断掉,导致详情页失去入口。
五、修好之后别期待立刻恢复
问题修复只是重新获得被正常抓取的条件。蜘蛛需要重新访问、重新判断页面是否值得保留在索引里,这个周期的通常按天甚至按周计算。与其反复提交,不如保证页面能被稳定抓取、内容完整输出,然后观察日志里的抓取是否恢复。
收录量是结果,不是原因。数字下滑时先去看抓取日志和线上页面状态,比反复提交 URL 更有用。
两个容易忽略的细节
一是列表页或栏目页被去掉索引后,详情页的发现路径变少,收录下降会在几周后才显现;二是站点地图没有同步更新,仍指向已经改动的地址,会持续浪费抓取。排查时把这两点一起看,往往能解释一部分“说不清原因”的下滑。