网站收录

收录过的页面又不见了:先分清主动移除、抓取异常和索引替换

页面在搜索结果里出现又消失,是索引状态动态调整的常见表现,未必等于站点出问题。本文按站点信号变化、蜘蛛抓取异常、内容重估、URL 被顶替四种情况分类,给出一套可执行的排查顺序,并列出几个容易误判的坑,帮助你把精力放在真正需要处理的那一类原因上。

网站收录

收录过的页面又不见了:先分清主动移除、抓取异常和索引替换

做过一段时间站点的人,多半遇到过这种情况:某个 URL 前几天在搜索结果里还能搜到,过一阵再查就没了,再过几天又冒出来。这种来回并不一定意味着站点被处理,更常见的原因是索引状态本身就在动态调整。把“收录”当成一次性动作,排查时很容易走错方向。

先接受一个前提:收录状态是动态的

索引不是一份攒够就锁死的名单,它更像一个持续更新的中间状态。一个 URL 能不能出现在结果里,取决于当前这一刻搜索引擎对它的判断:可不可以抓、值不值得留、有没有别的 URL 更合适代表同一份内容。任何一条变了,状态就可能跟着变。

所以看到页面消失,第一步不是马上改站点,而是先判断它属于哪一类变化。下面四种情况占了大多数。

第一类:站点自己发出的信号变了

这类最容易查,也最常被忽略。页面的收录状态往往是跟着 head 区和服务器配置走的,而这些地方经常被批量改动。

  • noindex 被误加:模板改版、组件复用、测试环境配置带上线,都可能让一批页面的 meta robots 变成 noindex。
  • robots.txt 变动:新增一条屏蔽规则,可能刚好覆盖了某个目录。
  • 页面被 301 或 404:URL 规则调整、栏目合并,老地址被跳走或直接消失。
  • canonical 改了指向:本来自指的页面,被统一指到了列表页或其他版本。

这一类通常有成批特征:同一模板下的页面同时出问题。如果你的站点最近动过模板、路由或 robots 配置,优先从这里查。

第二类:蜘蛛这次抓不到,或抓到的不是原来那份

抓取失败不会立刻让页面从索引里消失,但如果持续失败,页面被重新评估时就会缺少依据。

  • 服务器间歇性返回 5xx、响应超时,尤其是高峰期和数据源卡顿的时候。
  • CDN、WAF 或频控把蜘蛛的请求当成异常流量拦掉。
  • 内容靠前端渲染,而某次改版后渲染结果变空,返回 200 但正文不见了。
  • 页面内容被登录墙、地域限制或弹窗遮住主体部分。

这一类的问题在日志里比在页面上更容易看出来。把该 URL 近一段时间的抓取记录拉出来,看状态码和响应体积是否稳定,通常就有答案。

第三类:内容被重新判断,不再值得单独留一个位置

没有报错、抓取也正常,页面还是掉了,那多半是内容层面的判断变了。常见的有:页面主体变薄、大面积重复模板文字、与其他页面高度相似、聚合页和参数页大量生成。

这类情况往往不是某个页面单独的问题,而是同一批页面一起出现波动。与其一个个去猜,不如按模板或按目录抽样,看是不是同类页面同时在动。

第四类:不是消失,是被另一个 URL 顶替

还有一种情况容易被误判成“掉了”:同一份内容有多个地址,比如带与不带 www、带参数与不带参数、PC 版与移动版、大小写不同。搜索引擎在收敛时会把展示位置换到它认为更合适的那一个。

这时用具体 URL 去查,可能查不到结果,但用页面标题去搜,内容还在,只是换了入口。判断方式是:搜标题,看命中的 URL 是不是同站的其他地址。

一套可用的排查顺序

  1. 先确认查询方式一致:同一个搜索引擎、同一地区、同一设备、同一时间点对比,别拿 site 数量和直查结果混着看。
  2. 查该 URL 最近的抓取日志,看状态码、响应体积、抓取频次有没有异常。
  3. 打开页面源码,确认 meta robots、canonical、hreflang 是否符合预期。
  4. 检查 robots.txt 当前版本和近期改动记录。
  5. 对比页面内容与上次抓取时的差异,看是改版了还是内容变少了。
  6. 用标题在站内和站外搜一遍,确认是不是被同站其他 URL 替代。
  7. 以上都没问题,再考虑通过站长平台的 URL 检查提交一次,观察后续状态。

这个顺序的价值在于:前三步能排掉绝大部分自己造成的问题,后面几步才涉及需要等待和观察的部分。反过来做,容易在没问题的地方反复折腾。

几个容易踩的坑

  • 一发现消失就立刻改版或者批量调 URL,把原本只是波动的状态变成了真问题。
  • 把 site 指令返回的数量当成收录总量指标,每天盯着数字涨跌。
  • 频繁修改标题和描述,让页面在短时间内反复被重新处理。
  • 把索引波动直接等同于站点被降权,忽略抓取失败和配置改动这些更实际的原因。
收录状态变化本身是常态。先分清是站点改的、蜘蛛没抓到、内容被重估,还是 URL 被顶替,再决定要不要动手,比反复提交和改版更有效。