页面曾经出现在搜索结果里,过一段时间再查却找不到了。这种情况比“一直没被收录”更让人困惑,因为它说明页面至少通过过一次审核,问题往往出在之后发生的某些变化上。与其反复提交、频繁改动,不如按层排查,先确定掉的是哪一类,再决定要不要动手。
第一步:确认是真的掉了,还是查询方式变了
在动手之前,先排除误判。索引本身是一个会变动的集合,同一批页面在不同时间查询出现差异很常见。
- 用 site: 加完整 URL 查,和只用关键词查,结果可能不一致;前者更接近“这个地址是否还在索引里”。
- 换设备、换地区、退出登录后再查一次,个性化结果和本地化结果会掩盖部分页面。
- 看时间窗口。索引更新有滞后,刚改完内容或刚恢复状态码就立刻查,看到的可能还是旧状态。
- 区分“排序靠后”和“不在索引里”。把关键词换成页面标题中的完整句子,往往更容易判断。
确认确实掉了,再往下走。
第二步:看页面自身有没有发生变化
这是最常见的一层,也最容易自查。逐项对照改动记录:
- 正文有没有被削薄。改版时删掉段落、把内容折叠进交互组件,都可能让页面看起来只剩导航和模板文字。
- 状态码有没有变。200 变成 404、302、503,都会直接影响索引留存。临时维护页尤其容易被忽略。
- 是不是被信号挡住了。新增的 meta robots、X-Robots-Tag、robots.txt 屏蔽,或 canonical 指向了别的地址,都会让页面退出索引。
- 渲染有没有失败。前端渲染的页面如果脚本报错或接口超时,抓取到的可能只是空壳。
第三步:看站内入口和链接是否断了
页面内容没变,但入口没了,同样会掉。检查导航、面包屑、列表页和正文内链是否还指向这个地址;改版后常见的现象是详情页还在,但栏目页被屏蔽或重做,详情页变成没有内链指向的孤岛。另外留意跳转链是否过长,多次 301 叠加会稀释信号。
第四步:看整站层面的信号
如果掉收录的不是一个页面,而是一批结构相同的页面,问题多半不在单个页面上。
- 同一套模板的页面集体消失,优先查模板层的信号,比如统一加上的 noindex 或分页参数处理。
- 抓取频次整体下降,说明站点层面的抓取预算被压缩了,这时单页提交效果有限。
- 站内大量低质页面被清理时,相邻页面被连带的情况并不罕见。
建议的处理顺序
- 记录掉收录的 URL 清单、发现的时间点、期间做过的改动,先有事实再谈原因。
- 用抓取工具查看当前返回的状态码、是否抓取成功、canonical 指向哪里。
- 核对 robots.txt、meta robots、响应头中的 robots 指令。
- 检查内链与入口,确认页面至少有一条从首页可达的路径。
- 回头确认页面本身是否有独立价值,是否与站内其他页面高度重复。
- 以上都正常,再小范围提交,然后观察,而不是反复提交。
索引不是一次通过就长期有效的名单,而是会随页面和站点状态变动的集合。掉收录多数时候是某个东西发生了变化的结果,先找到变化,再谈恢复。
恢复之后要观察什么
页面重新出现在索引里,不代表事情结束。接下来一段时间需要盯两件事:一是抓取日志里这个地址的抓取频次是否回到正常水平,二是搜索结果里的标题和摘要是否稳定。如果页面在索引里反复进出,通常说明页面价值处在临界状态,这时与其反复提交,不如先解决内容厚度和入口深度的问题。