先别急着改,先确认口径
很多人判断一个页面有没有被收录,靠的是 site 查询或搜索后台里的一句话。这两处的更新周期、取样范围都不一样,页面在索引里进进出出,有时只是不同工具给出的时间差。核对之前,先把三个口径对齐:搜索后台的页面状态报告、site 查询结果、以及服务器抓取日志。
- 后台报告通常有延迟,反映的是上一个统计周期;
- site 查询结果受查询词和地区影响,不一定完整;
- 日志能告诉你蜘蛛是否真的来过、抓的是哪个 URL 版本。
三处都指向同一件事再下结论,否则很容易把“工具还没刷新”当成“页面被移除”。
三类常见原因,处理方式完全不同
一、抓取波动
蜘蛛对同一个 URL 的抓取频率会随站点整体表现变化。新站、低权重目录、服务器响应变慢时,回访间隔拉长很正常。此时页面从索引里暂时消失,往往是索引对旧内容的保留时限到了,而新的抓取还没排上。这种情况只需保证服务器稳定、页面可正常访问,不必额外动作。
二、索引替换
搜索引擎会给一组相似的 URL 选一个代表版本。你看到的 A 页面“消失”,可能是它被并到了 B 页面,也可能它本身就是被选中的那个、只是换了展示的 URL。核对时先确认是不是同一内容的另一个版本还在索引里,比如带参数、带尾部斜杠、http/https 或 www 版本。
- 对比几个版本的正文、标题、内链是否一致;
- 检查 canonical 指向的是不是自己;
- 检查站点地图里是否同时提交了多个版本。
三、版本冲突
页面改版、模板调整、URL 结构调整之后,新版本和旧版本可能同时存在。索引里一会儿是旧内容、一会儿是新内容,看起来像反复横跳,其实是两个 URL 在争同一个位置。
核对顺序:从 URL 到内容再到信号
- 确定唯一目标 URL。把该页所有可访问版本列出来,选一个作为正式版本。
- 看服务器日志。确认蜘蛛抓到的是不是这个版本,返回码是不是 200,有没有被重定向链拦在中途。
- 看页面自身信号。title、H1、canonical、robots 指令是否前后一致,有没有互相矛盾。
- 看内容重复度。同一段内容是否出现在多个 URL 上,是参数、分页还是复制粘贴造成的。
- 看内链。正文和导航里指向的是哪个版本,蜘蛛主要沿内链走。
- 看改动幅度。整页重写和局部更新的重新评估时间不一样,改动越大越需要给足时间。
- 最后再看提交动作。前面几项没对齐,提交站点地图或手动推送只会让信号更乱。
不要做的事
收录状态一天一变就反复提交、反复改 canonical、反复删改 robots,这三种操作凑在一起,往往比原来的问题更麻烦。信号频繁变化,会让索引更难判断哪个版本是稳定的。
- 不要因为一次查询没看到就删 URL 或提交移除;
- 不要在没确认重复关系前批量改 canonical;
- 不要在旧 URL 还有外链时直接做成 404。
观察窗口怎么定
小改动可以按周观察,整站结构调整建议留出更长的周期。观察期内只记录日志里的抓取次数、返回码和被抓取的 URL 版本,不要每天改动配置。等抓取稳定、页面内容固定之后,再判断是继续等还是收口重复版本。
收录状态本身是结果,不是原因。把 URL 版本、内容重复和抓取路径这三件事理顺,反复的情况多数会自己收敛。