把一段过时的内容改掉、把价格更新、把标题重写,是运营中很常见的动作。但改完之后打开搜索结果一看,标题还是旧的,摘要还是几年前的文字,甚至快照里也还是老页面。这不一定是“没收录”,更常见的情况是蜘蛛还没重新访问,或者重新访问了,但索引重建还需要时间。
先分清:抓取、索引、展现是三段路
蜘蛛访问页面并下载内容,这是抓取。抓到的内容经过解析、去重、质量判断之后进入索引,这是索引。用户搜索时从索引里取结果并排序展示,这是展现。改动要生效,得走完前两段,而这两段的节奏并不完全由我们自己掌握。
所以“我改了”和“搜索里变了”之间,隔着一层看不见的流水线。理解这一点,后面的动作才有方向:要么促成一次新的抓取,要么让这次抓取的结果更快被处理。
怎么判断索引里的版本是不是旧的
- 搜索页面的标题或摘要片段,看是不是改动前的文字。
- 使用站长后台的 URL 检查类工具,看最近一次抓取时间与抓取到的内容。
- 对比页面自身标注的更新日期与搜索结果显示的日期。
- 翻服务器日志,确认该 URL 最近有没有被蜘蛛访问过。
这几种手段都有误差:摘要片段可能取自页面中段而不是开头;抓取时间早于索引更新时间也很正常。多个信号指向同一结论时,判断才比较可靠。
可以主动做的几件事
- 更新 sitemap 里的 lastmod。只在内容确实发生实质变化时修改。如果把 lastmod 当成每次发布都刷新的字段,这个信号很快就失去参考价值。
- 从被频繁抓取的页面加一条内链。蜘蛛更常走的是有人访问的路径,新链接出现在这些位置,被重新发现的机会更大。
- 提交单个 URL 的抓取请求。这是一种提示,不是保证。适合重要且确实变化了的页面,不适合成批反复提交。
- 确认页面能正常返回 200。被规则挡住、返回 404、或者主体内容要登录才能看到,改动提交得再多也进不了索引。
- 尽量保持页面结构稳定。小范围改内容和大面积重做,对蜘蛛来说是两种信号,后者更容易被当成新页面重新评估。
几个常见的误区
反复小改会更快更新
几个小时改一次标题、隔天又微调一段正文,可能让蜘蛛判断这个页面的内容不稳定,反而降低重访意愿。改动有明确目的、相对集中地做,比零敲碎打更稳妥。
提交了就应该马上变
提交抓取请求解决的是“让蜘蛛来看一眼”。之后的内容处理、质量评估、索引合并仍按原有流程走。日志里出现抓取记录、但索引没变,属于正常范围。
只盯首页和栏目页
真正需要刷新索引的往往是内容页。只观察首页的抓取情况,很容易误判整个站点的状态。
把更新当成一次正常的抓取请求去对待:内容改好、入口留好、可达性确认好,剩下的交给时间。频繁催、来回改,通常换不来更快的索引刷新。
记录几个时间点——内容修改时间、日志里蜘蛛的来访时间、搜索结果中版本真正变化的时间,用一两周的数据观察自己站点的节奏。有了这个节奏,再判断“是不是出问题了”,会比凭感觉可靠得多。