页面内容改过一轮,过几天去搜索里看,标题和摘要还是老样子;从索引里取出的片段,也仍然是更新前的版本。这种情况常被当成“没收录”,但它更像是索引里的版本没有跟上——页面本身已经在索引里,只是存的那份是旧的。处理之前,先把这两件事分开。
先分清“没被索引”和“索引里是旧版本”
判断方法很简单:用页面标题或一段独特的长句去搜,如果结果里有这个 URL,说明它已经在索引里,问题出在版本;如果完全没有,才回到发现与抓取那条线去排查。这一步不做区分,后面的动作容易用错:对着一个已经收录的页面反复提交,收益很低;而对真正没被索引的页面只等更新,也等不来变化。
更新信号从哪里发出去
搜索系统判断“这个页面变了”,主要靠几个来源:
- 页面本身:正文主体、标题、结构化数据出现实质改动,是最直接的信号。
- 站点地图的 lastmod:只有内容真的变了才更新这个时间;全站统一刷成同一天,等于把信号抹平。
- 站内入口:首页或栏目页指向它的链接文字、位置有变化,会带动重新访问。
- 外部引用:其他站点新出现的链接,也能带来一次新的抓取。
反过来,只改模板、只调页脚、只动了一下样式,正文没变,系统多半不会认为值得换版本。改动幅度太小,即便重新抓取,也可能沿用原来的索引内容。
重新抓取之后,还要等一次版本替换
抓取和换版本是两个动作。爬虫来了,把新内容取走;索引里换不换、什么时候换,是后面的判断。所以日志里看到抓取,只能说明前半程走完了,不能当成收录版本已更新的证据。给这个过程留出时间,比每天去查更省事。
提示:如果页面在搜索结果里的标题被改写,先看自己给的标题是否与正文主旨偏离、是否堆了关键词。这类改写多数与收录与否无关,不必当成收录问题处理。
一个按顺序走的核对清单
- 搜独特句子,确认该 URL 是否在索引里,是旧版本,还是根本没进去。
- 检查页面主体是否真的改过,改动是否足够明显。
- 核对站点地图里该 URL 的 lastmod,是否与实际修改时间一致。
- 确认至少有一条站内入口指向它,且链接文字能说明主题。
- 看服务器日志,确认更新之后爬虫是否来过、取的是哪个版本。
- 如果以上都正常,就停手等待,不要反复提交或频繁改动。
几个容易帮倒忙的动作
- 把站点地图里所有 URL 的 lastmod 一次性刷成当前时间。
- 内容只改了几个字,就期待索引立刻换版本。
- 为了“促收录”把 URL 改掉再重定向,结果新老地址一起进入待处理状态。
- 同一篇内容留在多个地址上,让系统在几个版本之间反复挑。
如果同一主题存在多个高度相似的地址,先做收敛:留一个主版本,其余用规范链接或跳转指过去,比逐个去催收录更有效。索引里的版本更新,本质上是内容、信号、时间三件事对上了,急不来,也不必反复折腾。