内容更新是运营里很常见的事:改了标题、补了段落、更新了价格或参数,但过了一阵去搜,结果页上还是旧标题、旧摘要,甚至快照里的正文也是旧版。这种情况容易被当成「没收录」,其实更多时候是已经被收录,只是索引没有跟着更新。这两件事的排查方向完全不同。
先分清:没重抓,还是抓了没重新索引
搜索引擎对已收录页面的处理大致是「抓取—解析—重新索引」。更新后长时间没动静,通常卡在前两步之一:
- 没有重抓:爬虫还没再来,索引里保留的就是上一次抓到的版本。
- 抓了但没更新索引:页面变化太小,或改动被认为不重要,系统判断沿用旧版本即可。
判断方法不复杂:看服务器日志里这个 URL 最近的抓取时间,再用站长的 URL 检查工具看上次抓取时间和已编入索引的版本。如果上次抓取时间还停留在更新之前,问题在抓取;如果抓取时间已经在更新之后,但展示内容没变,问题就出在重新索引的判断上。
为什么更新了,索引却没跟上
抓取优先级被其他页面占走
站点越大,爬虫分配到单个页面的抓取次数越少。一个半年才更新一次的内页,本来就不会被频繁访问。更新之后如果没有新的入口或信号,它仍然排在抓取队列的后面。
改动幅度太小
只改了一个标点、换了个别词,或者调整了不影响语义的排版,系统很可能认为页面主体没变。反之,正文新增一段、价格和参数变化、标题重写,才算得上实质更新。
时间信号不准确
很多站点在模板里写死发布时间,或用构建时间当更新时间,导致 sitemap 里的最后修改时间和页面显示的日期长期不变。爬虫拿不到「这页确实改了」的信号,自然没动力优先回访。
推动重新抓取的实际顺序
- 确认页面本身可访问、可索引:返回码正常、没有被 robots.txt 挡住、没有 noindex,canonical 指向自己。基础条件不满足,后面做什么都白费。
- 更新最后修改时间:页面上显示的时间、sitemap 里的时间字段、结构化数据里的修改时间保持一致,并且真实反映这次改动。
- 补一个站内入口:从首页、栏目页或相关文章里加一条指向该页的链接,锚文本与更新后的内容对应。已有的入口链接如果锚文本过时,一并改掉。
- 在 sitemap 中重新提交:只提交真正更新过的 URL,不要每次全量重推,那样反而削弱时间字段的可信度。
- 用 URL 检查工具手动提交:适合重点页面,但不要当成日常手段,也不要在一天内反复提交同一个地址。
更新的目的是让页面内容更好地回答搜索需求,不是为了制造「改过」的痕迹。为了触发重抓而频繁微调标题、段落顺序,通常没有正向作用,还可能让页面显得不稳定。
几个常见误区
- 反复改标题就能加快刷新:标题是重要的展示元素,但频繁改动会让系统难以判断页面的稳定主题,效果可能相反。
- 删除页面再重建更快:新 URL 要重新经历从发现到收录的全过程,旧 URL 积累的信号也丢了,通常更慢。
- 抓取次数多就等于索引会更新:抓取只是前提,是否更新索引还取决于改动幅度和页面质量。
- 所有页面都值得推:低质量、无搜索需求的内页更新后刷不刷新,对站点整体影响很小,不必花精力。
更新时可以顺手检查的几项
- 结构化数据里的日期、价格、库存等字段是否同步更新,避免旧数据留在代码里。
- canonical、hreflang 指向是否仍然正确,尤其是改过 URL 或合并过内容的页面。
- 页面上的内部链接有没有指向已经删除或改名的地址。
- 如果是批量更新,检查模板有没有在多个页面重复输出相同的修改时间,那样等于没有时间信号。
最后要接受一个事实:索引刷新没有固定的时间表,取决于页面的重要程度、更新幅度和站点整体被抓取的频率。能做的部分是把抓取入口、时间信号和内容质量准备好,剩下的交给系统自己判断。如果更新后长时间毫无动静,先回到第一步查可抓取性,而不是不停改动页面。