搜索抓取

Sitemap 的 lastmod 会被采信吗:时间戳与抓取调度之间的关系

Sitemap 里的 lastmod 常被当成催促蜘蛛的开关,但它只是抓取调度中的一个参考信号。本文说明哪些时间戳写法容易被忽略,蜘蛛还会参考哪些变化线索,以及如何把 lastmod 维护成真实、稳定的更新记录,并配合内链与 URL 发现一起观察效果。

搜索抓取

Sitemap 的 lastmod 会被采信吗:时间戳与抓取调度之间的关系

Sitemap 里的 lastmod 是最容易被写入、也最容易被忽略的字段之一。很多站长把它当成"让蜘蛛快点来"的开关,实际上它只是一个提示信号:蜘蛛会参考,但不会无条件采信。理解它被怎么使用,比反复刷新时间戳更有意义。

lastmod 在抓取调度里的位置

蜘蛛的抓取资源有限。面对几万甚至几百万个 URL,它需要在有限次数内挑出"最可能已经变化"的页面。lastmod 提供的就是这样一条线索:这个地址上次有意义的变动发生在什么时候。

但它很少被单独使用。抓取调度通常会把几个信号放在一起看:页面上次被抓取的时间、重抓后内容是否真的变化、站点整体的更新节奏、内链是否还指向该 URL、Sitemap 本身是否稳定可访问。单独一个时间戳,说服力有限。

哪些 lastmod 写法容易被当成噪音

  • 全站统一刷成当前时间:每次构建 Sitemap 都把所有 URL 的 lastmod 写成同一时刻,所有页面看起来同时更新,信号被稀释。
  • 时间格式不规范:缺少时区、日期格式随意,机器解析时容易出错,可用性下降。
  • 与实际变更无关:模板调整、CDN 版本号变化、构建流程改动都可能被误写成内容更新。
  • Sitemap 本身不可靠:清单频繁超时或返回错误,时间戳自然无从谈起。

除了 lastmod,蜘蛛还会看哪些变化线索

抓取调度是多信号判断的结果,常见参考包括:

  • 页面内容的差异比例:重抓后正文、标题、结构化数据是否变化。
  • 内链变动:新链接出现、旧链接消失的位置与频率。
  • 访问日志里的响应速度与状态码是否稳定。
  • 站点层面的更新节奏:长期不更新的栏目,回访间隔通常会被拉长。

换句话说,lastmod 需要和真实变化对得上。几次"狼来了"之后,这个字段的可信度会下降,甚至被整体忽略。

怎么把时间戳维护成有用信号

  1. 只记录有意义的变更:正文、价格、库存、标题、结构化数据等影响页面语义的改动才算。
  2. 保持单调与一致:同一 URL 的 lastmod 只前进不后退,变化时更新,不做周期性统一刷新。
  3. 按类型分片:把高频更新的栏目与长期静态页面拆到不同 Sitemap,便于分别观察抓取反馈。
  4. 用抓取日志验证:对比 lastmod 更新时间和蜘蛛实际回访时间,判断这条信号是否被采纳。
把 lastmod 当作"内容真的改了"的记录,而不是"我想让你来"的呼喊,长期看更稳定。

和 URL 发现环节配合起来看

lastmod 解决的是"值不值得再来",URL 发现解决的是"知不知道有这个地址"。新页面发布后,内链入口、Sitemap 收录、必要的提交动作最好同步完成;只在 Sitemap 里加一条,而页面上没有任何指向它的链接,蜘蛛即便抓到也缺少上下文。抓取路径越顺畅,时间戳的作用才越容易被体现出来。

也别指望单一手段立刻见效。连续观察一段时间内的抓取量、抓取命中率以及有效页面占比,比盯着一个字段的写法更靠谱。