Sitemap 里的 lastmod 是最容易被寫入、也最容易被忽略的字段之一。很多站長把它当成"让蜘蛛快点来"的開關,實际上它只是一個提示信号:蜘蛛會參考,但不會無條件采信。理解它被怎么使用,比反复刷新時間戳更有意义。
lastmod 在抓取調度里的位置
蜘蛛的抓取资源有限。面對几萬甚至几百萬個 URL,它需要在有限次數内挑出"最可能已经變化"的頁面。lastmod 提供的就是這样一條线索:這個地址上次有意义的變動發生在什么时候。
但它很少被單獨使用。抓取調度通常會把几個信号放在一起看:頁面上次被抓取的時間、重抓後内容是否真的變化、站点整体的更新节奏、内鏈是否還指向该 URL、Sitemap 本身是否稳定可訪問。單獨一個時間戳,说服力有限。
哪些 lastmod 寫法容易被当成噪音
- 全站统一刷成目前時間:每次构建 Sitemap 都把所有 URL 的 lastmod 寫成同一时刻,所有頁面看起来同时更新,信号被稀释。
- 時間格式不規范:缺少时区、日期格式随意,机器解析时容易出错,可用性下降。
- 與實际變更無關:模板調整、CDN 版本号變化、构建流程改動都可能被誤寫成内容更新。
- Sitemap 本身不可靠:清單频繁超时或返回错誤,時間戳自然無從谈起。
除了 lastmod,蜘蛛還會看哪些變化线索
抓取調度是多信号判断的结果,常见參考包括:
- 頁面内容的差异比例:重抓後正文、标题、结构化資料是否變化。
- 内鏈變動:新連結出現、舊連結消失的位置與频率。
- 訪問日誌里的响應速度與狀態碼是否稳定。
- 站点层面的更新节奏:長期不更新的栏目,回訪間隔通常會被拉長。
換句话说,lastmod 需要和真實變化對得上。几次"狼来了"之後,這個字段的可信度會下降,甚至被整体忽略。
怎么把時間戳维護成有用信号
- 只记錄有意义的變更:正文、價格、库存、标题、结构化資料等影响頁面语义的改動才算。
- 保持單調與一致:同一 URL 的 lastmod 只前進不後退,變化时更新,不做周期性统一刷新。
- 按類型分片:把高频更新的栏目與長期静態頁面拆到不同 Sitemap,便于分別观察抓取反馈。
- 用抓取日誌驗證:對比 lastmod 更新時間和蜘蛛實际回訪時間,判断這條信号是否被采纳。
把 lastmod 当作"内容真的改了"的记錄,而不是"我想让你来"的呼喊,長期看更稳定。
和 URL 發現环节配合起来看
lastmod 解决的是"值不值得再来",URL 發現解决的是"知不知道有這個地址"。新頁面發布後,内鏈入口、Sitemap 收錄、必要的提交動作最好同步完成;只在 Sitemap 里加一條,而頁面上没有任何指向它的連結,蜘蛛即便抓到也缺少上下文。抓取路径越顺畅,時間戳的作用才越容易被体現出来。
也別指望單一手段立刻见效。连續观察一段時間内的抓取量、抓取命中率以及有效頁面占比,比盯着一個字段的寫法更靠谱。