改完一篇旧文章,补了数据、换了结论,然后就没有下文了——这是很多站点运营的日常。蜘蛛不会因为你保存了一次草稿就重新抓取,它更多是根据变化信号、入口变化和重访节奏来决定要不要回来看。页面更新之后,主动发出几个合理的信号,比坐等更实际。
更新了却没被重抓,通常卡在哪
- 没有明显的变化信号:正文改了,但 URL、标题、内链、Sitemap 里的时间戳都没动,从外部看这页和上周一样。
- 入口页面没变:蜘蛛靠链接发现页面,栏目列表、首页推荐位、相关阅读模块都还是老样子,就少了重访的理由。
- 缓存层挡在前面:页面已经更新,但 CDN 或服务器缓存还返回旧版本,蜘蛛拿到的仍是旧内容。
- 改动幅度太小:改两个错别字、调一段话的位置,这种更新本身价值有限,不必强求重抓。
可以主动发出的几类信号
Sitemap 的 lastmod
如果站点有 Sitemap,可以在内容发生实质修改后同步更新该 URL 的 lastmod。注意是“实质修改”,不是每次保存都刷新。时间格式统一用 ISO 8601(带时区更稳妥),避免今天写 2025-05-01、明天写 05/02/2025 这种混用。
主动推送接口
主流搜索引擎都提供了 URL 提交或推送通道,也有 IndexNow 这类通用协议。适合在重要页面更新后使用,但要注意频率:批量把成千上万个 URL 推上去,反而容易被判定为噪声。优先推真正改动过、且有一定价值的地址。
页面自身的可见变化
蜘蛛解析页面时,能看到正文长度、段落结构、内链指向的变化。如果文章末尾标注了“最后更新”时间,并且这个时间确实和内容改动对应,也算一个可读的信号。结构化数据里的 dateModified 同理,前提是和页面上展示的时间一致。
内部链接的重新引用
把更新过的页面链接到最近有新内容发布的栏目页,或者从首页、侧栏临时提一下,都是给蜘蛛的新路径。比反复提交 URL 更自然,也更贴合站点的实际结构。
最容易踩的坑
把全站页面的 lastmod 统一改成当天,或者每次打开编辑器保存就刷新时间戳——这类做法短期看不出问题,长期会让时间戳失去参考价值,蜘蛛也会降低对它的信任。
另外几个常见问题:给并不存在的更新伪造 dateModified;只更新 Sitemap 时间却不改内容;更新后忘了清缓存,导致自己看到的和蜘蛛看到的不是同一版。
按更新幅度选方式
- 纠错、补几个字:不必特意通知,等自然重访即可。
- 补充数据、增加小节:更新 Sitemap 时间戳,配合内链引用。
- 重写主体、结论变化:更新 Sitemap、走一次主动推送,必要时调整页面标题和摘要。
- URL 或栏目归属发生变化:按迁移流程处理,做好 301,不要只改内容不管地址。
更新后的自查清单
- 页面上看到的版本,和缓存、CDN 返回的版本是否一致;
- lastmod / dateModified 是否与实际改动时间对得上;
- 更新过的页面是否至少有一条站内链接指向它;
- 主动推送是否只覆盖了真正改动的 URL;
- 这次改动是否值得重抓,还是属于可有可无的微调。
用日志看结果
服务器日志里能查到蜘蛛对某个 URL 的访问记录、状态码和返回大小。把更新时间点和日志里的重访时间对照一下,几次之后就能大致估出自己站点的重访周期。如果某个栏目长期无人问津,问题往往不在“没通知”,而在于入口太深、内容本身更新太少。
把一次更新当成小型的发布来对待,比追求“秒收录”的偏方要稳得多。信号发得越真实,蜘蛛的判断成本越低,回访也就越自然。