很多人把“URL 被发现”和“URL 被重新抓取”当成一回事，其实这是两套触发逻辑。前者靠入口曝光，后者靠内容变化信号。一个页面即使早已被收录，只要站点没有给出“这里变了”的可信证据，抓取队列就没有理由把它重新捞起来。
重新抓取依赖的几类信号
判断一个已收录页面是否需要回访，抓取端通常会综合几类线索，它们的作用是叠加的，并不是单一开关。
- 内容实质变化：正文段落增删、价格库存变更、标题调整等。改动越靠近主内容区，信号越明确。
- Sitemap 中的 lastmod：这是成本最低的声明方式，但只有和实际变更一致时才有效。长期“每次生成都刷新时间戳”会让这个字段失去参考价值。
- 内链引用变化：页面被新文章链接、被导航或列表页重新提及，往往会顺带触发一次回访。
- 站外引用：被外部页面新增链接或分享，也会成为回访线索，只是可控性较低。
- 主动提交：通过站长平台的提交入口推送单个 URL，适合重要页面更新后的补充动作。
从日志判断“变更信号是否被接收”
不必靠猜，抓取日志能给出比较直接的反馈。观察同一个 URL 的抓取间隔变化，配合响应状态与响应体大小，可以大致判断信号有没有生效。
- 页面已改动，但抓取间隔仍维持原来的周期，说明变更信号偏弱。
- 抓取后返回 304，说明服务端判定内容未变，常见于只改模板或只刷时间戳的情况。
- 返回 200 但响应体字节数与改动前几乎一致，往往意味着改动落在对抓取无感的位置。
把这三条放在一起看，比单独看“有没有被抓”更有意义。被抓到不等于更新被吸收，返回 200 也不等于内容有了实质变化。
更新节奏与抓取节流的配合
站点更新越频繁，越要注意节奏。如果同一个 URL 在短时间内被反复修改，抓取端可能降低该地址的回访频率；而整站级别的模板调整，比如全站页头改版，容易制造出大量“看起来更新了”的页面，反而稀释真正需要回访的入口。
把更新集中到真正变动的内容页上，比让整站同时“看起来很新”更划算。
几个容易踩的坑
- 只改页脚版权年份就刷新 lastmod，短期可能带来回访，长期会让该字段整体失真。
- 把 304 当成抓取失败去反复排查，实际上它只是正常的协商结果。
- 重要页面更新后既不调整 Sitemap，也没有任何内链变化，只等自然回访。
- 同一篇内容拆成多个相近 URL 分批改动，造成入口分散、信号被摊薄。
一份可执行的检查清单
- 确认改动是否落在主内容区，标题、正文、结构化数据都算。
- 更新 Sitemap 中对应条目的 lastmod，并核对格式与时区是否一致。
- 在站内找一到两处自然的内链位置，指向被更新的页面。
- 对高价值页面使用主动提交，避免整站批量推送。
- 回看一到两周的日志，确认回访间隔是否缩短、响应体是否变化。
重新抓取本质上是站点与抓取端之间的一次沟通：你给出足够清晰的变更证据，对方才有理由调整回访安排。与其反复研究“多久会被抓一次”，不如把每一次更新做得更有辨识度。