很多站长会有这样的困惑：页面明明改过了，蜘蛛却像没看见，过了一两周抓的还是老版本。原因往往不在抓取通路，而在回访节奏——蜘蛛判断一个 URL 该多久回来一次，靠的是历史抓取记录和变化频率的估计，而不是你当下的心情。
蜘蛛凭什么决定什么时候回来
蜘蛛手里的抓取配额是有限的，它要给每个 URL 排一个优先级和回访间隔。这个间隔主要来自两类信号：一是这个 URL 过去被抓到时，内容真正变过几次；二是站点整体最近的新增和更新速度。长期抓到的都是同一份内容，间隔就会越拉越长；反之，一个栏目持续有实质更新，回访自然会变勤。
所以有效的做法不是反复催，而是让蜘蛛的历史样本里，这个 URL 确实按稳定节奏在变化。
lastmod 最容易出问题的几种写法
- 每次请求都返回当前时间。程序里直接输出当前时间戳，蜘蛛每次抓到的 lastmod 都不一样，等于告诉它这个页面每秒都在变，几次之后这个字段就失去参考价值。
- 全站模板一起变。换页脚、调字体、加客服浮窗，如果这些都会触发 lastmod 更新，全站几万个 URL 会同时显示刚更新过，而正文一个字没动。
- 把可见时间当装饰。页面上写着“5 分钟前更新”，其实是渲染时生成的相对时间，蜘蛛拿到的静态 HTML 里并没有具体日期。
- 写成未来时间或格式混乱。lastmod 用 ISO 8601 并带上时区最稳妥，随手写成 2024/3/5，或者比服务器时间晚几个小时，容易被忽略或误判。
让更新信号和回访节奏对得上
核心原则只有一条：lastmod 的变化，要能对应到正文里读者看得见的变化。
- 只在标题、正文、数据、结论这类主体内容改动时更新 lastmod；样式、导航、广告位调整不动它。
- 页面上的发布时间或最后更新文字，与 sitemap 里的 lastmod 保持一致，不要一个说今天、一个说上周。
- 新页面发布后，让它在列表页、栏目页、相关推荐模块里有稳定入口，别只存在于 sitemap 里。
- 内容分批更新，别把几个月的量攒到一天集中改完，那天的抓取压力集中，收益反而被稀释。
- 确实很久没动的老页面，与其硬改个日期，不如补一段有信息量的内容，或者核实一次数据。
用日志看回访节奏有没有变
挑一个有代表性的栏目，从日志里筛出蜘蛛对它的访问时间戳，算出相邻两次访问的平均间隔。连续观察几周：如果这个栏目在持续更新，间隔却始终不变甚至变长，可能是入口太深、内链支撑不足，或者抓取配额被站内其他低价值 URL 占掉了。反过来，间隔明显缩短，说明更新信号被正确识别了。
别为了催蜘蛛而制造伪更新：反复改一个空格、换个标点，短期看不出问题，长期会让变化频率的估计失真，回访节奏反而更慢。
节奏稳定比单次快更重要
蜘蛛对站点的信任来自可预测性。一个每天固定产出几篇、老文章按需维护的站点，比一个常年不更新、偶尔一天发两百篇的站点更容易获得稳定回访。把内容生产节奏、lastmod 和页面可见信息三者对齐，再用日志复核一轮，抓取路径上很多看不见的问题会自己消失。