很多站長會有這样的困惑：頁面明明改過了，蜘蛛却像没看见，過了一两周抓的還是老版本。原因往往不在抓取通路，而在回訪节奏——蜘蛛判断一個 URL 该多久回来一次，靠的是歷史抓取记錄和變化频率的估計，而不是你当下的心情。
蜘蛛凭什么决定什么时候回来
蜘蛛手里的抓取配額是有限的，它要给每個 URL 排一個優先級和回訪間隔。這個間隔主要来自两類信号：一是這個 URL 過去被抓到时，内容真正變過几次；二是站点整体最近的新增和更新速度。長期抓到的都是同一份内容，間隔就會越拉越長；反之，一個栏目持續有實质更新，回訪自然會變勤。
所以有效的做法不是反复催，而是让蜘蛛的歷史样本里，這個 URL 确實按稳定节奏在變化。
lastmod 最容易出問题的几種寫法
- 每次請求都返回目前時間。程序里直接輸出目前時間戳，蜘蛛每次抓到的 lastmod 都不一样，等于告诉它這個頁面每秒都在變，几次之後這個字段就失去參考價值。
- 全站模板一起變。換頁脚、調字体、加客服浮窗，如果這些都會触發 lastmod 更新，全站几萬個 URL 會同时顯示刚更新過，而正文一個字没動。
- 把可见時間当装饰。頁面上寫着“5 分钟前更新”，其實是渲染时生成的相對時間，蜘蛛拿到的静態 HTML 里並没有具体日期。
- 寫成未来時間或格式混乱。lastmod 用 ISO 8601 並带上时区最稳妥，随手寫成 2024/3/5，或者比服務器時間晚几個小时，容易被忽略或誤判。
让更新信号和回訪节奏對得上
核心原則只有一條：lastmod 的變化，要能對應到正文里讀者看得见的變化。
- 只在标题、正文、資料、结论這類主体内容改動时更新 lastmod；样式、導航、广告位調整不動它。
- 頁面上的發布時間或最後更新文字，與 sitemap 里的 lastmod 保持一致，不要一個说今天、一個说上周。
- 新頁面發布後，让它在列表頁、栏目頁、相關推荐模块里有稳定入口，別只存在于 sitemap 里。
- 内容分批更新，別把几個月的量攒到一天集中改完，那天的抓取压力集中，收益反而被稀释。
- 确實很久没動的老頁面，與其硬改個日期，不如补一段有信息量的内容，或者核實一次資料。
用日誌看回訪节奏有没有變
挑一個有代表性的栏目，從日誌里筛出蜘蛛對它的訪問時間戳，算出相邻两次訪問的平均間隔。连續观察几周：如果這個栏目在持續更新，間隔却始终不變甚至變長，可能是入口太深、内鏈支撑不足，或者抓取配額被站内其他低價值 URL 占掉了。反過来，間隔明顯缩短，說明更新信号被正确识別了。
別為了催蜘蛛而制造伪更新：反复改一個空格、換個标点，短期看不出問题，長期會让變化频率的估計失真，回訪节奏反而更慢。
节奏稳定比單次快更重要
蜘蛛對站点的信任来自可预测性。一個每天固定产出几篇、老文章按需维護的站点，比一個常年不更新、偶尔一天發两百篇的站点更容易获得稳定回訪。把内容生产节奏、lastmod 和頁面可见信息三者對齐，再用日誌复核一轮，抓取路径上很多看不见的問题會自己消失。