改完一篇舊文章,补了資料、換了结论,然後就没有下文了——這是很多站点运营的日常。蜘蛛不會因為你儲存了一次草稿就重新抓取,它更多是根據變化信号、入口變化和重訪节奏来决定要不要回来看。頁面更新之後,主動發出几個合理的信号,比坐等更實际。
更新了却没被重抓,通常卡在哪
- 没有明顯的變化信号:正文改了,但 URL、标题、内鏈、Sitemap 里的時間戳都没動,從外部看這頁和上周一样。
- 入口頁面没變:蜘蛛靠連結發現頁面,栏目列表、首頁推荐位、相關阅讀模块都還是老样子,就少了重訪的理由。
- 缓存层挡在前面:頁面已经更新,但 CDN 或服務器缓存還返回舊版本,蜘蛛拿到的仍是舊内容。
- 改動幅度太小:改两個错別字、調一段话的位置,這種更新本身價值有限,不必强求重抓。
可以主動發出的几類信号
Sitemap 的 lastmod
如果站点有 Sitemap,可以在内容發生實质修改後同步更新该 URL 的 lastmod。注意是“實质修改”,不是每次儲存都刷新。時間格式统一用 ISO 8601(带时区更稳妥),避免今天寫 2025-05-01、明天寫 05/02/2025 這種混用。
主動推送接口
主流搜尋引擎都提供了 URL 提交或推送通道,也有 IndexNow 這類通用协议。适合在重要頁面更新後使用,但要注意频率:批量把成千上萬個 URL 推上去,反而容易被判定為噪声。優先推真正改動過、且有一定價值的地址。
頁面自身的可见變化
蜘蛛解析頁面时,能看到正文長度、段落结构、内鏈指向的變化。如果文章末尾标注了“最後更新”時間,並且這個時間确實和内容改動對應,也算一個可讀的信号。结构化資料里的 dateModified 同理,前提是和頁面上展示的時間一致。
内部連結的重新引用
把更新過的頁面連結到最近有新内容發布的栏目頁,或者從首頁、侧栏临时提一下,都是给蜘蛛的新路径。比反复提交 URL 更自然,也更贴合站点的實际结构。
最容易踩的坑
把全站頁面的 lastmod 统一改成当天,或者每次打開編輯器儲存就刷新時間戳——這類做法短期看不出問题,長期會让時間戳失去參考價值,蜘蛛也會降低對它的信任。
另外几個常见問题:给並不存在的更新伪造 dateModified;只更新 Sitemap 時間却不改内容;更新後忘了清缓存,導致自己看到的和蜘蛛看到的不是同一版。
按更新幅度選方式
- 纠错、补几個字:不必特意通知,等自然重訪即可。
- 补充資料、增加小节:更新 Sitemap 時間戳,配合内鏈引用。
- 重寫主体、结论變化:更新 Sitemap、走一次主動推送,必要时調整頁面标题和摘要。
- URL 或栏目归属發生變化:按迁移流程處理,做好 301,不要只改内容不管地址。
更新後的自查清單
- 頁面上看到的版本,和缓存、CDN 返回的版本是否一致;
- lastmod / dateModified 是否與實际改動時間對得上;
- 更新過的頁面是否至少有一條站内連結指向它;
- 主動推送是否只覆盖了真正改動的 URL;
- 這次改動是否值得重抓,還是属于可有可無的微調。
用日誌看结果
服務器日誌里能查到蜘蛛對某個 URL 的訪問记錄、狀態碼和返回大小。把更新時間点和日誌里的重訪時間對照一下,几次之後就能大致估出自己站点的重訪周期。如果某個栏目長期無人問津,問题往往不在“没通知”,而在于入口太深、内容本身更新太少。
把一次更新当成小型的發布来對待,比追求“秒收錄”的偏方要稳得多。信号發得越真實,蜘蛛的判断成本越低,回訪也就越自然。