很多人把“URL 被發現”和“URL 被重新抓取”当成一回事，其實這是两套触發逻辑。前者靠入口曝光，後者靠内容變化信号。一個頁面即使早已被收錄，只要站点没有给出“這里變了”的可信證據，抓取队列就没有理由把它重新捞起来。
重新抓取依赖的几類信号
判断一個已收錄頁面是否需要回訪，抓取端通常會综合几類线索，它們的作用是叠加的，並不是單一開關。
- 内容實质變化：正文段落增删、價格库存變更、标题調整等。改動越靠近主内容区，信号越明确。
- Sitemap 中的 lastmod：這是成本最低的声明方式，但只有和實际變更一致时才有效。長期“每次生成都刷新時間戳”會让這個字段失去參考價值。
- 内鏈引用變化：頁面被新文章連結、被導航或列表頁重新提及，往往會顺带触發一次回訪。
- 站外引用：被外部頁面新增連結或分享，也會成為回訪线索，只是可控性較低。
- 主動提交：通過站長平台的提交入口推送單個 URL，适合重要頁面更新後的补充動作。
從日誌判断“變更信号是否被接收”
不必靠猜，抓取日誌能给出比較直接的反馈。观察同一個 URL 的抓取間隔變化，配合响應狀態與响應体大小，可以大致判断信号有没有生效。
- 頁面已改動，但抓取間隔仍维持原来的周期，說明變更信号偏弱。
- 抓取後返回 304，說明服務端判定内容未變，常见于只改模板或只刷時間戳的情况。
- 返回 200 但响應体字节數與改動前几乎一致，往往意味着改動落在對抓取無感的位置。
把這三條放在一起看，比單獨看“有没有被抓”更有意义。被抓到不等于更新被吸收，返回 200 也不等于内容有了實质變化。
更新节奏與抓取节流的配合
站点更新越频繁，越要注意节奏。如果同一個 URL 在短時間内被反复修改，抓取端可能降低该地址的回訪频率；而整站級別的模板調整，比如全站頁头改版，容易制造出大量“看起来更新了”的頁面，反而稀释真正需要回訪的入口。
把更新集中到真正變動的内容頁上，比让整站同时“看起来很新”更划算。
几個容易踩的坑
- 只改頁脚版權年份就刷新 lastmod，短期可能带来回訪，長期會让该字段整体失真。
- 把 304 当成抓取失敗去反复排查，實际上它只是正常的协商结果。
- 重要頁面更新後既不調整 Sitemap，也没有任何内鏈變化，只等自然回訪。
- 同一篇内容拆成多個相近 URL 分批改動，造成入口分散、信号被摊薄。
一份可执行的检查清單
- 確認改動是否落在主内容区，标题、正文、结构化資料都算。
- 更新 Sitemap 中對應條目的 lastmod，並核對格式與时区是否一致。
- 在站内找一到两處自然的内鏈位置，指向被更新的頁面。
- 對高價值頁面使用主動提交，避免整站批量推送。
- 回看一到两周的日誌，確認回訪間隔是否缩短、响應体是否變化。
重新抓取本质上是站点與抓取端之間的一次沟通：你给出足够清晰的變更證據，對方才有理由調整回訪安排。與其反复研究“多久會被抓一次”，不如把每一次更新做得更有辨识度。