很多站長盯着日誌看的是一個頁面「来没来過」，但更值得看的其實是「隔了多久再来一次」。蜘蛛對每個已發現的 URL 都有一個大致回訪計划，這個計划不是固定的，會随着頁面的歷史表現不断調整。理解這套調整逻辑，比反复提交 URL 更有用。

回訪間隔不是拍脑袋定的

蜘蛛第一次抓到一個頁面时，手里没有任何歷史資料，只能给一個偏保守的初始間隔。之後它會记錄這個頁面的几次抓取结果：内容有没有變、變了多少、响應是否稳定。變化频繁且稳定的頁面，間隔會缩短；几個月都不動的頁面，間隔會被慢慢拉長。

這解释了一個常见現象：刚上线的栏目頁前几天抓得很勤，稳定之後一個月才来一次。這不是蜘蛛放弃了這里，而是它判断没有新東西可看，把配額挪给了更值得来的地方。

两種容易踩的坑

改動频率和内容變化對不上

有些站点每天定时跑一遍發布脚本，标题、時間戳、推荐位每次都不一样，正文一個字没改。蜘蛛抓到几次之後會發現正文没變，于是把間隔拉長——即便你确實在上面發了新内容，它也會先按老印象處理。让頁面骨架稳定、只让真正的新内容产生變化，抓取信号才清晰。

把 lastmod 当成催促工具

Sitemap 里的 lastmod 是蜘蛛判断「這次值不值得来」的重要依據。如果每次生成 sitemap 都把全部 URL 的 lastmod 刷成目前時間，蜘蛛很快會發現這個字段不可信，之後要么忽略它，要么整体降低對這份 sitemap 的信任。反過来，只给真正改動過的 URL 更新 lastmod，其余保持原值，長期看效率高得多。

更新之後，怎么让重抓更容易發生

• 把新内容放到會被频繁抓取的位置：首頁、栏目列表頁、侧邊推荐位，這些位置的抓取频率通常高于深层頁面。
• 用内鏈把新舊頁面连起来：從一篇稳定被抓的文章里鏈到新頁面，比單獨提交一次更持久。
• Sitemap 里保留稳定條目：不要因為頁面舊就把它從 sitemap 里删掉，刪除之後重抓往往更慢。
• 保證响應稳定：回訪恰好遇到超时或 5xx，間隔會被進一步拉長。

用日誌看回訪是否正常

在日誌里按 URL 分组，看两次抓取之間的天數分布。如果核心栏目頁的間隔從几天變成几周，而這期間内容确實有更新，就要检查是不是 lastmod 失真、頁面响應變慢，或者内鏈结构發生了變化。反過来，如果一個頁面被反复抓但内容長期不動，也可以考虑合並或調整，把抓取机會让给更需要更新的頁面。

回訪节奏本质上是一次双向判断：站点告诉蜘蛛「這里會變」，蜘蛛驗證「确實變了」，信任才逐步建立。單方面催促，短期可能有效，長期只會让信号贬值。

回訪只是過程，不是结果

缩短回訪間隔不等于内容會被收錄或获得排名，它只影响蜘蛛看到新内容的及时程度。真正决定结果的還是内容本身和頁面质量。把回訪节奏調整到和實际更新频率匹配，是减少無效抓取、让有限抓取配額用在刀刃上的一種做法，不必把它当成必须優化的指标去追。