蜘蛛抓取不是一次性的動作。一個新頁面被首次抓取之後，搜尋引擎會按自己的节奏安排下一次訪問，這個間隔可能是一天、一周，也可能更久。站点無法直接指定多久来一次，但可以通過若干信号影响排队顺序。這篇文章讲的是重訪這件事：哪些因素让它變快，哪些让它變慢。
重訪频率的两层来源
先分清责任。第一层是引擎侧的抓取容量與調度策略，站点無法改變；第二层是站点發出的信号，包括頁面價值、更新情况、服務器质量。日常優化能動的只有第二层。所以看到某個頁面很久没被再抓时，先判断它是被降频，還是压根排在队尾。
會被讀到的几個信号
真實的内容變化
最直接的信号是頁面确實變了。有新段落、有新資料、有更新的商品信息，蜘蛛下次訪問时内容指纹不同，這類頁面更容易获得更高频的調度。反之，如果每次抓到的正文一模一样，只有推荐位或時間戳在變，那就等于告诉引擎這里没什么新東西。
Last-Modified 與 ETag
正确返回這两個响應头，可以让蜘蛛用條件請求確認頁面是否變化，未變时得到 304，节省的是双方的资源。需要注意的是，別让時間戳跟着請求變化，也別在内容没動时去改它。头部信息與實际内容不一致，属于噪声，不是信号。
Sitemap 中的 lastmod
它的作用是告诉蜘蛛哪些頁面值得優先看一眼，因此應当與頁面的真實修改時間對齐。如果全站文件的 lastmod 每天都在跳，或者在批量提交时统一刷成当天，這個字段對調度的影响會迅速衰减。
頁面在站内的位置
從首頁出發点几次能到、有没有栏目頁指向它、有多少條内鏈、锚文本是否稳定，這些决定蜘蛛對頁面重要性的判断。一個藏在三层目錄之下、只有一條連結的頁面，即便内容更新，也常常排在後面。想提高重訪概率，先把它挪到更浅、更常被訪問的路径上。
頁面被實际使用的情况
有搜尋需求、有正常点击的頁面，通常會得到更积极的調度。這部分站点不能直接干预，但能做的是让頁面具备被搜尋的條件：清晰的标题、可索引的正文、稳定的 URL。如果頁面參與不了搜尋，重訪的意义本身就有限。
整站健康度决定了所有人的速度
抓取资源是按站点整体分配的，個別頁面再重要，也受整体表現拖累。下面這些情况會一起把节奏拖慢：
- 频繁出現 5xx 或超时，蜘蛛會主動降低並發與频率；
- 大量 404、410 或软 404 頁面消耗抓取次數；
- 篩選參數、排序參數生成大批近似 URL，让有效頁面排不上队；
- 重定向鏈過長，一次抓取要走三四跳；
- 頁面响應時間持續偏高，單次抓取成本上升。
換句话说，想让重要頁面更快被再次抓取，先让整站少浪費几次抓取請求。
怎么自查重訪节奏
- 從服務器日誌中按 URL 統計訪問間隔，得到每個頁面的平均重訪周期；
- 把時間轴與内容更新時間對照，看更新之後多久被再次訪問；
- 挑出長期不回来的頁面，检查它們的入鏈數量、层級與狀態碼；
- 確認這些頁面的 Last-Modified、lastmod 與真實修改時間一致；
- 观察整体抓取量中，有多少落在重复參數頁或错誤頁上。
几個容易走偏的做法
- 為了催抓取而每天改 lastmod：與内容不符的時間戳只會降低可信度；
- 反复提交没有變化的頁面：占用的是本可以给新内容的額度；
- 用大批低质頁面去占位：分母變大，單個頁面分到的次數自然變少；
- 以為提交就等于被抓：提交只是進入候選，抓取仍由調度决定。
重訪频率是調度结果，不是能單獨優化到某個數值的指标。把内容更新、内鏈位置和服務器稳定性做扎實，节奏通常自己會回到合理区間。
如果要在有限精力里挑两件事先做，建议先處理站内可達性，再處理错誤與超时。這两項改善之後，日誌里的重訪間隔往往比調整任何元信息都来得明顯。