很多站点运营者會盯着日誌問：這個頁面昨天改了，蜘蛛怎么還没来？其實蜘蛛的再訪間隔不是後台设了一個定时器，而是抓取調度根據多種信号算出来的结果。理解這些信号，比反复提交 URL 更有用。
再訪間隔由什么决定
蜘蛛第一次抓到一個 URL 後，會把它放進待抓队列。下次什么时候回来，通常看几件事：
- 頁面在站内的位置：首頁、栏目頁、被多個内鏈指向的詳情頁，再訪频率通常高于深层頁面。
- 歷史更新频率：如果頁面長期稳定，蜘蛛會降低回訪频率；如果经常有新内容，它可能更勤快。
- 抓取预算和站点健康度：服務器响應慢、错誤多，蜘蛛會把時間花在重试上，再訪自然被推迟。
- 頁面變化幅度：只改了一個标点，和新增了一段正文，蜘蛛看到的“變化信号”不同。
- Sitemap 與提交入口：更新 lastmod、提交新 URL 能提供參考，但不是立刻召来的開關。
不同頁面的再訪节奏不一样
首頁和新闻列表可能几小时到一天就被回訪；普通文章頁可能几天到几周；長期不更新的“關于我們”可能更久。這不是偏见，而是調度在按頁面價值分配抓取资源。想让重要頁面更快被回訪，比較稳妥的做法是把它放在内鏈較浅的位置，並让栏目頁保持更新。
常见誤区
- 一改内容就改 lastmod：如果内容没實质變化，只改時間戳，短期可能引来一次抓取，長期會降低這個信号的參考價值。
- 反复手動提交：提交是通知，不是排队加速器。频率過高没有額外收益，還可能被忽略。
- 以為蜘蛛會按固定周期回来：没有固定周期。站点整体抓取表現變化，再訪間隔也會跟着變。
- 把再訪慢等同于被惩罚：更多时候只是抓取预算有限，或者頁面在調度里優先級不高。
怎么观察再訪是否正常
從日誌里按 URL 聚合，看同一路径两次蜘蛛訪問的間隔。如果之前是两三天，現在變成两三周，同时其他頁面也變慢，先查服務器响應、错誤率、robots 和 WAF 是否誤拦。如果只有個別頁面變慢，再检查它是否被移出内鏈、是否返回了软 404、是否内容長期没更新。
可以主動做的事
- 保持服務器稳定，减少超时和 5xx，让蜘蛛每次来都能顺利抓完。
- 更新重要内容时，让 URL 保持可訪問，並確認内鏈路径没有断。
- Sitemap 里的 lastmod 如實反映實质更新，不要批量刷成目前時間。
- 把新頁面挂在已有抓取频繁的栏目或列表頁下，缩短發現路径。
- 定期看日誌，区分“没被發現”和“被發現但再訪慢”，两者處理方式不同。
再訪間隔是抓取調度的结果，不是一個可以單獨催促的數值。把站点可用性、内鏈结构和更新信号做好，蜘蛛回来的节奏通常會更合理。