抓取不是一次性动作。蜘蛛把一个 URL 抓回去之后，还会按自己的节奏回来，只是间隔并不统一：有的页面几天就被再抓一次，有的几个月都等不到第二次访问。这个间隔通常被称为回访周期，它决定了新内容多快被发现，也决定了旧内容改动后多久才会反映到搜索结果里。
回访周期由蜘蛛自己推算，不是你能直接设置的
站点在 robots.txt 里写的 crawl-delay 只是给蜘蛛的一条建议，真正的回访节奏由搜索引擎根据历史抓取结果推算。它会参考这个地址过去的表现：内容有没有变化、响应是否稳定、在站内是否被频繁链接、是否有真实的访问需求。表现稳定的页面，回访间隔会慢慢缩短；长期没有变化或者经常出错的页面，间隔会被拉长。这是一个动态调整的过程，改一次设置并不会马上生效。
影响回访间隔的几个常见因素
- 内容更新频率：栏目每天更新和一年不动一次，回访节奏差别很大。蜘蛛倾向于把有限的抓取次数分配给更容易出现新内容的地址。
- 历史抓取质量：响应快、状态码稳定、没有大段超时和 5xx 的页面，更容易被安排更密的回访。
- 站内位置：首页、频道页、被大量内链指向的页面，通常比深层页面回访得更勤。
- Sitemap 里的 lastmod：如果这个时间戳对应真实的内容修改时间，能帮助蜘蛛判断哪些页面值得优先回访；如果每次生成 Sitemap 都刷新一遍，时间戳就失去了参考价值。
- 站点整体抓取预算：页面总量、更新量和服务器的承受能力共同决定蜘蛛在一个站点上能花多少时间，单个页面能分到的回访次数也受这个总量影响。
从服务器日志里看回访间隔
- 按 URL 分组，把同一个地址的抓取时间挑出来。
- 计算相邻两次抓取之间的间隔，观察它是在变短、变长还是基本稳定。
- 把出现 304、5xx、超时的时间点标出来，看看回访间隔的变化是否和这些异常有关。
- 横向对比不同栏目：更新更勤、内链更多的栏目，回访间隔是否明显更短。
这样看下来，通常会发现问题：回访并不均匀，少数核心页面被反复访问，大量长尾页面几乎排在队列末尾。哪些页面在被正常维护，哪些已经被放到后面，日志比主观感觉更可靠。
想让重要页面回访得更勤，能做的事
- 保持这些页面的内容有实际变化，小幅补充和修订也好过只改时间戳。
- 让 URL 保持稳定。改地址、加参数、反复重定向，都会让之前积累的回访节奏重新开始。
- Sitemap 只放需要被发现的地址，lastmod 写成真实的修改时间。
- 把重要页面放在离首页不远的位置，用正文里的内链指向它，而不是只挂在页脚。
- 保证服务器在这些页面被访问时能稳定快速响应，避免让蜘蛛把次数浪费在超时上。
回访周期更像是一种长期积累的信任，而不是一次操作就能改掉的参数。持续提供有变化、能稳定打开的内容，比临时手段更可靠。
几个容易踩的误区
频繁刷新页面时间戳、反复提交同一批 URL，并不会让回访间隔明显缩短，反而可能让这些信号失去参考价值。反过来，如果某个页面确实几个月才更新一次，也不必强求它被频繁回访，把精力放在真正需要及时被看到的页面上更划算。
观察回访周期的意义，不在于逼着蜘蛛按你的节奏走，而在于判断站点当前的抓取状态是否和你的内容更新节奏匹配，再决定是继续投入，还是先调整结构和服务器表现。