抓取频率不是定时任务
很多站长会问：蜘蛛多久来一次？这个问题没有统一答案。蜘蛛不会给每个 URL 设定一个固定闹钟，而是根据站点整体抓取需求、URL 的历史表现、内容更新情况等，动态决定下次什么时候再来。同一个站点里，首页可能一天被访问很多次，一个很久没变的帮助页可能几周才被看一眼。
所以，与其追问“多久来一次”，不如理解哪些信号在影响蜘蛛的回访节奏。把这些信号处理好，抓取频率自然会跟着变化。
影响回访的几个常见信号
- 内容更新频率与幅度：长期稳定更新的栏目，蜘蛛回访会更规律；长期不动的页面，抓取间隔会拉长。
- 页面在站内的位置：首页、栏目页、被大量内链指向的页面，通常比深层页面更受关注。
- 服务器响应与稳定性：响应慢、超时多、错误率高的站点，蜘蛛会主动降低抓取速度和频率。
- Sitemap 与内链中的变化：新增 URL、修改后的 URL 会通过 Sitemap 和内链再次暴露，给蜘蛛新的抓取理由。
- 历史抓取效果：如果多次抓取都拿不到新内容，或者页面质量长期偏低，回访间隔可能被拉长。
更新频率不等于改动次数
有些站点每天改动页面上的时间戳、推荐位或广告位，但正文几乎没有变化。蜘蛛在多次抓取后，会逐渐判断这个 URL 的“有效更新”很少，于是降低回访频率。反过来，一个页面如果每隔一段时间就有实质内容补充，蜘蛛更可能提高回访频率。
改 lastmod 不会让内容变新，只会让时间信号和实际内容对不上。
如果你确实做了更新，可以更新 lastmod；如果只是模板或推荐位变化，不建议频繁改动。让时间信号保持可信，比频繁“刷新”更有用。
服务器响应会直接改变抓取节奏
蜘蛛的抓取能力是有限的。当它访问你的站点时，如果经常遇到响应时间过长、连接超时或 5xx 错误，它会认为继续高速抓取不划算，于是降低并发连接数，拉长同一批 URL 的抓取间隔。这种调整通常不是永久性的，但恢复需要时间。
因此，保持服务器稳定、避免在蜘蛛活跃时段做大规模压测或全站重建，是维持正常抓取节奏的基础。抓取频率下降，有时不是内容问题，而是服务器状态先出了问题。
让回访更有价值的几个做法
- 保持稳定的更新节奏：与其偶尔集中更新几百篇，不如持续、均匀地发布或补充内容。
- 用内链把新页面接进主路径：新 URL 如果只存在于 Sitemap，蜘蛛仍可能较晚发现；从已有页面链接过去，能增加被发现的机会。
- 控制无变化页面的数量：大量空标签页、重复筛选页、内容长期不变的页面，会占用抓取时间，稀释真正需要抓取的 URL。
- 观察日志中的抓取频次：记录重点目录的抓取次数与响应状态，判断频率变化是内容原因还是服务器原因。
不建议做的事
- 不要为了“吸引蜘蛛”频繁提交未更新的页面，这不会让内容变新，反而可能让提交信号失去参考价值。
- 不要用脚本模拟蜘蛛访问，这类流量不会带来收录，还可能给服务器增加无意义的负担。
- 不要把抓取频率当成可以直接调高的参数。它是站点内容、结构和服务器状态综合作用的结果。
回到最初的问题：蜘蛛多久回访一次，取决于你给它的信号是否值得再来。把内容更新做实，把内链和 Sitemap 维护好，把服务器状态稳住，抓取频率的变化会自然反映在日志里。与其猜测时间间隔，不如定期检查这些信号是否一致。