标签：爬虫限速

蜘蛛抓取频次与站点承载：把抓取节奏调到服务器扛得住的范围

蜘蛛抓取频次太高会压垮服务器，太低又让新页面迟迟进不了抓取路径。本文从服务器日志判断抓取高峰与响应时间，讨论 429、Retry-After、crawl-delay 以及静态资源分担等限速做法，并说明如何把内容更新节奏与抓取节奏错开，让抓取安排更稳定。