标簽：爬虫限速

蜘蛛抓取频次與站点承载：把抓取节奏調到服務器扛得住的范围

蜘蛛抓取频次太高會压垮服務器，太低又让新頁面迟迟進不了抓取路径。本文從服務器日誌判断抓取高峰與响應時間，讨论 429、Retry-After、crawl-delay 以及静態资源分担等限速做法，並說明如何把内容更新节奏與抓取节奏错開，让抓取安排更稳定。