标簽：429

429 與 Retry-After：给蜘蛛限速时该怎么回應

服務器扛不住蜘蛛抓取时，直接把超出的請求一律拒掉並不是好办法。本文說明 429、503、403 的语义差別，Retry-After 该怎么寫，長期限速會给抓取节奏带来什么影响，以及怎样分目錄限速、先减负再限速，並用訪問日誌確認限速没有誤伤正文頁的抓取。