标签：429

429 与 Retry-After：给蜘蛛限速时该怎么回应

服务器扛不住蜘蛛抓取时，直接把超出的请求一律拒掉并不是好办法。本文说明 429、503、403 的语义差别，Retry-After 该怎么写，长期限速会给抓取节奏带来什么影响，以及怎样分目录限速、先减负再限速，并用访问日志确认限速没有误伤正文页的抓取。