搜
429 与 Retry-After:主动限速时,怎么让蜘蛛抓得下去
429 是服务器主动告诉蜘蛛“现在太快了”,配合 Retry-After 才能说明多久之后可以再来。本文讲清 Retry-After 的两种写法、适合限速的场景、常见的几类误用,以及限速放宽之后该怎么观察抓取节奏有没有恢复。
阅读全文 →共找到 1 篇与“爬虫退避”相关的文章。
429 是服务器主动告诉蜘蛛“现在太快了”,配合 Retry-After 才能说明多久之后可以再来。本文讲清 Retry-After 的两种写法、适合限速的场景、常见的几类误用,以及限速放宽之后该怎么观察抓取节奏有没有恢复。
阅读全文 →