标签：HTTP 429

入口页触发限速返回 429 或带 Retry-After 的 503：里面的目标链接还会被搜索蜘蛛发现吗

入口页被限速返回 429 或带 Retry-After 的 503 时，爬虫拿不到 HTML，这一轮的 URL 发现会中断，但已发现的 URL 未必受影响。本文区分 429、带重试提示的 503 和普通 5xx，说明退避重试的一般逻辑、Retry-After 该怎么填，以及限速下排查目标链接发现变慢的顺序。