标簽：HTTP 429

入口頁触發限速返回 429 或带 Retry-After 的 503：里面的目标連結還會被搜尋蜘蛛發現吗

入口頁被限速返回 429 或带 Retry-After 的 503 时，爬虫拿不到 HTML，這一轮的 URL 發現會中断，但已發現的 URL 未必受影响。本文区分 429、带重试提示的 503 和普通 5xx，說明退避重试的一般逻辑、Retry-After 该怎么填，以及限速下排查目标連結發現變慢的顺序。