标簽：爬虫限流

搜尋蜘蛛抓取：429 限流與 5xx 抖動下的重试退避观察顺序

抓取量突然下降，未必是蜘蛛不来了。本文按服務端信号分類，梳理 429 限流、503 過载與连接层错誤的区分方法，並给出一套從日誌聚合、限流配置到 Sitemap 提交节奏的核對顺序，帮助判断抓取退避的真實成因，避免誤判和過度調整。