标簽：反爬規則

被自家防護拦下的蜘蛛：限速、驗證碼與 WAF 規則的常见誤伤

蜘蛛抓取異常有时不是内容問题，而是自家防護規則誤伤：CC 限速、UA 黑名單、云 IP 段封鎖、驗證碼挑战都可能把正規蜘蛛挡在门外。本文讲怎么從日誌狀態碼和抓取量變化判断是否被拦，以及如何在不關閉防護的前提下按身份、路径和阈值做有條件放行。