标签：反爬规则

被自家防护拦下的蜘蛛：限速、验证码与 WAF 规则的常见误伤

蜘蛛抓取异常有时不是内容问题，而是自家防护规则误伤：CC 限速、UA 黑名单、云 IP 段封锁、验证码挑战都可能把正规蜘蛛挡在门外。本文讲怎么从日志状态码和抓取量变化判断是否被拦，以及如何在不关闭防护的前提下按身份、路径和阈值做有条件放行。