标签：WAF配置

爬虫被 WAF 拦在门外：抓取请求进不来时的排查顺序

抓取量下滑时，问题不一定出在内容和内链。CDN、WAF、源站防火墙的误拦会让抓取请求根本到不了源站。本文整理拦截的典型信号、常见发生层级与排查顺序，并给出 IP 验证、频次留量、路径分级等放行原则，帮助把网络层与页面层的排查分开进行。