标簽：WAF排查

蜘蛛池與URL發現：CDN或WAF把搜尋蜘蛛挡在门外，抓取量骤降怎么排查

投放蜘蛛池後抓取量突然下降，問题未必出在蜘蛛池本身。CDN、WAF 的爬虫防護、频率限制或 IP 信誉規則，都可能把搜尋蜘蛛挡在源站之外。本文梳理如何通過分层看日誌、UA 對照請求和拦截日誌確認拦截点，並给出白名單設定與投放节奏的調整思路。