标簽：CDN防爬

入口頁被 WAF 或 CDN 拦截：搜尋蜘蛛還能發現里面的目标連結吗

入口頁迟迟不被收錄、日誌里也见不到搜尋蜘蛛，很多时候不是連結结构的問题，而是請求在到達服務器前就被 WAF、CDN 或主机商的防爬規則拦下了。本文說明如何区分 robots 屏蔽、服務器拒绝和拦截規則，怎么核對拦截原因，以及放行後要按什么顺序恢复抓取。