标签：CDN防爬

入口页被 WAF 或 CDN 拦截：搜索蜘蛛还能发现里面的目标链接吗

入口页迟迟不被收录、日志里也见不到搜索蜘蛛，很多时候不是链接结构的问题，而是请求在到达服务器前就被 WAF、CDN 或主机商的防爬规则拦下了。本文说明如何区分 robots 屏蔽、服务器拒绝和拦截规则，怎么核对拦截原因，以及放行后要按什么顺序恢复抓取。