搭好蜘蛛池之后，一个常见的困惑是：日志里明明有爬虫来访的痕迹，但入口页的抓取量、目标页的发现量都上不去。这时候不一定是池子本身出了问题，很可能是入口页前面那层 CDN 或 WAF 把请求拦掉了。爬虫看到的可能是 403、429、一个验证页面，甚至是一段空壳 HTML，而这些在源站日志里往往只留下一行状态码。
为什么这类问题容易被忽略
因为拦截发生在边缘节点，源站看到的请求本来就已经被过滤过一轮。不少 CDN 默认开启安全防护或 Bot 管理，会对来源 IP、请求频率、User-Agent、请求头完整性做评分，评分低的直接进入挑战流程。浏览器能执行 JS 通过验证，而多数搜索引擎爬虫不会执行这类脚本，结果就是访问被终止在半路。你从源站日志看不到异常，只能看到抓取量偏低。
常见的四类拦截来源
速率限制
同一 IP 或同一网段在短时间内产生大量请求，容易被判定为异常流量。蜘蛛池的入口页如果集中在少数 IP 上，又恰逢爬虫集中来访，就会触发这类规则。典型表现是 429，或者前几十次正常、之后开始返回挑战页。
UA 与 IP 名单
有些规则把非主流 UA、空 UA，以及大量来自机房 ASN 的 IP 直接标记为可疑。蜘蛛池常用 VPS 与机房 IP，命中名单后就会被降权或阻断。需要注意，搜索引擎官方爬虫的 IP 段通常可以反查验证，而很多规则只匹配 UA 字符串，既容易误伤正常流量，也容易被伪造绕过。
JS 挑战与验证码
这是最难处理的一类。页面状态码是 200，但返回内容是“请稍候”或滑块验证。爬虫拿到的是一个空壳页，既读不到正文，也拿不到链接，入口页等于白建。判断方法是用不执行 JS 的抓取工具请求一次，和浏览器中看到的内容做对比。
地区与节点策略
部分 CDN 的节点策略、地域封禁、海外访问限制，会让特定来源的请求直接被拒。如果爬虫来源地区与你的防护策略正好冲突，就会出现人访问正常、爬虫访问异常的情况。
一个可执行的排查顺序
- 用不带 JS、不带 Cookie 的请求模拟爬虫，看返回的状态码和正文。
- 对比源站直连与经过 CDN 的返回差异，先确认问题出在哪一层。
- 查 CDN 或 WAF 的拦截日志，按 URL、来源 IP、UA、命中规则去筛。
- 检查是否命中速率规则，把请求时间拉开后再试一次。
- 核对白名单是按搜索引擎 IP 段配置，还是只匹配了 UA 字符串。
放行时要注意的几点
- 优先按 IP 段放行，而不是只放行某个 UA，避免规则被伪造滥用。
- 放行范围尽量收窄到入口页路径，不要为了省事把整站防护一次关掉。
- 缓存策略与挑战策略分开设置，静态入口页可以走缓存，挑战不要套在爬虫路径上。
- 改完规则后留出观察期，用抓取日志确认状态码分布是否恢复正常。
- 保留变更记录，一次只调整一个变量，否则很难判断是哪条规则起了作用。
需要提醒的是，把拦截问题解决掉，只是让门重新打开。抓取能不能进一步转化成收录和排名，仍然取决于目标页本身的内容质量与站点整体表现，CDN 与 WAF 不负责后面的结果。
蜘蛛池的很多问题，最后都会回到“请求有没有正常到达”。在下判断说池子没效果之前，先用一次干净的模拟请求确认链路通畅，往往能省下不少来回折腾的时间。