蜘蛛池跑了一段时间，日志里能翻到蜘蛛的 UA，但入口页的访问记录大多是 403、429 或 503。这类情况通常不是蜘蛛没来，而是它来了之后被中途挡掉了。入口页是蜘蛛进入池子的第一站，这一步被拦，后面的链接层级设计得再合理也没有意义。
先分清“没来”和“来了被挡”
这两种情况处理方向完全不同。把日志按 UA 和状态码做一次交叉统计：如果带蜘蛛 UA 的请求不少，但状态码集中在 403、429、503，那就是被拦；如果连带蜘蛛 UA 的请求都很少，问题在发现环节，跟防护配置没关系。前者去查中间的拦截层，后者去查入口页本身有没有被外部链接指向、有没有提交给搜索入口。
常见的拦截来源
- CDN 的爬虫校验与 Bot 管理：部分节点会把疑似爬虫的请求拉去做 JS 挑战或验证码，蜘蛛拿到的是挑战页而不是正常 HTML。
- WAF 规则误判：路径里带连续数字目录、参数过长、短时间访问大量相似 URL，都容易被判成扫描行为。
- 服务器限速与连接数限制：同一 IP 短时间内请求量偏大，可能触发 fail2ban、mod_evasive 一类的自动封禁。
- 源站防火墙 IP 黑名单：机房段或共享 IP 被拉黑，同一台机器上的其他站点会一起受影响。
- 地区或境外访问限制：只放行特定地域，而蜘蛛的抓取节点分布在多地，部分请求会被直接拒掉。
排查顺序
- 拉一段完整日志，按状态码和 UA 分组统计。403 多半是规则拦截，429 是限速，503 是源站过载或主动拒绝，三类原因不一样。
- 用带蜘蛛 UA 的请求手工访问入口页，看返回的是真实 HTML、挑战页还是空内容。注意 UA 只能用来复现访客视角，不能证明对方真是蜘蛛。
- 做反向 DNS 验证：真正的搜索蜘蛛，其 IP 反向解析一般能回指到官方域名，再做一次正向解析确认是否一致。
- 临时绕过 CDN 或 WAF 直连源站访问同一个 URL，如果直连正常，问题就在中间层。
- 看一下同 IP 段上其他域名的请求特征，判断是不是邻居站点的行为连带影响了自己的入口页。
处理思路
- 在 CDN 或 WAF 里把已验证的蜘蛛 IP 段加入放行名单，而不是只按 UA 放行。UA 可以伪造，IP 段相对可靠一些。
- 入口页路径尽量规整，避免出现 /1、/2、/3 这种连续数字目录，也不要在 URL 上堆无用参数，降低被规则误判的概率。
- 降低单个域名的并发请求量，把铺量节奏放慢；同一 IP 上不要挂太多入口页域名。
- 对蜘蛛返回的页面保持稳定，同一个 URL 不要今天 200、明天跳到验证码页，反复异常的地址会被降低访问意愿。
- 准备备用入口域名或备用节点，主站被拦时至少还有一条路径可用。
几个容易踩的坑
一是把“被挡住了”当成“蜘蛛不喜欢”，然后在内容上反复折腾，问题始终没解决；二是为了通过校验给所有 UA 放行，结果采集和扫描流量也一起放进来了；三是只盯着入口页，忽略了目标页所在服务器也在同一套防护后面，入口通了、往下爬还是断。
拦截问题处理完，抓取是否真的恢复仍然要看日志确认。某天 200 变多不代表池子已经稳了，需要连续观察几天的状态码分布和访问深度。