蜘蛛池跑了一段時間，日誌里能翻到蜘蛛的 UA，但入口頁的訪問记錄大多是 403、429 或 503。這類情况通常不是蜘蛛没来，而是它来了之後被中途挡掉了。入口頁是蜘蛛進入池子的第一站，這一步被拦，後面的連結层級设計得再合理也没有意义。
先分清“没来”和“来了被挡”
這两種情况處理方向完全不同。把日誌按 UA 和狀態碼做一次交叉統計：如果带蜘蛛 UA 的請求不少，但狀態碼集中在 403、429、503，那就是被拦；如果连带蜘蛛 UA 的請求都很少，問题在發現环节，跟防護配置没關系。前者去查中間的拦截层，後者去查入口頁本身有没有被外部連結指向、有没有提交给搜尋入口。
常见的拦截来源
- CDN 的爬虫校驗與 Bot 管理：部分节点會把疑似爬虫的請求拉去做 JS 挑战或驗證碼，蜘蛛拿到的是挑战頁而不是正常 HTML。
- WAF 規則誤判：路径里带连續數字目錄、參數過長、短時間訪問大量相似 URL，都容易被判成掃描行為。
- 服務器限速與连接數限制：同一 IP 短時間内請求量偏大，可能触發 fail2ban、mod_evasive 一類的自動封禁。
- 源站防火墙 IP 黑名單：机房段或共享 IP 被拉黑，同一台机器上的其他站点會一起受影响。
- 地区或境外訪問限制：只放行特定地域，而蜘蛛的抓取节点分布在多地，部分請求會被直接拒掉。
排查顺序
- 拉一段完整日誌，按狀態碼和 UA 分组統計。403 多半是規則拦截，429 是限速，503 是源站過载或主動拒绝，三類原因不一样。
- 用带蜘蛛 UA 的請求手工訪問入口頁，看返回的是真實 HTML、挑战頁還是空内容。注意 UA 只能用来复現訪客视角，不能證明對方真是蜘蛛。
- 做反向 DNS 驗證：真正的搜尋蜘蛛，其 IP 反向解析一般能回指到官方域名，再做一次正向解析確認是否一致。
- 临时绕過 CDN 或 WAF 直连源站訪問同一個 URL，如果直连正常，問题就在中間层。
- 看一下同 IP 段上其他域名的請求特征，判断是不是邻居站点的行為连带影响了自己的入口頁。
處理思路
- 在 CDN 或 WAF 里把已驗證的蜘蛛 IP 段加入放行名單，而不是只按 UA 放行。UA 可以伪造，IP 段相對可靠一些。
- 入口頁路径尽量規整，避免出現 /1、/2、/3 這種连續數字目錄，也不要在 URL 上堆無用參數，降低被規則誤判的概率。
- 降低單個域名的並發請求量，把铺量节奏放慢；同一 IP 上不要挂太多入口頁域名。
- 對蜘蛛返回的頁面保持稳定，同一個 URL 不要今天 200、明天跳到驗證碼頁，反复異常的地址會被降低訪問意愿。
- 准备备用入口域名或备用节点，主站被拦时至少還有一條路径可用。
几個容易踩的坑
一是把“被挡住了”当成“蜘蛛不喜欢”，然後在内容上反复折腾，問题始终没解决；二是為了通過校驗给所有 UA 放行，结果采集和掃描流量也一起放進来了；三是只盯着入口頁，忽略了目标頁所在服務器也在同一套防護後面，入口通了、往下爬還是断。
拦截問题處理完，抓取是否真的恢复仍然要看日誌確認。某天 200 變多不代表池子已经稳了，需要连續观察几天的狀態碼分布和訪問深度。