做蜘蛛池时，很多人的注意力都在入口頁怎么寫、連結怎么排，却很少回头看自己服務器上的風控配置。结果常常是頁面没改、連結没動，蜘蛛来訪量却突然掉了一半——問题出在机房或 CDN 那一层。
哪些風控規則最容易誤伤搜尋蜘蛛
下面這些規則單獨看都很合理，组合起来却可能把蜘蛛也一起拦掉。
- 單 IP 频率限制：例如“同一 IP 每分钟超過若干次請求就封”。蜘蛛從單個出口 IP 高並發抓取是常態，很容易触發阈值。
- UA 黑名單：為了挡采集器，把含 bot、spider 字样的 UA 一律拒掉，搜尋蜘蛛的 UA 正好在里面。
- JS 挑战與驗證碼：人机校驗依赖脚本执行和 Cookie，蜘蛛一般不执行脚本，直接被卡在挑战頁。
- 云厂商 IP 段封禁：為防刷整段拉黑某些机房 IP，而蜘蛛的出口段也可能落在其中。
- Referer 與 Cookie 校驗：要求带特定来源或會话才能訪問，蜘蛛首次来訪通常两样都没有。
為什么蜘蛛這么容易被誤判
核心原因是蜘蛛的行為特征和“異常流量”高度重合：請求密集、不执行脚本、不带 Cookie、来源 IP 集中且不固定。不少風控系統看的是流量形状而不是身份，只要形状像，就先拦下来再说。
更麻烦的是，有的配置返回的是驗證碼頁面而不是 403。蜘蛛拿到的是一個 200 狀態的挑战頁，它不會去解驗證碼，只會把這個 URL 当成“内容就是這样”，之後可能長期不再来。
排查顺序
- 先看狀態碼分布：把訪問日誌按狀態碼統計，如果 403、429、503 的比例突然升高，基本可以确定是風控层在起作用。
- 再對 UA 與 IP 做交叉驗證：把被拦的 UA 和對應 IP 段列出来，對照官方公布的蜘蛛 IP 列表，看是否重合。
- 做一次放行測試：临时對某個入口頁關閉限流，观察抓取是否恢复，用来確認因果關系。
- 检查 CDN 與 WAF 配置：很多拦截發生在源站之前，源站日誌里根本看不到，需要到 CDN 侧確認 bot 管理與速率限制的開關。
更稳妥的限流思路
- 用 UA 加反向解析 双重校驗，而不是單看 UA。UA 可以伪造，但解析结果對得上，可信度就高很多。
- 把搜尋蜘蛛放進白名單，對白名單只做宽松限速，不做封禁。
- 需要限速时返回 429 並附带 Retry-After，比直接 403 更友好，蜘蛛會按提示退避而不是直接放弃。
- 静態资源與 HTML 分開限速。图片、样式的抓取量大但不影响内容判断，没必要和頁面共用同一個阈值。
- 阈值留出余量，別贴着蜘蛛的峰值来设。抓取高峰和低峰的差距可能有几倍。
風控的目标是挡掉異常流量，而不是挡掉所有不認识的流量。把搜尋蜘蛛和采集器区分開，靠的是行為與来源的交叉判断，而不是一條 UA 規則。
小结
蜘蛛池的入口頁做得再干净，只要服務器或 CDN 上有一层不合适的風控，蜘蛛一样進不来。上线前花几分钟检查一遍限流規則，把搜尋蜘蛛從黑名單里拿出来、放進白名單並留出退避通道，往往比反复調整頁面结构更有效。同时也要记得，蜘蛛池只是 URL 發現通道中的一环，頁面本身的质量與可訪問性才是長期起作用的因素。