做蜘蛛池投放时，一个常被忽略的问题是：入口页本身被 CDN、WAF、人机验证或访问频率限制挡住，搜索蜘蛛根本没拿到页面。表面上看投放还在跑，实际抓取请求被挡在门外。
先分清：挡的是访客还是蜘蛛
安全防护大多按两套逻辑工作：一套按请求特征（User-Agent、爬虫 IP 段、反向 DNS），一套按访问行为（频率、来源、Cookie、是否执行 JS）。前者能精确放行搜索蜘蛛，后者往往一视同仁，连蜘蛛一起拦。
- 按 UA 拦截：放行规则写对了影响不大，写错了整段被挡。
- 按频率拦截：蜘蛛短时间内集中抓取入口页，很可能触发限流，返回 429 或 503。
- 人机验证：返回验证页或 JS 挑战，能执行脚本的蜘蛛可能通过，不能执行的直接拿不到内容。
常见的拦截表现
- 403：规则直接拒绝，蜘蛛记下这次失败。
- 429 / 503：多为限流或防护触发，短期可恢复，频繁出现会降低抓取意愿。
- 200 但内容是验证页：最隐蔽的一种，蜘蛛拿到的是「请稍候」页面，入口页的链接自然也就没了。
- 回源失败：CDN 节点缓存了错误状态，蜘蛛看到的一直是旧结果。
怎么判断是不是被拦了
- 看服务器和 CDN 的回源日志，按状态码过滤，确认搜索蜘蛛请求的返回情况。
- 用站长平台提供的抓取诊断或抓取测试功能，走一遍真实抓取链路。
- 对比「蜘蛛 UA 访问」和「普通浏览器访问」的结果，差异明显就说明规则在起作用。
- 注意 UA 可以伪造，单看 UA 容易误判，尽量结合请求来源和日志里的 IP 段判断。
处理思路
- 优先按官方公布的爬虫 IP 段或反向 DNS 做白名单，而不是只放行 UA 字符串。
- 把入口页从人机验证、滑块、JS 挑战的覆盖范围里排除。
- 如果确实要限流，给搜索蜘蛛单独放宽阈值，或者把入口页做成静态页面绕过动态防护。
- 确认 CDN 回源正常，必要时刷新缓存，避免旧状态码一直对外。
- 如果这个域名或路径的防护策略改不动，换一个可公开访问的页面做入口，比硬扛更省事。
防护的目的不是拦蜘蛛，而是拦异常流量。把搜索蜘蛛当成正常访客放行，入口页才有可能被正常抓取。
几个容易踩的坑
- 只放行了 UA，没放行 IP 段，结果真实抓取仍被挡。
- 入口页返回 200，但正文是验证内容或跳转脚本，蜘蛛等于没看到链接。
- 防护规则开了以后没复查，抓取量掉了还在找别的原因。
- 把目标 URL 也一起上了强防护，即使入口页通过，后续抓取仍会被拦。
一句话总结：投放链路里，入口页必须能被无障碍地拿到 200 状态和完整 HTML。防护策略可以先在目标页或业务层做，但不要卡在发现链路的入口上。