入口页内容正常、链接可访问、状态码也没问题，但日志里长期看不到搜索蜘蛛——这种情况很多时候不是“蜘蛛不来”，而是请求在到达入口页之前就被 CDN、WAF 或主机防火墙挡掉了。要定位问题，需要按从外到内的顺序逐层确认。
搜索蜘蛛到入口页之间要经过哪些层
一次抓取请求通常要穿过下面几层，任意一层返回非预期响应，蜘蛛拿到的都不是你的入口页：
- CDN 节点：默认开启的机器人挑战、地区限制、按 IP 的速率限制。
- WAF：UA 黑名单、请求头缺失判定、参数关键词规则。
- 源站防火墙或安全组：只放行白名单 IP，其余直接丢弃或拒绝。
- 应用层：同一 IP 高频访问触发限流，或需要执行 JS 才能通过验证。
这几层都可能给出“看起来正常”的响应，所以单看日志条数容易误判。
被拦截时常见的几种表现
- 访问日志里几乎没有搜索蜘蛛 UA，或者只有零星几条。
- 返回 403、406、429、503，而不是入口页的 200。
- 返回 200，但内容是验证码页、跳转脚本或“正在检查浏览器”的中间页。
- 同一时间你自己的浏览器能打开，用蜘蛛 UA 就失败，说明差异来自规则判定。
- 间歇性失败：访问频率稍高就被限流，低频率时又能通过。
一套可操作的排查步骤
- 核对官方 IP。先从搜索引擎官方文档获取蜘蛛 IP 段，确认日志里出现的 IP 是否真的属于该引擎，避免把伪装爬虫当证据。
- 复现请求。用命令行请求入口页，带上蜘蛛 UA 和常见请求头，观察状态码、响应头和正文长度。
- 切换对比。同一时间分别用蜘蛛 UA、浏览器 UA 和空 UA 请求，若只有蜘蛛 UA 或空 UA 被拦，基本可以锁定 WAF 规则。
- 绕过 CDN 直连源站。用源站 IP 加 Host 头请求。直连正常、走 CDN 失败，问题就在 CDN 侧。
- 查看拦截日志。CDN 和 WAF 后台一般有拦截事件记录，能看到命中哪条规则、返回什么状态码。
- 压一下频率。短时间内连续请求同一入口页，看是否在某个次数后开始返回 429，用以判断限流阈值。
确认后可以怎么处理
方向取决于拦住的是哪一层。CDN 或 WAF 侧通常需要把搜索蜘蛛的官方 IP 段加入放行名单，并关闭针对入口页的机器人挑战与 JS 验证；源站防火墙则要把对应 IP 段加进白名单，同时保留对其他来源的限制。频率限制建议按入口页的实际抓取量留出余量，避免蜘蛛正常访问就触发限流。
另外，入口页如果用了较多静态资源或跳转，尽量保证首屏 HTML 直接包含目标链接，不要让蜘蛛必须执行脚本才能拿到内容。多层防护同时开的时候，改完一层记得复测，否则很容易出现“改好了但没生效”的错觉。
拦截问题排查的核心是分层验证：先确认请求到没到源站，再看响应是否符合预期。把“蜘蛛没来”和“来了被挡”分开，后续优化才有明确方向。