入口页能被搜索蜘蛛正常抓取，链接也规规矩矩写在 a 标签里，可目标 URL 就是一直没动静。这种情况下很多人会回头改入口页，其实问题往往不在入口页，而在目标 URL 的“门口”——CDN 或 WAF 把它挡住了。搜索蜘蛛本质上也是一个 HTTP 客户端，遇到拦截同样拿不到内容。
先分清：发现和抓取是两件事
入口页上的链接只完成“发现”这一步。能不能真正读到内容，取决于目标 URL 返回的状态码和响应体。CDN、WAF 的拦截通常表现为 403、405、429、503，或者更隐蔽的一种：返回 200，但内容是验证页、挑战页或一段空壳。前几种会让蜘蛛把这次抓取记为失败；后一种更麻烦，因为状态码看起来正常，实际正文并不存在。
状态码 200 不等于抓到了内容，先看响应体是不是真正的页面。
常见的拦截形态
- 按 UA 或 IP 拦截：只放行浏览器 UA，搜索蜘蛛 UA 直接吃 403。
- JS 挑战：返回 200，需要执行脚本后才跳转，蜘蛛一般不会执行。
- 频率限制：同一 IP 段短时间请求偏多，触发 429 或 503。
- 地域限制：某些节点能访问，目标机房所在区域被规则挡住。
- 缓存了拦截结果：CDN 把 403 或挑战页缓存下来，后续正常请求也拿到同一份。
怎么确认是被拦了
- 看源站访问日志，按搜索蜘蛛的 UA 与其官方 IP 段筛一遍，确认请求有没有到达源站。
- 用命令行工具带搜索蜘蛛 UA 请求目标 URL，再和普通浏览器 UA 的结果对比，看状态码与响应体差异。
- 查 CDN/WAF 后台的拦截日志和命中规则，确认是否存在 UA 黑名单、Bot 规则或频率阈值。
- 把入口页日志和目标 URL 日志放在一起看：入口页能进、目标 URL 长期 403 或 503，基本可以定位在目标端的访问控制。
处理思路
- 把已确认的搜索引擎 IP 段加入白名单，或按官方提供的反向 DNS 验证方式放行，比只看 UA 更可靠，因为 UA 可以伪造。
- 为爬虫单独走一条不触发 JS 挑战的规则，避免验证页把正文顶掉。
- 检查频率限制是否过紧，蜘蛛的并发节奏可能刚好踩在阈值上。
- 清理 CDN 上被缓存的错误响应，并设置不要缓存 4xx、5xx。
- 顺带确认 robots.txt 没有额外屏蔽，两处叠加会互相掩盖问题。
被拦之后有哪些连带影响
目标 URL 反复失败，会让蜘蛛降低对该路径的抓取频率，甚至在一段时间内不再尝试。如果入口页本身也被拦，页面里的其他链接会一起失去被发现的机会。这通常不是“惩罚”，而是资源分配的结果。反过来，如果只有目标 URL 被拦、入口页正常，链接的发现记录一般还会保留，但这并不代表之后一定会被重新抓取，更不构成收录保证。
几个容易忽略的细节
- 有些 WAF 对 HEAD 请求放行、对 GET 拦截，只测一种方法容易误判。
- 首页规则正常不代表内页正常，规则常按路径或参数单独配置。
- 蜘蛛 UA 被滥用后，服务端可能对整段 UA 做拦截，需要配合官方 IP 段一起判断。
- 抓取失败在日志里也可能显示为连接重置或超时，看起来不像“拦截”。
排查顺序建议从日志开始，先分清是“没来抓”还是“来了没拿到”。日志里连请求都没有，问题在发现和调度层面；请求到了但返回异常，问题在目标端的访问控制。把这两层分开看，绝大多数“入口页没问题、目标 URL 却没动静”的情况都能找到落点。