聊 URL 发现，很多人第一反应是内链、站点地图、canonical 这些站内的事。但实际运营中，有一类问题更常见：链接结构没问题，页面也提交了，蜘蛛却迟迟不来。原因常常不在站内，而在于请求到达源站之前，就已经在 CDN 或 WAF 那一层被拦掉了。
先看表象：抓取量为什么会突然掉
当边缘层开始拦截爬虫时，日志和后台通常会有几个信号：
- 源站日志里来自搜索引擎的请求明显减少，但站点页面数量没变；
- 抓取统计中出现较多 403、429 或 5xx；
- 部分目录能抓、部分目录不能抓，差异往往和路径、参数有关；
- 同一批 URL 白天正常，夜间高峰期大量失败。
这些信号容易被误判成“内容质量不行”或“权重不够”，于是有人转向蜘蛛池去补抓取量。方向其实反了：入口被堵住，再多外部流量也是撞墙。
CDN 和 WAF 常见的三类误伤
1. 缓存规则把动态页当静态页处理
带参数的列表页、分页页如果被长时间缓存，蜘蛛拿到的可能是过期内容或错误跳转；反过来，如果所有请求都强制回源、不做缓存，源站压力上来后响应变慢，抓取超时也会让蜘蛛提前离开。分页、筛选这类动态 URL，最好单独设规则，明确哪些缓存、缓存多久。
2. 频率限制与 UA 识别
不少防护策略默认“短时间大量请求就是攻击”，而搜索引擎爬虫的抓取特征恰好就是短时间大量请求。如果只按 IP 频次做限制，很容易把正常抓取一起限流。更稳妥的做法是结合 UA 校验、反向 DNS 验证，给已知爬虫单独放行，同时保留合理的频率上限。
3. 安全策略误伤链接密集的页面
频道页、标签聚合页、站点地图页这类链接数量多的页面，有时会触发“疑似采集”的规则而被挑战，比如验证码或 JS 挑战。蜘蛛遇到挑战页拿不到内容，这条链接通道就等于断了。
怎么验证和排查
- 对照时间线：把抓取量下降的时间点和 CDN/WAF 规则变更记录对齐，很多问题一目了然。
- 看源站日志：如果源站根本收不到爬虫请求，问题在边缘；如果收得到但状态码异常，问题在源站或回源链路。
- 模拟抓取：用与爬虫一致的 UA 和访问路径发一次请求，看返回的是内容页、挑战页还是跳转。
- 分级放行：对已验证的爬虫 IP 段单独设置策略，而不是整体关闭防护。
- 保留回滚：规则调整后观察一到两周，确认抓取趋势稳定再固化。
运营层面值得养成的几个习惯
- 新增栏目或改版前，先确认新路径的抓取策略已放行；
- 把 CDN/WAF 变更也纳入改版检查清单，和 robots.txt、站点地图一起过一遍；
- 定期比对边缘层与源站的日志，找出只在一侧出现的异常；
- 对分页、筛选、搜索结果的 URL，提前规划缓存与放行策略，别等出问题再补。
URL 发现是一条链路：链接被写出来、路径可达、请求能穿过边缘层、源站正常响应，缺一环都不成立。多数情况下，先把这条链路检查通畅，再考虑用外部手段加抓取，顺序会顺很多。