目标 URL 能不能被發現，取决于搜尋蜘蛛能不能顺利拿到入口頁里的連結。如果入口頁前面挡了一层 WAF、人机校驗或驗證碼，蜘蛛拿到的往往不是連結列表，而是一張挑战頁。下面按現象、原因、排查、處理四步说清楚。
被拦之後，搜尋蜘蛛通常看到什么
- 直接 403 / 406 / 503：請求在邊缘就被拒绝，源站日誌里根本没有這條记錄。
- 返回 200 但正文是驗證頁：狀態碼正常，内容却是“請完成驗證”或一段脚本，没有目标連結。
- 302 跳到校驗地址：蜘蛛跟過去之後，仍然拿不到入口頁的實际内容。
- 连接被重置或長時間無响應：抓取超时，同样不會产生新的 URL 發現。
為什么驗證碼頁會直接终止發現
搜尋蜘蛛执行 JavaScript 的能力有限，更不會去做滑块、点選、短信驗證這類交互。挑战頁即使返回 200，正文里没有 a 标簽，發現鏈條就断了。
更麻烦的是，抓取预算不是無限的。入口頁反复给出無意义的响應，蜘蛛可能降低這個目錄甚至整個域名的抓取频次，连带影响其他正常頁面的更新检查。
注意：给搜尋蜘蛛放行不等于關掉 WAF。合理的做法是识別出真實蜘蛛流量並單獨放行，而不是把整站防護整体調弱。
從日誌判断到底是拦截還是限速
先把邊缘（CDN / WAF）日誌和源站日誌對齐看，两邊對不上，說明請求根本没到源站。
- 看狀態碼分布：入口頁 URL 上是否集中出現 403、406、429、503。
- 看响應体大小：正常入口頁体积相對固定，挑战頁往往明顯偏小，或者大小固定且内容重复。
- 看 robots.txt：如果连 robots.txt 的抓取都失敗，說明拦截在域名級別，不只是入口頁的問题。
- 看频次曲线：是否在抓取量升到某個阈值之後才開始出現拦截，這是限速而非規則拦截的典型特征。
- 驗證身份：用反向 DNS 或官方公布的 IP 段核對，不要只看 User-Agent，UA 很容易被伪装。
几種常见誤解
- “返回 200 就没事”：狀態碼只說明請求被接受，不代表正文里有連結。
- “換個 UA 就能過”：多數校驗看的是 IP、行為特征和 Cookie，改 UA 反而更容易被判定為異常。
- “偶尔拦一次無所谓”：如果拦截發生在入口頁這個關键节点，一次失敗就少一次發現机會。
處理思路
- 把已驗證的搜尋蜘蛛 IP 段加入白名單，並保留反向 DNS 校驗，防止被伪造流量钻空子。
- 用限速代替挑战：對爬虫流量做 QPS 限制，返回 429 並给出合理間隔，比彈驗證碼更利于後續恢复。
- 入口頁尽量静態輸出，連結直接寫在 HTML 里，不要依赖 JS 渲染後再插入。
- 如果入口頁本身只是被誤判，先改 WAF 規則再谈抓取，不要在拦截狀態下繼續堆連結。
- 把 sitemap 和 URL 提交接口作為並行渠道，减少對單一入口頁的依赖。
恢复期该盯什么
調整規則之後，重点看三件事：入口頁對搜尋蜘蛛的狀態碼是否回到 200 並保持稳定、响應体里是否重新出現目标連結、抓取频次是否在几天内逐步回升。如果只有频次回升而正文仍為空，說明拿到的可能是邊缘缓存下来的挑战頁，需要清理缓存後再观察。
整体上，入口頁被拦截属于發現鏈條的硬中断，靠換 UA 或反复提交收效有限。先把可用性修好，再去谈 URL 發現效率，顺序反了只會浪費精力。