做蜘蛛池的时候，很多人把注意力放在入口頁本身——内容、结构、更新频率都調過了，日誌里却還是不热闹。這时候不一定是頁面出了問题，而是請求在到達頁面之前就被挡掉了。CDN 和 WAF 處在服務器前面，它們只認“像不像異常流量”，不認“你是搜尋引擎蜘蛛”，誤伤是常有的事。
被誤伤时的常见表現
- 蜘蛛日誌里長時間只有零星几條，或者干脆归零，但其他监测工具的請求一切正常。
- 換一個 IP 或換一段解析，抓取量突然回暖。
- 同一批入口頁，部分正常、部分完全没有動静，通常和节点分布有關。
- 返回碼集中在 403、429、503，個別情况是 200，但拿到的内容是一張驗證頁。
CDN 层的几個誤伤点
CDN 的預設配置大多偏向“防護”，對蜘蛛並不友好：
- 频率限制：同一 IP 短時間内的大量請求會被判定為異常。蜘蛛從固定出口 IP 抓取大量頁面，很容易触發這條。
- 人机校驗：部分节点會對可疑請求下發 JS 挑战或驗證碼頁。蜘蛛不执行 JS，拿到的就是一張空壳頁。
- 地理位置與 IP 段封禁：蜘蛛出口 IP 的归属地相對固定，如果恰好落在节点屏蔽名單里，請求會被直接拒掉。
- 回源失敗被掩盖：源站出問题时，CDN 返回自己的错誤頁，日誌里看不到真實原因。
WAF 层的誤伤点
WAF 的規則基于特征匹配，批量模板站容易出現“看起来很可疑”的特征：
- URL 里带大量參數，或者看�上去像随机字符串的路径。
- 請求头過于统一，缺少常见的浏览器头字段。
- 同一個 UA 在极短時間内請求大量路径。
另外，有些 WAF 會把蜘蛛 UA 列入“可伪造名單”，預設不信任，對這類請求反而更嚴格。
怎么確認問题出在安全策略上
- 用带蜘蛛 UA 的請求直接测入口頁，看响應碼和响應体，再和浏览器訪問的结果做對比。
- 绕過 CDN，直接绑定源站 IP 訪問。如果正常，說明問题出在前面一层。
- 查看 CDN 或 WAF 的拦截日誌，多數平台會记錄被拦原因，例如“频率超限”“規則命中”。
- 對比多個 IP 的结果。如果只是某一批被封，說明是 IP 段級別的問题，而不是頁面本身的問题。
調整思路
- 驗證来源後放行：通過反向 DNS 或官方 IP 段列表確認来源，再對確認過的段做白名單。不要只凭 UA 放行。
- 放宽频率阈值：针對已確認的蜘蛛出口 IP，單獨設定更高的速率上限，或让這部分請求跳過频率規則。
- 單獨的解析线路：條件允许的话，可以让入口頁的一部分解析不经過 WAF，专门用来承接蜘蛛請求。
- 關掉對蜘蛛的 JS 挑战：入口頁本身不该依赖 JS 渲染，安全层也不该给不执行 JS 的客戶端發挑战頁。
驗證来源，比“看到一個叫 Googlebot 的 UA 就放行”重要得多。UA 是最容易伪造的東西，白名單寫错等于给自己開了個口子。
几点使用建议
- 上线前先做一次“蜘蛛视角”的訪問測試，確認响應碼、响應体和响應头都正常。
- 把安全策略的調整记錄在案，否則以後排查問题时，没人知道曾经改過什么。
- 不要為了“让蜘蛛好過”就整体關掉防護，只针對確認過的来源做例外。
- 抓取量異常下降时，先看安全层，再回头看頁面和内容。顺序反了會浪費很多時間。
入口頁做得再细，請求進不来也是白搭。CDN 和 WAF 是容易被忽略的一环，但它們往往决定了蜘蛛看到的到底是你精心准备的頁面，還是一張驗證碼截图。