不少站点的抓取量會在接入 CDN、WAF 或安全插件之後悄悄下滑，頁面本身没有报错，内容也没動過。常见原因不是结构或内容出了問题，而是安全策略把搜尋蜘蛛和真實訪客一起当成可疑流量拦掉了。這類問题在日誌里通常只留下 403、429 這類狀態碼，不主動排查很难發現。
容易被誤拦的几種情况
- UA 黑名單一刀切：為了挡采集器，把含 bot、spider、crawler 的 UA 全部拒绝，正規蜘蛛也被一並拦下。
- 限速阈值過嚴：單 IP 每秒請求數设得太低，蜘蛛短時間集中抓取就触發 429 或人机校驗。
- IP 段封禁過宽：為挡住某批攻击 IP 直接封掉整個机房網段，恰好覆盖了蜘蛛的出口地址。
- 只認 UA 不認 IP：伪造 UA 的爬虫被放過，真正的蜘蛛因為缺少 IP 驗證反而被誤伤。
- 驗證碼與 JS 挑战：人机校驗頁拦住蜘蛛，抓到的是一張挑战頁而不是正文。
- 規則誤伤静態资源：只放行了 HTML，CSS、JS、图片仍被拦，頁面渲染和抓取质量都會受影响。
逐項自查步骤
- 拉取服務器與 CDN 日誌，統計 403、429、503 的比例，按 UA 和 IP 分组，先找出被拦最多的来源。
- 對照主流搜尋引擎官方公布的蜘蛛 IP 段或驗證方式，检查這些来源是否在放行名單内。
- 用命令行工具带上蜘蛛 UA 請求几個關键頁面，對比返回狀態碼、响應体長度與普通訪客是否一致。
- 查看 CDN、WAF 與安全插件的規則變更记錄，確認策略調整時間是否與抓取量下滑吻合。
- 在搜尋资源平台查看抓取統計和抓取異常提示，交叉判断是超时、被拒還是解析失敗。
- 检查 robots.txt 與安全規則是否互相矛盾，例如 robots 允许抓取但防火墙仍然拒绝。
如何驗證蜘蛛身份
單看 UA 字符串並不够，因為它可以随意伪造。更稳妥的做法是组合驗證：先看請求 IP 是否落在官方公布的網段内，再對 IP 做反向 DNS 解析，確認域名归属，必要时再對解析出的主机名做一次正向解析，看是否能回到同一個 IP。只有双向都對得上，才值得進入放行名單。
對于没有公開 IP 段的来源，可以观察它在日誌中的行為特征：是否稳定請求 robots.txt、是否按 sitemap 顺序抓取、是否遵守 crawl-delay。這些特征不能單獨作為放行依據，但可以作為辅助判断。
調整时的几個原則
- 放行規則尽量建立在 IP 段加反向 DNS 驗證之上，而不是只匹配 UA 關键字。
- 给蜘蛛單獨設定一档限速，或走獨立策略，不要和普通用戶共用同一套阈值。
- 把驗證碼、JS 挑战排除在蜘蛛訪問路径之外，至少保證正文頁直出可讀。
- 不要為了放行而長期關閉整站防護，改為精细放行，避免把安全風險換成抓取問题。
- 調整後保留規則备份，出現異常时可以快速回滚到上一版。
日常维護建议
把 403、429 比例和蜘蛛抓取量放進同一張监控面板，出現異常时两邊可以互相印證。每次調整防火墙、CDN 或安全插件規則後，留出一天观察抓取日誌，確認没有连带影响。換 CDN 节点、迁移服務器、升級安全组件之後，也要重新確認一遍放行規則是否仍然有效。
這類自查不需要频繁做，但最好固定成节奏：規則變更後查一次，每月例行查一次。抓取量下滑的原因通常不止一個，先把明顯的人為拦截排掉，再去看响應時間、内容质量這些更复杂的方向，排查效率會高很多。
安全策略的目标是拦掉坏流量，不是拦掉所有流量。判断标准很直接：真蜘蛛能拿到和用戶一样的頁面，規則才算合格。