網站被恶意請求骚扰的时候，多數人第一反應是把防護等級調高：加 WAF 規則、加频率限制、拉黑一批 UA。這些動作本身没错，問题在于搜尋蜘蛛的抓取行為和攻击流量在服務器眼里常常長得很像——都是短時間大量請求、都是陌生 IP、都可能出現同一個 UA 反复訪問。防護一收紧，蜘蛛可能就一起被挡在门外，而你在後台看到的只是抓取量下降，很难第一時間联想到防火墙。
安全策略誤伤蜘蛛的几種典型情况
- UA 黑名單做得太粗。有的規則直接屏蔽包含 bot、spider 字样的請求，正常的搜尋蜘蛛自然中招。
- 频率限制阈值過低。站点小、服務器弱，于是把單 IP 每分钟請求數压得很低，蜘蛛正常抓取就被判定為攻击。
- CDN 或云防護的 Bot 管理預設拦截。開啟了挑战或人机驗證，但没把已知搜尋引擎加進白名單。
- IP 段封禁范围過大。為了挡住某一片垃圾流量，顺手封了整個網段，搜尋引擎的出口 IP 可能就在里面。
- 服務器层的自動封禁工具。這類工具通常只看請求频率，不看請求是谁發出来的。
先確認，再改規則
動手調整之前，最好先拿到證據。步骤並不复杂：
- 從服務器訪問日誌或 CDN 日誌里筛出蜘蛛 UA 的记錄，看最後一次成功抓取是什么时候。
- 統計這些請求的狀態碼分布。如果大量是 403、429、503，基本可以判断是拦截，而不是内容或结构問题。
- 對照防護規則的日誌（WAF 拦截记錄、防火墙拦截记錄），看被拦的 IP 里有没有蜘蛛。
- 用搜尋引擎官方的抓取測試工具，或站長後台的抓取诊断，從外部触發一次請求，看返回结果。
注意：日誌里的 UA 是可以伪造的。判断真假蜘蛛，更稳妥的方式是反查 IP 归属，看它是否属于搜尋引擎官方公布的 IP 段，而不是只看 UA 字符串。
調整时的几個做法
- 给已驗證的蜘蛛 IP 段開白名單，優先級高于频率限制和 UA 規則。
- UA 規則尽量精确匹配，避免用模糊的包含匹配一刀切。
- 限速用分层策略：已確認的蜘蛛给較高配額，未知来源给低配額，而不是所有人共用一條线。
- 返回碼要選對。临时拦截用 429 或 503 並带上 Retry-After，別直接返回 403；403 容易被理解為永久拒绝，蜘蛛可能降低抓取频率甚至不再訪問。
- 改完規則後观察一到两周，看抓取量和狀態碼分布是否回到正常区間。
日常维護的一点建议
把“蜘蛛能不能正常訪問”当成一項常規检查，而不是出問题才查。可以固定每周看一次日誌里的蜘蛛請求量和狀態碼，和上周做個简單對比。如果某個栏目突然没有抓取记錄，先看服務器层面有没有異常，再去怀疑内容和内鏈。区分清楚“蜘蛛不想来”和“蜘蛛来不了”，排查方向會清晰很多。
防護和可抓取並不冲突，關键是把搜尋引擎的抓取当成已知的正常流量對待，而不是和其他陌生請求混在一起處理。