投放蜘蛛池之後，抓取记錄從每天几百掉到個位數，很多人第一反應是“蜘蛛池没用了”。但實际排查下来，相当一部分情况是站点這一侧的網絡层出了問题：CDN 或 WAF 把搜尋蜘蛛拦在了门外，請求根本没走到應用服務器。
先分清是“没發現”還是“没進来”
這两種情况表現很像，處理方式却完全不同：
- 没發現：搜尋蜘蛛压根不知道存在這個 URL，日誌里找不到任何相關請求。
- 没進来：請求發出過，但在 DNS、CDN、WAF 或负载均衡這一层就被挡掉，源站日誌看不到，或者只零星留下几條 403、429。
判断的關键是分层看日誌。源站日誌一片空白，不代表蜘蛛没来，也可能只是没走到源站。
怎么確認是被拦截
- 用命令行工具带上搜尋蜘蛛的 UA 去請求自己的 URL，看返回碼和返回内容。重点看狀態碼是不是 403、429、503，返回的是驗證頁、JS 跳轉頁，還是正常 HTML。
- 做几组對照：正常浏览器 UA、蜘蛛 UA、空 UA。如果只有蜘蛛 UA 被拦，基本可以判断是爬虫規則命中。
- 到 CDN 或 WAF 控制台看拦截日誌，通常能看到命中規則名、拦截原因和触發時間，比源站日誌更直接。
- 观察拦截量随時間的變化曲线。如果拦截次數在投放时段明顯上涨，說明投放节奏本身触發了频率限制。
站長平台的抓取測試工具经常走白名單通道，测出来正常不代表真實抓取不被拦，两者要分開看。
常见的几類誤伤
- 频率阈值设得太低：蜘蛛池短時間内對同一域名發起大量請求，直接触發限流或临时封禁。
- 云厂商的爬虫防護預設開啟：開通 CDN 时顺手勾選了 Bot 管理，規則更新後誤伤搜尋蜘蛛。
- IP 信誉连坐：同 IP 段或同 C 段的其他站点被刷過，整段進了黑名單。
- JS 挑战頁：返回 200，但内容是驗證脚本，搜尋蜘蛛拿不到正文，效果等同于没抓到。
- 静態资源被拦：只放行了 HTML，把 CSS、JS 全拦掉，頁面渲染不完整，抓取质量也會下降。
處理顺序建议
- 先確認拦截發生在哪一层，不要一上来就大改 WAF 規則。
- 核對真實搜尋蜘蛛的 IP 段（各搜尋引擎會公布官方 IP 列表），按 IP 放行比按 UA 放行可靠，因為 UA 可以伪造。
- 把限流阈值調到合理区間，同时對 sitemap、robots.txt 和静態资源單獨放行。
- 調整蜘蛛池的投放节奏，降低單位時間内的請求密度，观察两三天的抓取量變化。
- 如果站点本身存在整站降權或大面积不收錄，網絡层放行只是恢复抓取的前提，最终能否收錄仍取决于内容與站点质量。
抓取量骤降时，建议按 DNS/CDN → WAF → 應用 → 源站日誌的顺序逐层排查。很多“蜘蛛池失效”的结论，其實是中間某一层悄悄改了規則。