蜘蛛池的入口頁通常數量不少，如果蜘蛛来得太密，带宽、CPU、資料库连接都會被占用，入口頁响應變慢，反而影响後續抓取。與其等服務器扛不住再處理，不如提前想清楚抓取频次该怎么控制。需要說明的是，控制频次的目标是让蜘蛛稳定地發現 URL，而不是把它挡在门外。
為什么入口頁需要控制抓取频次
入口頁的作用是给蜘蛛提供發現路径，頁面本身不一定承载大量内容。当蜘蛛高频訪問同一批入口頁时，會出現几個問题：
- 服務器资源被重复請求消耗，正常用戶的訪問也可能變慢；
- 蜘蛛把時間花在低價值頁面上，真正的目标頁面反而被拖延；
- 日誌被大量重复抓取记錄淹没，不利于判断哪些入口頁有效。
因此，控制频次不是為了让蜘蛛少来，而是让它来得有节奏、有重点。
crawl-delay 能做什么，不能做什么
crawl-delay 寫在 robots.txt 中，用来建议蜘蛛两次請求之間至少間隔多少秒。它属于建议而非强制指令，不同搜尋引擎的支持程度並不一致。Google 官方不把它当作标准限速方式，部分搜尋引擎會參考，部分則按自己的抓取节奏来。所以不能把 crawl-delay 当成精确的流量開關。
- 可以把它当作一個温和的提醒，适合希望蜘蛛放慢速度的站点；
- 不要指望設定後立刻生效，也不要频繁修改數值；
- 如果服務器压力已经很大，僅靠 crawl-delay 往往不够。
服務器侧的並發限制更直接
相比 robots.txt 里的建议，服務器侧的限流更可控。常见做法包括限制單 IP 连接數、對同一路径做频次限制、在 Nginx 或 WAF 层面對異常高频請求做排队或延迟响應。但這里有一個前提：先分清哪些是真蜘蛛，哪些是伪装流量。如果不做校驗就直接封 IP，可能誤伤搜尋引擎的正常抓取。
- 结合抓取日誌观察真實频次，不要凭感觉设阈值；
- 對已確認的蜘蛛保留合理余量，避免正常抓取被限死；
- 临时限流可以用 503 配合 Retry-After，而不是長期返回 403；
- 如果入口頁本身是静態文件，優先考虑缓存，减少重复計算。
設定 crawl-delay 的常见誤区
- 以為數值越大约好。設定過長會让蜘蛛减少訪問，入口頁發現效率下降。
- 全站只有一個值。内容頁和入口頁的抓取價值不同，但在 robots.txt 中通常只能按路径或整站設定，需要结合實际取舍。
- 频繁調整。今天 5 秒、明天 20 秒，蜘蛛的抓取节奏也會不稳定，不利于观察效果。
- 用 robots.txt 屏蔽後還想让蜘蛛抓。屏蔽和限速是两回事，屏蔽會直接阻止抓取。
一個相對稳妥的調整顺序
- 先看至少一到两周的抓取日誌，记錄蜘蛛的訪問高峰、平均間隔和狀態碼分布。
- 從較宽松的 crawl-delay 開始，例如 1 到 5 秒，观察服務器压力和蜘蛛訪問量的變化。
- 如果压力仍然偏高，優先在服務器侧做並發控制，而不是繼續加大 crawl-delay。
- 保持入口頁可訪問、返回碼稳定，避免频繁出現超时和 5xx。
- 每隔一段時間复查日誌，確認限流没有誤伤正常抓取。
抓取频次控制的核心，是让入口頁在被稳定發現的同时，不给服務器造成不必要的负担。限流是手段，不是目的。
小结
蜘蛛池入口頁的抓取频次控制，不能只依赖 crawl-delay。更實际的做法是先用日誌建立基线，再结合服務器侧並發限制和缓存策略，把抓取节奏控制在可承受范围内。過程中要持續观察真蜘蛛的訪問是否正常，避免因為過度限制而影响 URL 發現。