蜘蛛把站点拖慢，通常不是單一原因。多數情况下，是並發請求集中落在同一批動態頁面上，加上單次請求本身耗时偏高，两者叠加才让服務器吃紧。想調好节奏，先要弄清自己遇到的是哪一種。
先分清两種慢
一種情况是：日誌里某個时段的抓取請求數突然翻倍，但每個請求的响應時間還算稳定，這是並發压力。另一種情况是：請求量没有明顯變化，單個請求的 TTFB 却越来越長，這偏單点瓶颈，常见于慢查询、外部接口調用、缺少缓存。两者的處理顺序完全不同，前者先從入口限速和後端並發上限入手，後者要先解决具体的慢請求。
服務器侧可以調的几項
- 连接數與並發上限：给蜘蛛来源單獨设一個並發上限，避免它在几秒内打满後端工作進程，把正常用戶一起拖住。
- 响應超时：把後端超时适当收短，让慢請求尽快返回失敗狀態，而不是長時間占着连接不放。
- 缓存：静態资源、列表頁首屏、詳情頁做短时缓存，能明顯降低重复抓取的代價。
- 日誌字段：抓取高峰时段保留完整的時間、狀態碼、耗时字段，方便事後核對狀態碼分布和慢請求集中在哪些路径。
站点侧能减的负担
- 頁面体积：把首屏 HTML 里的大段内联資料、暂时用不到的脚本往下挪或延迟加载。
- 静態化或预渲染：把高频被抓的頁面提前生成，减少每次請求都跑一遍模板和資料库。
- 分頁與篩選：让蜘蛛能顺着稳定的列表頁找到詳情頁，避免它為找内容反复组合參數。
- 内鏈结构：把重要頁面放在离首頁更近的位置，减少蜘蛛為了到達它們而做的無效翻頁。
調整的顺序
- 看日誌，確認高峰时段與受影响的具体路径，別急着改配置。
- 先加缓存、處理慢查询，再考虑收紧並發上限。
- 给蜘蛛設定單獨的限速或獨立入口，不與普通用戶抢同一條通道。
- 調整後观察一段時間，確認抓取量没有持續下降、狀態碼分布變干净。
限速不是把蜘蛛挡在门外，而是让它在可承受的节奏下持續訪問。抓取量短期小幅下降、错誤比例明顯减少，通常比持續超时更值得。
观察哪些指标
調整前後至少看四组數字：單位時間的抓取請求量、按狀態碼分组的比例、被訪問 URL 的 TTFB 分布，以及被抓 URL 的重复比例。如果重复比例很高而總量上不去，說明蜘蛛在少數頁面上反复试探，此时更该检查内鏈和參數頁面，而不是一味放宽限速。
两個容易忽略的点
有些站点的慢並不是蜘蛛造成的，而是自己的定时任務、备份、日誌切割恰好和抓取高峰重叠。把运维任務和抓取时段错開，往往比調整限速更有效。
另外，CDN 或反向代理层的超时設定如果比源站短，會出現用戶看到错誤、源站日誌却没有记錄的情况，核對时要同时看两层日誌，否則很容易把問题归因到蜘蛛身上。
並發與限速没有萬能數值。先量出自己站点的承受线，再让抓取节奏落在這一條线以内，比照搬別人的參數更靠谱。