很多站点运营者排查抓取問题的顺序是先看内容、再看連結，最後才想起来看服務器。但在蜘蛛這一侧，它拿到的第一個東西不是标题和正文，而是响應碼和响應耗时。這两個指标會直接影响它下一次来的時間和規模。

蜘蛛抓取本质上是排队請求

對蜘蛛来说，一個站点就是一组 URL。它在自己的队列里為這些 URL 安排請求，而請求返回的结果會反過来調整队列的處理方式。服務器表現得越稳定，它越愿意在這台主机上多派一些請求；一旦發現响應忽快忽慢或者大量报错，它會主動收紧，把抓取资源挪到別處。

响應時間：平均值參考價值有限

看监控时，平均响應時間几百毫秒並不代表没問题。更值得關注的是慢的那一批，也就是 P95、P99 這類分位數。因為蜘蛛拿到的是某一次具体請求的耗时，一次 8 秒的响應和一百次 200 毫秒的响應，在它的体驗里是两件事。

• 頁面的資料库查询是否偶尔被打满；
• 模板里的外部接口調用有没有超时兜底；
• 是否總有一批頁面明顯比別的慢。

如果慢的恰好是你希望被發現的列表頁或詳情頁，影响會更直接。

超时與 5xx：容易被讀成“暂时別来”

持續的 5xx 通常意味着服務端出了問题。對蜘蛛来说，這類响應不是内容問题，而是“現在不适合抓”。它一般不會理解成頁面消失，但會降低在這台主机上的請求频率和並發。更麻烦的是恢复之後，频率回到原有水平需要時間，不會因為你修好的当天就立刻回位。

超时同理。不同蜘蛛的超时阈值不一样，共同点是：你控制不了它等多久，只能控制自己多久返回。與其去猜阈值，不如把慢接口從首屏 HTML 里摘出去，让主体结构先返回。

429 和限流：可以拦，但要留出恢复空間

用限流保護源站是合理的，不過要注意两点：

1. 限流應该是偶發触發，而不是常年生效。長期返回 429，效果上接近持續压低可抓取量。
2. 被限流的應当是真正耗资源的路径，而不是整站一刀切，否則正常頁面也會被一起拖慢。

站点侧可以做的几件事

• 给重要頁面做缓存或静態化，让列表頁、詳情頁的首字节尽量平稳。
• Sitemap 里的 URL 要能稳定返回 200，如果混着超时頁和重定向頁，等于自己给抓取制造噪声。
• 看日誌时按狀態碼和耗时分组，而不是只看總量。總量没變但 5xx 變多，是更需要注意的信号。
• 内鏈指向的頁面尽量稳定可渲染，別让蜘蛛顺着連結一路走到慢頁上。
• 扩容或迁移安排在低峰期，避免抓取密集时段出現整体抖動。

蜘蛛對站点的印象不是某一次抓取形成的，而是一段時間内响應表現的平均值。稳定比峰值快更值钱。

別把服務器問题当成内容問题

抓取量下滑时，很多人第一反應是内容质量下降或者结构改動。但如果日誌里同时出現耗时拉長、超时增多，那多半是服務端這一层先變了。先確認响應時間、错誤率和限流規則，再去讨论 URL 發現和内鏈结构，顺序會顺很多。