搜
蜘蛛抓取时的连接與协议:長连接、HTTP/2 與 TLS 握手怎么影响抓取节奏
蜘蛛一次来訪往往要取几十上百個 URL,连接建立、协议协商和 TLS 握手同样占時間。本文從長连接复用、HTTP/2 多路复用、握手成本几個角度,說明协议层面對抓取节奏的影响,以及服務器端可以观察哪些指标、哪些情况其實不必折腾。
阅讀全文 →共找到 1 篇與“長连接”相關的文章。
蜘蛛一次来訪往往要取几十上百個 URL,连接建立、协议协商和 TLS 握手同样占時間。本文從長连接复用、HTTP/2 多路复用、握手成本几個角度,說明协议层面對抓取节奏的影响,以及服務器端可以观察哪些指标、哪些情况其實不必折腾。
阅讀全文 →