搜
错誤率與抓取速率:服務器抖動之後,蜘蛛為什么来得少了
抓取速率並不是固定值,蜘蛛會按站点的健康度動態調整。5xx、超时、连接中断這類错誤會直接压低抓取频率,而且下降快、恢复慢。本文說明哪些响應會被算作错誤、运维侧能做的几件稳定措施,以及错誤率降下来後為什么不能急着催抓取。
阅讀全文 →共找到 1 篇與“错誤率”相關的文章。
抓取速率並不是固定值,蜘蛛會按站点的健康度動態調整。5xx、超时、连接中断這類错誤會直接压低抓取频率,而且下降快、恢复慢。本文說明哪些响應會被算作错誤、运维侧能做的几件稳定措施,以及错誤率降下来後為什么不能急着催抓取。
阅讀全文 →