搜
错误率与抓取速率:服务器抖动之后,蜘蛛为什么来得少了
抓取速率并不是固定值,蜘蛛会按站点的健康度动态调整。5xx、超时、连接中断这类错误会直接压低抓取频率,而且下降快、恢复慢。本文说明哪些响应会被算作错误、运维侧能做的几件稳定措施,以及错误率降下来后为什么不能急着催抓取。
阅读全文 →共找到 1 篇与“错误率”相关的文章。
抓取速率并不是固定值,蜘蛛会按站点的健康度动态调整。5xx、超时、连接中断这类错误会直接压低抓取频率,而且下降快、恢复慢。本文说明哪些响应会被算作错误、运维侧能做的几件稳定措施,以及错误率降下来后为什么不能急着催抓取。
阅读全文 →