标簽：資料观测

蜘蛛池的效果观测：抓取日誌里能看到的几類信号

收錄量反馈慢、干扰多，判断蜘蛛池是否在起作用，更實用的是看抓取日誌：抓取請求數與去重URL數、新URL首次被抓延迟、抓取深度、时段分布等。本文說明這几類指标怎么看、日誌该留哪些字段，以及指标異常时的排查顺序。