标签：数据观测

蜘蛛池的效果观测：抓取日志里能看到的几类信号

收录量反馈慢、干扰多，判断蜘蛛池是否在起作用，更实用的是看抓取日志：抓取请求数与去重URL数、新URL首次被抓延迟、抓取深度、时段分布等。本文说明这几类指标怎么看、日志该留哪些字段，以及指标异常时的排查顺序。