标签：爬虫观察

蜘蛛池的资源接入与验收：来源、观察期与淘汰标准

蜘蛛池的效果很大程度取决于入口资源质量。本文把资源接入拆成来源筛选、接入前检查、接入后观察与淘汰替换四个环节，说明观察期该看哪些日志指标、出现哪些信号时应及时下线替换，并指出一次接入过量和只看蜘蛛数量不看抓取质量等常见误区。