标签：爬虫分类

蜘蛛池里的蜘蛛种类与抓取偏好：不同爬虫来的目的不一样

蜘蛛池日志里往往混着好几种搜索爬虫，它们的抓取目标、节奏和对页面的要求并不相同。把不同蜘蛛混在一起统计，很容易误判效果。本文说明常见爬虫的分类方式，以及如何按蜘蛛种类分开观察、取舍与调整入口页策略。