标簽：爬虫分類

蜘蛛池里的蜘蛛種類與抓取偏好：不同爬虫来的目的不一样

蜘蛛池日誌里往往混着好几種搜尋爬虫，它們的抓取目标、节奏和對頁面的要求並不相同。把不同蜘蛛混在一起統計，很容易誤判效果。本文說明常见爬虫的分類方式，以及如何按蜘蛛種類分開观察、取舍與調整入口頁策略。