标签：蜘蛛池投放

蜘蛛池里的蜘蛛不止一种：识别不同爬虫并区别对待的思路

不同搜索引擎的爬虫在抓取频率、线路敏感度、错误容忍度上差别很大。本文讲怎么从日志里区分百度、谷歌、必应等爬虫，为什么入口页投放要按种类区别对待，以及识别与复盘时的几条实操建议，避免把资源花在不是目标的爬虫身上。