标簽：蜘蛛池投放

蜘蛛池里的蜘蛛不止一種：识別不同爬虫並区別對待的思路

不同搜尋引擎的爬虫在抓取频率、线路敏感度、错誤容忍度上差別很大。本文讲怎么從日誌里区分百度、谷歌、必應等爬虫，為什么入口頁投放要按種類区別對待，以及识別與复盘时的几條實操建议，避免把资源花在不是目标的爬虫身上。