标簽：IP承载密度

蜘蛛池里的 IP 承载密度：一個 IP 挂多少入口頁比較合适

很多人在搭蜘蛛池时只盯着域名數量和内容，却忽略了一個 IP 上挂了多少入口頁。IP 承载密度過高，如果内容又相似，爬虫在調度时可能把這一批入口頁当成同一组资源處理。本文從爬虫的观察维度出發，聊一個 IP 放多少入口頁比較稳妥，以及分批上线、分散 C 段、观察日誌等實用做法。