标签：IP承载密度

蜘蛛池里的 IP 承载密度：一个 IP 挂多少入口页比较合适

很多人在搭蜘蛛池时只盯着域名数量和内容，却忽略了一个 IP 上挂了多少入口页。IP 承载密度过高，如果内容又相似，爬虫在调度时可能把这一批入口页当成同一组资源处理。本文从爬虫的观察维度出发，聊一个 IP 放多少入口页比较稳妥，以及分批上线、分散 C 段、观察日志等实用做法。