标签：服务端限速

蜘蛛池入口页的抓取频率：蜘蛛来得太密或太稀，分别说明什么

蜘蛛池入口页跑起来之后，日志里的抓取频率往往比页面数量更能说明问题。本文从单 IP 请求数、请求间隔和状态码分布三个维度出发，讲清抓取过密与过稀各自对应哪些原因，以及服务端限速、入口页分层和逐步放量的调整顺序，帮助把蜘蛛访问当成一种需要分配的有限资源。