标簽：服務端限速

蜘蛛池入口頁的抓取频率：蜘蛛来得太密或太稀，分別說明什么

蜘蛛池入口頁跑起来之後，日誌里的抓取频率往往比頁面數量更能說明問题。本文從單 IP 請求數、請求間隔和狀態碼分布三個维度出發，讲清抓取過密與過稀各自對應哪些原因，以及服務端限速、入口頁分层和逐步放量的調整顺序，帮助把蜘蛛訪問当成一種需要分配的有限资源。