标簽：蜘蛛抓取频次

蜘蛛池的抓取预算分配：入口頁數量與蜘蛛訪問频次的關系

蜘蛛池入口頁越堆越多，單頁被蜘蛛抓取的次數却可能下降，這背後是抓取预算的分配問题。本文說明抓取预算受哪些因素影响，入口頁數量與抓取频次之間的關系，以及如何给入口頁分层、排優先級、用日誌回收無效頁面，让有限的抓取资源用在真正需要被發現的頁面上。