标签：蜘蛛抓取频次

蜘蛛池的抓取预算分配：入口页数量与蜘蛛访问频次的关系

蜘蛛池入口页越堆越多，单页被蜘蛛抓取的次数却可能下降，这背后是抓取预算的分配问题。本文说明抓取预算受哪些因素影响，入口页数量与抓取频次之间的关系，以及如何给入口页分层、排优先级、用日志回收无效页面，让有限的抓取资源用在真正需要被发现的页面上。