hadoop平台下的动态调度算法

目前,云计算环境具有动态、异构和海量多类型任务并发等特征,随着集群规模不断增大、用户qos不断增多,现有调度算法越来越难以适应动态变化的环境及满足用户的需求。针对hadoop平台下现有调度器不能根据作业运行状态和资源使用情况进行动态调整的问题,提出了hadoop下基于作业分类的动态调度算法。该算法在使用朴素贝叶斯分类算法对队列中作业进行分类的过程中,根据各个作业的类型,预先设定类别权值,将队列中的作业分类,并引入效用函数,根据用户提交时的预期完成时间qos和作业完成情况估算其作业完成时间,实现动态设置作业优先级。实验表明,使用提出的算法不仅能有效减少作业的分类时间,而且能明显提高动态性和用户qos。