Spark Streaming动态资源分配策略

摘要 针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题，提出了一种多应用下动态资源分配策略（DRAM）。该策略增加了应用全局变量来控制动态资源分配过程。首先，获取历史执行数据反馈和应用全局变量；然后，进行资源增减计算；最后，进行资源增减执行。实验结果表明，所提策略能够有效调整应用资源配额，且在稳定数据流和不稳定数据流两种情况下，其处理延时相比原Spark平台的Streaming策略和Core策略都有所降低；同时该策略也能够提高集群资源利用率