基于Spark的并行FP-Growth算法优化及实现

摘要 为了进一步提高在Spark平台上的频繁模式增长（FP-Growth）算法执行效率，提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先，从频繁模式树（FP-Tree）规模大小和分区计算量对F-List分组策略进行改进，保证每个分区负载总和近似相等；然后，通过创建列表P-List对数据集划分策略进行优化，减少遍历次数，降低时间复杂度。实验结果表明，BFPG算法提高了并行FP-Growth算法挖掘效率，且算法具有良好的扩展性