MapReduce编程模型下的约束频繁模式挖掘算法

摘要 约束频繁模式是利用用户给定的约束条件，生成的一种频繁模式，具有针对性强、挖掘效率高等特点.随着数据量的增大，约束频繁模式生成过程存在着占用内存大和I/O代价高等问题，难以适用于海量高维数据集.采用MapReduce编程模型，给出一种约束频繁模式并行挖掘MCFP算法.该算法首先，采用三对Map和Reduce函数实现了将数据中事务映射为频繁项计数、构建约束频繁模式树和生成约束频繁模式，以及频繁模式聚合等主要步骤；其次，根据频繁项支持度，迁移数据记录，有效地实现了频繁模式生成过程中的负载均衡；最后，采用天体光谱数据，实验验证了该算法的有效性、可伸缩性和可扩展性