Storm平台下基于稀疏ADtree的贝叶斯网络分布式学习算法

摘要 使用云计算技术对搜索与评分算法进行分布化是加速贝叶斯网络结构学习过程的有效方法，但需要频繁地根据分布式文件系统中的数据集计算统计信息.为了克服分布式学习贝叶斯网络的性能瓶颈，本文使用Apache Storm平台建立了基于Topology框架的贝叶斯网络分布式学习机制，并提出了基于稀疏ADtree的统计信息提取算法和状态空间搜索算法.通过使用Topology框架细粒度地分布化了贝叶斯网络结构学习算法，达到了较高的并行度.本文使用稀疏ADtree存储全局统计信息，并在各计算节点中恢复出列联表来计算评分值.本文使用真实数据集在集群上进行了性能测试实验，结果表明评分过程的时间大幅缩短，弥补了构造稀疏ADtree的时间开销.总体上，贝叶斯网络结构分布式学习的过程得到了明显加速