基于mapreduce的分布式etl体系结构研究

针对传统etl工具集中式执行方式的不足,提出了一种基于mapreduce的分布式etl体系结构——mdetl(mapreducedistributedetl)。该体系结构采用mapreduce并发处理海量数据的并行编程模型,结合分布式etl的集群运算方法,实现了集群分布式执行etl流程,从而提高了整个etl系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率。