一种分布式大数据管理系统的设计与实现

随着云计算、物联网、移动互联网等技术的飞速发展,海量数据在这些崭新的领域迅猛地生长着,大数据作为一项颠覆性技术,为处理海量数据提供了无限可能。而传统的关系型数据库的不再适用,导致了分布式数据库nosql的应运而生。针对大数据领域面临的种种现实难题,设计并实现了一种基于hadoop和nosql的新型分布式大数据管理系统(dbdms),其提供大数据的实时采集、检索以及永久存储的功能。实验表明,dbdms可以显著提高大数据处理能力,适用于海量日志备份和检索、海量网络报文抓取和分析等领域。