大数据环境下的分布式数据流处理关键技术探析

摘要 大数据环境下的数据流处理实时性要求高，数据计算要求持续性和高可靠性。分布式数据流处理系统（DDSPS）能解决大数据环境下的数据流处理问题，它除具备分布式系统的可扩展性和容错性优势外，还具有高的实时处理能力。详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术，讨论和比较了各个子系统的不同技术方案；同时介绍一种分布式拒绝服务（DDoS）攻击检测数据流处理系统结构案例，其研究内容能为大数据环境下的数据流处理理论研究和应用技术开发提供技术参考