智能电网大数据流式处理方法与状态监测异常检测

针对智能电网大数据流的实时性、易失性、无序性等特点,提出智能电网大数据的实时流处理框架,实现数据收集、数据缓冲与流式计算,满足状态监测异常检测与用电数据分析等快速处理需要。通过采集系统节点监听数据源变化并实时收集数据,利用消息订阅模式对数据进行缓冲,解决数据采集与流式计算速度不一致的问题。提出一种基于Storm的状态监测数据流滑动窗口处理方法,在规定时间内分批处理状态监测数据流,保证数据的连续计算,通过阈值判断进行异常检测。实验结果表明,在集群规模一定的条件下,适当地改变工作进程数以及执行器线程的并发数设置,可以增大滑动窗口的元件吞吐量,提高状态监测异常检测的实时处理效率