基于广域测量系统的分布式数据处理的制作方法

文档序号:14911277发布日期:2018-07-10 23:29阅读:174来源:国知局

本方法采用信息领域技术,是一种数据处理方法,涉及了分布式技术。



背景技术:

随着现代科学技术的不断发展,信息技术的不断踊跃在各个行业中,网广域测量系统作为电 网动态监测技术平台,是智能电网实时监控的重要部分,可实现对全网同步相角及电网各个站点主要数据的实时高速率采集;但是目前的WAMS平台的故障信息系统建设和诊断方法研究也存在问题;为了解决这些问题,基于广域测量系统的分布式数据处理有着极其重要的意义。



技术实现要素:

基于广域测量系统的分布式数据处理,通过对数据模块进行处理主要包括数据加载模块和系统数据ETL模块;通过采用同步相角测量技术,利用 PMU。实现对并行数据ETL的主要方法为数据抽取和数据清洗转换;

基于广域测量系统的分布式数据处理,它主要是通过对平台架构进行设计。要设计包含在以下几个方面:

1、利用Mapredce将资源进行集群,通过对分布式文件系统(HDFS)可调用集群的最大存储资源;

2、将Mapredce作为处理数据的一个接口,让任务零散分布,使编程者对处理的过程以及结果实现了透明化,通过对Mapredce根据不同数据特点对接口进行调节,实现高容错率;

3、结合 Mapredce改进关联规则算法,可实现数据操作并行执行,提高了传统关联算法的效率。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1