专利名称：智能电网的多业务实时数据集成处理系统及方法
技术领域：
本发明涉及电カ系统数据及信号收集、数据清洗、信号分析与数据集成，具体涉及的是ー种智能电网的多业务实时数据集成处理系统及方法。
背景技术：
过去，配电自动化系统中母线与开关的断面数据，分布式电源控制系统的设备实时參数及电量数据；微电网控制系统中风カ发电设备、光伏发电设备与储能装置的设备实时參数与发电数据；设备状态监测系统中的设备实时參数，用电用能系统中用户用能采集数据及采集信号，营业厅智能运维系统中营业厅实时业务数据，用电信息采集系统中用电參数采集断面数据，电动汽车充电桩监控系统中电动汽车充电实时数据及充电桩运行断面数据等电力信息控制系统和电力信息管理系统均以各自的硬件系统为基础，缺少统一平台对设及到的数据及信号进行规范性整合和管理，无法实现数据的安全共享。为此，要实现数据规范化集成管理，需要提出一种能满足现状的数据集成架构，通过对电力系统数据及信号的处理，满足数据规范化管理及应用，使单ー业务系统的数据在脱离该系统后依然能够进行数据处理及业务分析。数据集成技术的突破，会将电カ系统在规范化统ー管理的基础上提供物理层面的数据基础。目前，控制管理系统包括配电自动化系统、分布式电源控制系统、微电网控制系统等，信息管理系统包括的设备状态监测系统、用电用能系统、营业厅智能运维系统、用电信息采集系统及电动汽车充电桩监控系统等，上述系统数据及信号的集成处理工作正处于起步阶段，业界在数据集成的设计与实现上方式不统一，电カ系统信号频度与数据结构差异性随着电力系统的发展和增加而日益明显，面向全国的信息集成规范仍不健全，缺少统一的数据集成平台。其原因可归结为数据传输方式不一致，数据处理分析过程没有统ー的标准，集成结构为多入多出结构。针对目前情况已有相对应的解决方案，例如配电自动化系统的信息交互平台也就是企业信息交互平台，解决了地区配电自动化系统与配电自动化主站系统的信息同步和数据集成问题，但由于其紧耦合于配电自动化系统，且有严格的数据结构要求，因此给智能电网多业务数据集成带来困难。考虑到多业务、多硬件系统的数据安全共享需求，设计出一种松耦合度、能够安全共享多业务数据的新型智能电网多业务数据集成技术的课题已经变的十分紧迫。
发明内容
本发明的目的是克服现有集成技术在智能电网领域跨专业、跨物理网络、跨多业务系统的数据集成服务技术的不足，提供ー种智能电网的多业务实时数据集成处理系统及方法。ー种智能电网的多业务实时数据集成处理系统，包括有电カ控制系统、电カ信息管理系统、可视化平台数据库，还包括有信息一体化平台设备，该一体化平台设备与电カ控制系统和电力信息管理系统相连接采集相应的数据，该一体化平台设备还与可视化平台相连接将处理后的数据传输给可视化平台数据库。—种用于智能电网的多业务实时数据集成处理系统的方法，由安装在信息一体化平台设备上的专用程序控制模块实现，所述专用程序控制模块包含有数据收集模块、数据过滤模块、数据整合模块及数据处理模块，其模块实现步骤(I)数据收集模块通过信息交互总线调用电カ控制系统中的网络服务数据，通过数据提取转换加载工具对电カ信息管理系统的底层数据库进行数据收集并传递给数据过滤模块；(2)数据过滤模块对数据收集模块传递的数据通过Java组件服务方式对电カ控制系统所覆盖的数据进行过滤处理，通过ETL工具中控制组件对电カ信息管理系统所覆盖的数据进行过滤处理，并将过滤后的数据传递给数据整合模块；(3)数据整合模块对数据过滤模块传递的数据，对于电カ控制系统所覆盖的数据通过数据库适配器整合存储数据，对于电カ信息管理系统所覆盖的数据通过ETL工具推送模块整合存储数据，并判断是否需要格式转换处理，如果不需要进行格式转换处理，则将整合后的数据传递给可视化平台数据库，否则将整合后的数据传递给数据处理模块；(4)数据处理模块对数据整合模块传递的数据，通过开放式数据库互连技术对需要进ー步处理的数据进行数据库层面的数据处理及统计，并将数据处理后的数据传递给可视化平台数据库。而且、所述步骤(I)数据收集模块是对电カ控制系统中符合IEC61968/61970国际标准体系的数据模型且加密过的数据体进行数据收集，并做解密处理。而且、所述步骤(I)数据收集模块是通过ETL工具抽取电力信息管理系统中对信息一体化平台开放访问权限的数据库表。而且、所述步骤(2)数据过滤模块是对在电力控制系统中按需求在ESB中編写了过滤条件的数据体进行过滤；在电カ信息管理系统中按需求在ETL工具中配置了过滤组件的数据体进行过滤，并做数据落地。而且、所述步骤(3)的整合模块是按D5000数据库设计标准将数据整合并存储至目标数据库表中。而且、所述步骤(4)的数据处理模块是将数据转换为满足IEC61968/61970国际标准体系的数据。而且、所述步骤(4)数据库层面的数据处理及统计包括目标库静态数据与采集数据映射关系处理，采集数据在不同范围内、不同角度上的汇总统计。发明的优点及效果该发明解决了多业务模块不同数据机构不同集成方式的问题，并实现了安全穿越电カ控制系统与电力信息管理系统之间的信息隔离，本发明的优点及其效果是I、为电カ系统之间数据集成和数据共享提供了符合电カ信息安全标准的数据集 成平台。2、本发明实现了多业务协同服务与非线性数据交换能力，实现了对电カ系统数据与信号的收集、清洗、分析与集成。3、本发明减小了海量数据的分析集成和加密算法时间，具备架构设计合理、多业务协同服务以及运维方便的特点。
4、本发明满足电カ公司在智能电网领域业务集约化的管理需求。为智能电网的推广应用，提供了良好的系统管理基础。
图I为本发明的系统架构及方法过程示意图。
具体实施例方式以下结合具体实施方法来进ー步说明本发明，下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本发明的保护范围。 ー种智能电网的多业务实时数据集成处理系统，包括有电カ控制系统、电カ信息管理系统、可视化平台数据系统，它还包括一个信息一体化平台，电カ控制系统应用服务器通过以太网ロ经企业级光纤太网交换机与信息一体化平台应用服务器进行单向通讯，电カ信息管理系统数据库服务器通过以太网ロ经光纤太网交換机与信息一体化平台应用服务器进行单向通讯，信息一体化平台对接收到的数据集成处理后传输给可视化平台数据库。—种用于智能电网的多业务实时数据集成处理系统的方法，由安装在信息一体化平台设备上的专用程序控制模块实现，其特征在于所述专用程序控制模块包含有数据收集模块、数据过滤模块、数据整合模块及数据处理模块，其模块实现步骤I、数据收集模块是由基于Oracle公司的Weblogic服务器研发的Java开发机UDeveloper)、惜息父互总线(Information Enterprise Bus-IEB)、Informatica 公司开发的数据提取转换加载(Extraction Transformation Loading-ETL)工具信息处理中心(Informatica PowerCenter)的数据抽取模块组成。所述数据收集模块通过两种方式进行数据收集，(I)对于电カ控制系统，通过配电IEB平台服务端调用基于WebService的ESB数据收集服务端的WebService服务收集服务器进行收集数据；(2)对于电力信息管理系统，由基于底层数据库技术的数据抽取器对其系统底层数据库进行收集数据。2、数据过滤模块是由基于Oracle公司的Weblogic服务器研发的ESB、Informatica公司开发的ETL工具Informatica PowerCenter的数据清洗模块组成。所述数据过滤模块通过两种方式实现，(I)对于电カ控制系统，所收集的数据通过基于国家电网省公司ESB开发的EJB (Enterprise JavaBean企业级Java组件)过滤器过滤数据；(2)对于电カ信息管理系统，所接收的数据通过ETL数据过滤模块中的控制组件过滤数据。3、数据整合模块由基于Oracle公司的Weblogic重量级服务器研发的JDeveloper中的 DateBase Adapter、Informatica 公司开发的 ETL 工具 Informatica PowerCenter 的数据推送模块组成。所述数据整合模块通过两种方式进行数据整合；(I)对于电力控制系统，通过基于ESB开发的Jdeveloper数据适配器DBAdapter整合存储数据；(2)对于电力信息管理系统，通过基于ODBC技术的ETL数据存储模块整合存储数据。4、数据处理模块通过ODBC技术对整合后且需要进行进一步处理的数据进行以数据库触发器和存储过程为主的数据库层面的数据处理及统计，所述数据库层面的数据处理及统计包括目标库静态数据与采集数据映射关系处理；采集数据在不同范围内、不同角度上的汇总统计。以下以采集电カ控制系统的配电自动化系统、微电网控制系统和电力信息管理系统的设备状态检测系统、用电信息采集系统的数据通过信息一体化平台进行智能电网的多业务实时数据集成处理为例对本发明做具体说明。针对以上所述的各系统，信息一体化平台需要收集的数据I、配电自动化系统中配电网的电网模型、母线与开关的断面数据、实时运行潮流信息(电压、功率、电流等)。配电自动化系统将微电网控制系统同步的数据与自己系统的数据按照IEC61968/61970国际标准体系构造数据模型，并按照Base64进行加密处理。2、微电网控制系统中微电网风カ发电、太阳能发电和储能装置的运行状态及回路 开关分合状态信息。微电网控制系统将数据通过规约同步至配电自动化系统中。3、设备状态检测系统中的变压器运行状态(油温、微水含量等)、变压器气室状态(ニ氧化碳含量、甲烷含量等)。设备状态检测系统将数据放入中间库表，并对信息一体化平台开放中间库表的访问权限。4、用电信息采集系统中的每个采集点用电数据曲线(每天96点)，采集点的实时信息(电压、有功功率、无功功率、电流等)。用电信息采集系统将数据放入中间库表，并对信息一体化平台开放中间库表的访问权限。信息一体化平台实施的集成处理过程I、配电IEB调用由ESB作为平台开发的WebService服务，接收配电自动化系统中符合数据模型规范的数据体，对数据体按照Base64做解密处理。2、设计ETL工具的数据抽取模块模型，抽取设备状态检测系统与用电信息采集系统中对信息一体化平台开放访问权限的中间库表。3、在ESB中编写配电自动化系统与微电网控制系统数据的过滤条件。4、在ETL工具中设计并配置过滤组件，该过滤组件用来过滤设备状态检测系统与用电信息采集系统的数据。5、按D5000数据库设计标准在可视化平台中设计集成所用库表，并做好与信息一体化平台的库表映射关系设计。6、将信息一体化平台抽取过滤后的数据存储至目标库表中。7、对于需要数据处理模块进行处理的数据，如用电信息采集系统中采集点的实时信息(电压、有功功率、无功功率、电流等)数据，以实时信息为测量值，并对其进行转换处理，也就是根据測量值计算出对应的有效值。8、将出信息一体化平台数据存储至到可视化平台数据库。当然，电カ控制系统中还可以包含分布式电源控制系统，电カ信息管理系统还可以包含用电用能系统、营业厅智能运维系统、SG186营销系统、电动汽车充电桩检测系统等。以上这些分系统的数据实时集成处理，也都贯彻在信息一体化平台实施的集成处理过程中。
权利要求
1.ー种智能电网的多业务实时数据集成处理系统，包括有电カ控制系统、电カ信息管理系统、可视化平台数据库，其特征在于还包括有信息一体化平台设备，该一体化平台设备与电力控制系统和电力信息管理系统相连接采集相应的数据，该一体化平台设备还与可视化平台相连接将数据处理后数据传输给可视化平台数据库。
2.一种用于智能电网的多业务实时数据集成处理系统的方法，由安装在信息一体化平台设备上的专用程序控制模块实现，其特征在于所述专用程序控制模块包含有数据收集模块、数据过滤模块、数据整合模块及数据处理模块，其模块实现步骤 (1)数据收集模块通过信息交互总线调用电カ控制系统中的网络服务数据，通过数据提取转换加载工具对电カ信息管理系统的底层数据库进行数据收集并传递给数据过滤模块； (2)数据过滤模块对数据收集模块传递的数据通过Java组件服务方式对电カ控制系统所覆盖的数据进行过滤处理，通过ETL工具中控制组件对电カ信息管理系统所覆盖的数据进行过滤处理，并将过滤后的数据传递给数据整合模块； (3)数据整合模块对数据过滤模块传递的数据，对于电カ控制系统所覆盖的数据通过数据库适配器整合存储数据，对于电カ信息管理系统所覆盖的数据通过ETL工具推送模块整合存储数据，并判断是否需要格式转换处理，如果不需要进行格式转换处理，则将整合后的数据传递给可视化平台数据库，否则将整合后的数据传递给数据处理模块； (4)数据处理模块对数据整合模块传递的数据，通过开放式数据库互连技术对需要进一步处理的数据进行数据库层面的数据处理及统计，并将数据处理后的数据传递给可视化平台数据库。
3.根据权利要求2所述的智能电网的多业务实时数据集成处理系统的方法，其特征在于所述步骤(I)数据收集模块是对电カ控制系统中符合IEC61968/61970国际标准体系的数据模型且加密过的数据体进行数据收集，并做解密处理。
4.根据权利要求2所述的智能电网的多业务实时数据集成处理系统的方法，其特征在于所述步骤(I)数据收集模块是通过ETL工具抽取电力信息管理系统中对信息一体化平台开放访问权限的数据库表。
5.根据权利要求2所述的智能电网的多业务实时数据集成处理系统的方法，其特征在于所述步骤(2)数据过滤模块是对在电力控制系统中按需求在ESB中編写了过滤条件的数据体进行过滤；在电カ信息管理系统中按需求在ETL工具中配置了过滤组件的数据体进行过滤，并做数据落地。
6.根据权利要求2所述的智能电网的多业务实时数据集成处理系统的方法，其特征在于所述步骤(3)的整合模块是按D5000数据库设计标准将数据整合并存储至目标数据库表中。
7.根据权利要求2所述的智能电网的多业务实时数据集成处理系统的方法，其特征在于所述步骤(4)的数据处理模块是将数据转换为满足IEC61968/61970国际标准体系的数据。
8.根据权利要求2所述的智能电网的多业务实时数据集成处理系统的方法，其特征在于所述步骤(4)数据库层面的数据处理及统计包括目标库静态数据与采集数据映射关系处理，采集数据在不同范围内、不同角度上的汇总统计。
全文摘要
本发明涉及一种智能电网的多业务实时数据集成处理系统及方法，系统包括有电力控制系统、电力信息管理系统、可视化平台数据库，还包括有信息一体化平台，信息一体化平台接收电力控制系统、电力信息管理系统的数据，并对接收到的数据集成处理后传输给可视化平台数据库，方法由安装在信息一体化平台设备上的专用程序控制模块实现，控制模块包含有数据收集模块、数据过滤模块、数据整合模块及数据处理模块，本发明实现了集成技术在智能电网领域跨物理网络、跨多业务系统的数据集成服务技术，实现了电力控制系统与电力信息管理系统之间的安全穿越。
文档编号G06Q10/06GK102646228SQ20121004302
公开日2012年8月22日 申请日期2012年2月23日 优先权日2012年2月23日
发明者于建成, 冯涛, 刘美静, 唐博麟, 尚学军, 徐剑, 徐洋萍, 李子乾, 林昌年, 梁晓虎, 王国平, 袁启海, 韩强, 马力, 黄刚 申请人:天津市电力公司