一种基于中台化的数据集成架构的制作方法

1.本发明数据共享领域，尤其是涉及一种基于中台化的数据集成架构。


背景技术：

2.为解决老ems无法满足新的市场环境需要的问题，illinois电力公司基于关系数据库和多层的概念开发了新的ems系统emsnova。emsnova于1999年10月完全替换掉老系统运行，它号称是世界上第一个具有完全开放体系结构的ems。illinois电力公司选择了cim作为数据库的核心，对ems可以很方便地进行修改；对于每一个应用，公司都可以从许多厂家的产品中选择。基于cim的模式使这个新系统更加灵活及具有良好的可扩展性，系统可以不受限制地升级，而且通过供应商间的竞争降低各应用的价格以降低总体费用。
3.在电力市场环境中，“开放通道”将导致互联的电力系统之间存在大量的电力传输，而且为获得最大的经济效益，在保持足够的安全裕度的同时，电力系统将运行在极限附近，这就要求在线实时的网络分析。由于互联的特性，需要了解与其他区域的相互影响，则需要以公共的格式交换网络模型。这种交换不仅可以提高系统的安全性，而且可以有益于规划功能。
4.各个电力公司或控制区域中使用不同的数据库和数据字典，现有的技术是通过手工重新录入或进行繁琐的转换解决数据难以接入共享的问题，操作复杂，数据共享成本高。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种准确性高、操作简单的基于中台化的数据集成架构。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于中台化的数据集成架构，包括cim可视化管理模块、元数据管理模块、数据萃取模块和通用数据访问服务模块，
8.其中，所述cim可视化管理模块用于建立、更新并发布统一cim模型；
9.所述数据萃取模块用于复制需要二次加工的数据，将复制的数据发送给元数据管理模块，并对复制的数据进行持久化，所述持久化的介质为关系型数据库；
10.所述元数据管理模块用于根据所述cim模型、所述复制的数据和私有数据得到模型与物理数据的映射关系；
11.所述通用数据访问服务模块用于发布通用数据访问接口服务。
12.进一步地，所述的cim可视化管理模块包括模型元数据交换单元、模型可视化编辑单元和模型变更发布单元，所述模型元数据交换单元获取上传的cim模型，通过模型可视化编辑单元对所述cim模型文件进行编辑，将编辑后的cim模型通过模型变更发布单元发送给元数据管理模块。
13.进一步地，所述cim模型的文件格式符合iec61970标准。
14.进一步地，所述数据萃取模块基于遗留系统数据和数据萃取服务对需要二次加工
的数据进行复制，所述遗留系统数据为历史遗留系统的可用数据。
15.进一步地，所述数据萃取模块基于遗留系统数据和数据萃取服务对需要二次加工的数据进行复制具体为：采用etl和消息总线的方法对需要二次加工的数据进行复制。
16.进一步地，所述通用数据访问服务模块与所述cim模型建立接口请求关系，发布通用数据访问接口服务。
17.进一步地，所述元数据管理模块得到模型与物理数据的映射关系后，将所述模型与物理数据的映射关系发送给数据萃取模块。
18.进一步地，应用系统调用数据访问服务模块生成的所述通用数据访问接口服务，获取数据萃取模块中的模型与物理数据的映射关系。
19.进一步地，所述通用数据访问服务模块提供元数据黄页服务。
20.进一步地，应用系统调用数据访问服务模块的所述元数据黄页服务，获取cim元数据能力查询。
21.与现有技术相比，本发明具有以下有益效果：
22.以统一在iec 61970标准下的cim作为信息交换模型，实现中台化的信息集成机制，明确信息系统信息集成机制，降低信息共享实施成本，使得平台能够具备更广泛的接入能力，以及结合iec 61970提供标准数据共享服务实现与其他业务系统的无缝对接能力。
附图说明
23.图1为本发明的结构示意图；
24.图2为本发明的流程图。
具体实施方式
25.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
26.实施例1：
27.一种基于中台化的数据集成架构，包括cim可视化管理模块、元数据管理模块、数据萃取模块和通用公共服务模块。
28.cim可视化管理模块用于建立、更新并发布统一cim模型；
29.数据萃取模块用于复制需要二次加工的数据，将复制的数据整合为数据库并发送给元数据管理模块；
30.元数据管理模块用于根据cim模型、数据库和私有数据得到模型与物理数据的映射关系；
31.通用数据访问服务模块用于发布通用数据访问接口服务。
32.a.cim可视化管理
33.cim可视化管理模块提供了两种cim元数据的输入场景：基于图形化编辑(一种简易的uml绘图工具)cim，维护cim元数据；基于iec 61970-501标准，通过rdf文件导入cim元数据。
34.数据中台将图形化cim编辑与外部rdf格式的cim元数据导入作为整个数据中台的
面向cim设计的支撑架构，在抽象的cim设计阶段，屏蔽了cim设计者与it业务系统之间的关联(在cim设计阶段，接触cim设计与it系统的耦合)，满足面向业务人员使用的特征，同时，基于iec 61970-501标准的cim元数据导入符合iec61970设计原则。该阶段的cim设计人员无需专业的it技术支撑，当确认cim版本后，则可通过模型变更发布将cim元数据提交给元数据管理模块，开展下一阶段的工作。
35.b.元数据管理
36.元数据管理是实现cim与物理数据耦合的关键场景，it系统私有的数据模型如何与标准的cim进行关联映射。
37.在多个应用程序集成时可以共用一套数据模型，一般需要使用元数据来管理数据模型，元数据是关于“数据的数据”，它描述已有应用系统中的数据的位置、来源、内容、属性和状态，元数据管理服务常作为管理数据、记录数据信息的管理控制中心。
38.元数据库描述了所有共享数据集的描述信息,是各应用系统需要交换数据集的目录集合,是用户跨系统获取数据的“桥梁”，是基于中间件平台实现数据集成的基础和前提。
39.对电网企业而言，在应用集成时，离不开cim模型，cim描述了电力企业中主要对象的抽象模型，包括电网模型、负荷模型、发电模型、保护模型和数据采用与监控模型等，同时cim面向对象的建模方法支持扩展机制，允许用户将自己的某些业务需求通过扩展建模，使其成为模型的一部分。61970标准提供了基于cim语义的组件接口规范，应用元数据映射工具将cim映射到系统私有数据是电网企业进行应用集成的重要技术手段。成熟的元数据管理能力，是应对cim版本变化、遗留系统私有数据接入的关键手段。
40.c.数据萃取
41.数据中台针对性的对应用系统中需要二次加工的数据采用etl、消息总线等手段进行复制，根据业务需求对数据进行二次加工计算，并进行数据持久化，数据持久化介质可以是传统的关系型数据库。加工获取的数据(例如计算量测数据)则可通过元数据管理功能，实现与cim的映射，并采用通用公共服务对外提供服务。
42.(数据萃取服务，)
43.d.通用公共服务
44.iec61970组件接口规范(cis)详细描述了组件/应用应实现的，能够以标准方式与其它组件/应用进行信息交换和/或访问公共数据的接口。定义了：
①
cis描述的接口是标准的、通用的；
②
cis描述的接口最终由组件/应用负责实现；
③
接口的用途：信息交换、访问公共数据。
45.以iec61970组件接口规范(cis)作为高实时性、高灵性的、高通用性的数据交换服务，向应用侧提供不受cim版本变化影响的通用数据交换服务。
46.iec61968主要面向各种分布式系统软件的相互应用整合，区别于iec61970组件接口规范提供的实时、同步连接、交互式请求、应答或会话式的技术场景，iec61968则适用于那些弱联系的、数据交换以事件驱动为基础的应用系统的集成。
47.采用iec61968公共消息接口服务为那些弱联系的、数据交换以事件驱动为基础的应用系统提供集成场景。
48.iec61970和iec61968是一体的标准，是相互补充的，基于使用公共的数据语义cim。iec 61968定义了一些类的消息来使得应用间交换信息，来保持应用间的同步和避免
数据录入冗余。iec 61970使用了一个很互补的方法，与iec 61968描述标准消息不同，iec 61970描述了标准的服务。而iec 61968的标准消息能够转换为iec 61970的服务。iec 61970主要通过gda服务和ges服务来实现。iec 61968和iec 61970定义了一套通用的抽象的动词/服务，独立于组件如何实际操作。iec 61968的动词和iec 61970的服务都是通用的，都是独立于应用的，都关注于数据的交换。
49.上述中台化数据集成架构包括：cim可视化、元数据管理、数据萃取、通用公共服务四个部分，通过cim可视化建立统一数据模型；元数据管理实现电网设备、拓扑等数据汇聚整合，数据萃取联合其他业务系统资源，打破数据孤岛，通用公共服务全面融合设备运行信息，建设电网设备资源全寿命管理。
50.图1和图2所示为本发明以tc57 cim、ems-api为核心技术的中台化数据集成架构的具体流程图和结构图。结合图1和图2对以下中台化数据集成架构进行详细描述：
51.在步骤1中，业务人员在cim可视化管理，通过可视化编辑或上传cim文件建立cim模型数据，并与元数据管理进行交换，同时可对以生成的cim模型进行变更，然后执行步骤2；
52.在步骤2中，元数据管理中对cim模型版本的管理，建立模型与物理数据的映射关系，如果成功，执行步骤3，如果不成功，执行步骤1；
53.在步骤3中，在数据萃取层，发布模型数据服务，建立数据管理映射关系服务，如果成功，执行步骤4，如果不成功，执行步骤2；
54.在步骤4中，通过通用数据服务与已发布的cim模型建立接口请求关系，发布通用数据访问接口服务，如果成功，执行步骤5，如果不成功，执行步骤3；
55.在步骤5中，应用系统通过调用数据中台发布的通用数据访问接口服务，实时获取所需要的数据请求，然后执行步骤6；
56.在步骤6中，实时访问数据萃取层的cim模型与物理数据的映射关系获取数据；
57.在步骤7中，应用系统可以通过调用数据中台元数据黄页服务获取cim元数据能力查询。
58.如图1所示，本发明以iec tc57为指导，使得平台能够具备更广泛的接入能力，以及结合iec 61970提供标准数据共享服务实现与其他业务系统的无缝对接能力。通过通信规范、前端采集控制、sg-cim、中台化架构、容器化技术,建立统一的标准体系和技术体系，培育开放、共享、共生的生态体系，实现设备状态智能获取、互联互通。本发明应用iec61970/61968标准中的信息交换技术作为对sg-cim应用的架构支撑，通过cim可视化、元数据管理、数据萃取、通用公共服务全面融合设备运行信息，实现cim可视化信息模型与应用系统交互的，推动设备侧物联网应用拓展。
59.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。