一种多源电力业务数据的数据结构格式的规整方法和系统与流程

本发明涉及电力技术领域，更为具体地说，涉及一种多源电力业务数据的数据结构格式的规整方法和系统。

背景技术：

电力网络包括子站系统和主站系统，一个主站系统可能连接多个子站系统，从而对不同子站系统上传的电力业务数据进行集成，例如：通过不同的电流互感器/电压互感器从具体电力设备采集电力信息的二次装置作为子站系统，会向作为主站系统的信息业务系统传递电力业务数据。

由于一个主站系统可能连接多个子站系统，子站系统之间相互独立，并且即使是同一子站系统前、后上传至主站系统的电力业务数据也可能相互重叠，导致主站系统接收到的电力业务数据可能存在冗余；同时，由于子站系统与主站系统之间的信息传递往往缺乏统一的建模和传输规范，导致主站系统接收到的电力业务数据可能为存在数据错误、缺失的“脏”数据。因此为了减少数据的冗余、错误和缺失问题，通常在主站系统集成数据之前，需要对数据进行清洗。

然而，主站系统接收到的电力业务数据的数据源类型繁多，往往包括：数据库类数据源、web-services数据源以及文本格式txt、xls和XML等文本数据源等多种类型；不同数据源的电力业务数据，其数据结构格式往往不同。并且由于主站系统往往连接多个子站系统，子站系统与主站系统之间的信息传输缺乏统一的建模与传输规范，导致主站系统获取到的电力业务数据的数据结构格式的差异较大。由于上述原因，在对电力业务数据清洗时，会导致数据的清洗效率下降，甚至导致数据无法清洗的问题。

技术实现要素：

本发明的目的是提供一种多源电力业务数据的规整的技术方案，以解决背景技术中所介绍的现有技术中电力业务数据清洗效率下降，甚至数据无法清洗的问题。

为了解决上述技术问题，本发明提供如下技术方案：

根据本发明的第一方面，提供了一种多源电力业务数据的数据结构格式的规整方法，该数据结构格式的规整方法用于主站系统，包括：

使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；

使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；

使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。

优选地，所述数据结构格式的规整方法还包括：

将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；

确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。

优选地，所述使用数据管理规范对多个数据源的电力业务数据进行接入管理，包括：

使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。

优选地，所述使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为CIM形式的电力业务数据，包括：

使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；

将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。

优选地，所述数据源类型包括：数据库类型、文件类型和规约数据流类型；

所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。

根据本发明的第二方面，还提供了一种多源电力业务数据的数据结构格式的规整系统，用于主站系统，所述规整系统包括：

数据接入管理模块，用于使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；

数据统一抽取模块，用于使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；

数据统一解析模块，用于使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。

优选地，所述数据结构格式的规整系统还包括：

数据映射模块，用于将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；

数据统一接口模块，用于确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。

优选地，所述数据接入管理模块，具体用于使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。

优选地，所述数据统一解析模块，包括：

第一数据转换子模块，用于使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；

第二数据转换子模块，用于将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。

优选地，所述数据源类型包括：数据库类型、文件类型和规约数据流类型；

所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。

通过上述工作过程可以得出，本发明提供的多源电力业务数据的数据结构格式的规整方案，通过使用数据管理规范对多个数据源中的电力业务数据进行接入管理，然后通过格式数据转换模型抽取电力业务数据，使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，然后将电力业务数据转换为通用信息模型CIM形式的电力业务数据，能够建立电力业务数据的统一的数据结构格式，从而方便电力业务数据在子站系统和主站系统之间的传输，并方便对电力业务数据进行清洗，提高数据清洗效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一示例性实施例示出的第一种多源电力业务数据的数据结构格式的规整方法的流程图；

图2是图1所示实施例示出的一种电力业务数据转换方法的流程图；

图3是本发明一示例性实施例示出的第二种多源电力业务数据的数据结构格式的规整方法的流程图；

图4是本发明一示例性实施例示出的第一种多源电力业务数据的数据结构格式的规整系统的结构图；

图5是图4所示实施例示出的一种数据统一解析模块的结构图；

图6是本发明一示例性实施例示出的第二种多源电力业务数据的数据结构格式的规整系统的结构图；

图7是本发明一示例性实施例示出的一种多源电力业务数据的数据结构格式的规整系统的架构图。

具体实施方式

本发明实施例提供的多源电力业务数据的数据结构格式的规整方案，解决了背景技术中所介绍的电力业务数据的数据结构格式的差异较大，导致数据的清洗效率下降，甚至导致数据无法清洗的问题。

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中的技术方案作进一步详细的说明。

请参考附图1，图1是本发明一示例性实施例示出的一种多源电力业务数据的数据结构格式的规整方法的流程示意图。如图1所示，本发明实施例提供的多源电力业务数据的数据结构格式的规整方法包括：

S110：使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；

电力业务数据的数据源包括数据库类数据源；网络服务web-services、aop类数据源；文件系统类数据源；iec 61850和iec61870等多种数据源类型。总体来讲，可将电力业务数据的数据源划分为数据库类型、文件类型和规约数据流类型三部分。并且与数据源类型对应的数据管理规范包括与所述数据库类型对应的数据库处理规范、与所述文件类型对应的文件传输协议FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。

在本发明实施例中，具体使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。主站系统接收到的电力业务数据主要为子站系统发送的，也包括从数据库等其他存储器件中获取到的。

S120：使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；

在本实施例中数据转换模型至少包括CIM/RDF模型、XML模型和特定格式模型三种类型，该三种模型可对应于主站系统的数据结构格式，如CIM、RDF或XML格式等。

通过将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，能够方便主站系统对电力业务数据进行数据规范，减小数据结构格式不统一导致的清洗速度下降的情况。

S130：使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。

在本发明实施例中，模型处理规范可包括Jena处理方法、DOM处理方法和SAX处理方法，通过四种方法对不同的模型数据进行解析，并将解析后的数据封装为统一的JavaBean接口模式。

在本发明实施例中，该步骤S130：使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据转换为CIM形式的电力业务数据包括：

S131：使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；

S132：将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。

在本发明实施例中，解析包括对电力业务数据的语法进行解析，通过解析语法，将电力业务数据转化为内存中的变量或对象数据，然后再转换为标准CIM模型数据。相应地，格式转换即通过解析元数据在内存中构建的对象数据转换为标准的CIM模型数据的过程。

虽然电力业务的数据结构格式经过了转换，能够方便对数据进行统一的清洗等处理，然而由于不同电力业务数据具有不同的传输规范，因此在电力业务数据传输时可能会出现传输效率低下，甚至无法传输的情况。如将电力业务数据传输入数据库中，由于没有统一的传输接口会导致数据传输效率低下。

在将电力业务数据转换为CIM形式的电力业务数据后，如图3所示，图1中的数据结构格式的规整方法还包括：

S140：将CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；

S150：确定与电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。

具体地，需要将CIM形式的电力业务数据封装为统一的JavaBean结构格式，然后为该电力业务数据提供统一的接口，实现对象到关系数据库数据的映射，以供数据清洗使用。

本发明实施例提供的多源电力业务数据的数据结构格式的规整方法，通过使用数据管理规范对多个数据源中的电力业务数据进行接入管理，然后通过格式数据转换模型抽取电力业务数据，使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，然后将电力业务数据转换为通用信息模型CIM形式的电力业务数据，能够建立电力业务数据的统一的数据结构格式，从而方便电力业务数据在子站系统和主站系统之间的传输，并方便对电力业务数据进行清洗，提高数据清洗效率。

基于同一发明构思，本申请实施例还提供了多源电力业务数据的数据结构格式的规整系统，由于所述系统对应的方法是本申请实施例中的多源电力业务数据的数据结构的规整方法，并且该系统解决问题的原理与方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。

请参见图4，本发明实施例还提供了一种多源电力业务数据的数据结构格式的规整系统，该数据结构格式的规整系统用于主站系统，所述规整系统包括：

数据接入管理模块401，用于使用数据管理规范对多个数据源的电力业务数据进行接入管理，其中，所述数据管理规范与所述电力业务数据的数据源类型相对应；

其中，数据源类型包括：数据库类型、文件类型和规约数据流类型；所述数据管理规范包括：与所述数据库类型对应的数据库处理规范、与所述文件类型对应的FTP或文件系统处理规范、与所述文件类型对应的网络服务web-services处理规范以及与所述规约数据流对应的协议处理规范。

其中，所述数据接入管理模块401，具体用于使用与所述数据源类型对应的数据管理规范分别对所述电力业务数据的接入频率、存储位置和接入时段进行管理。

数据统一抽取模块402，用于使用格式数据转换模型抽取所述电力业务数据，将所述电力业务数据的数据结构格式转换为匹配所述主站系统的数据结构格式，其中，所述格式数据转换模型与所述匹配主站系统的数据结构格式相对应；

数据统一解析模块403，用于使用与所述电力业务数据的数据结构格式对应的模型处理规范，将所述电力业务数据转换为通用信息模型CIM形式的电力业务数据。

如图5所示，图4所示的数据统一解析模块403，包括：

第一数据转换子模块4031，用于使用模型处理规范将对应数据结构格式的电力业务数据转换为所述模型处理规范对应的变量或对象形式的电力业务数据；

第二数据转换子模块4032，用于将所述变量或对象形式的电力业务数据转换为CIM形式的电力业务数据。

本发明实施例提供的多源电力业务数据的数据结构格式的规整系统，通过使用数据管理规范对多个数据源中的电力业务数据进行接入管理，然后通过格式数据转换模型抽取电力业务数据，使用与电力业务数据的数据结构格式对应的模型处理规范，将电力业务数据的数据结构格式转换为匹配主站系统的数据结构格式，然后将电力业务数据转换为通用信息模型CIM形式的电力业务数据，能够建立电力业务数据的统一的数据结构格式，从而方便电力业务数据在子站系统和主站系统之间的传输，并方便对电力业务数据进行清洗，提高数据清洗效率。

请参见图6，图4所示的数据结构格式的规整系统还包括：

数据映射模块404，用于将所述CIM形式的电力业务数据转换为对象-关系映射形式的电力业务数据；

数据统一接口模块405，用于确定与所述电力业务数据的对象-关系映射形式对应的数据接口，根据所述数据接口传递所述电力业务数据。

请参见图7，图7为本发明一示例性实施例提供的一种多源电力业务数据的数据结构格式的规整系统的架构图。如图7所示，该多源电力业务数据的数据结构格式的规整系统，包括：数据源管理模块71、数据统一抽取模块72、数据统一解析模块73以及数据统一接口模块74四部分组成。

其中，数据源管理模块71由数据库处理模块711、网络服务web-services处理模块712、文件系统处理模块713、协议处理模块714组成；数据统一抽取模块72由通用信息/资源描述CIM/RDF模型721、可扩展标记语言XML模型722、特定格式数据模型723组成；数据统一解析模块73由工具包Jena处理模块731、文档对象DOM处理模块732、推模型SAX处理模块715、特定格式处理模块734组成；数据统一接口模块74由集成模块741和数据接口742组成。

首先，使用数据源管理模块71对需要接入的数据进行数据源配置管理，可以通过数据库处理模块711、网络服务web-services处理模块712、文件系统处理模块713和协议处理模块714分别完成对数据库类数据源、网络服务协议web-services和面向行为aop类数据源；文件系统类数据源、iec 61850和iec61870等类数据源的接入管理。

然后，由数据源管理模块71管理的数据源直接交由数据统一抽取模块72进行抽取，数据统一抽取模块72通过通用信息/资源描述CIM/RDF模型721、可扩展标记语言XML模型722和特定格式数据模型723这三种模型抽取各数据源中的数据。

再次，数据统一抽取模块72抽取到各模型数据后交由数据统一解析模块73进行处理，分别通过Jena处理模块731、文档对象DOM处理模块732、推模型SAX处理模块733和特定格式处理模块734这四个模块对上述数据统一抽取模块抽取的不同模型的电力业务数据进行解析，并将其封装为统一的JavaBean结构格式，通过JavaBean完成格式转换后交由最终数据统一接口模块74处理，由数据接口742其提供统一接口。

在本发明中，数据获取主要是根据各自不同的数据来源制定相应的数据获取策略，总结现有电网中的数据获取方式，数据源类型可划分为数据库、文件、规约数据流三种方式，各自不同的方式所需要的获取方式是不同的，区别对待；数据解析是对获取到的源数据进行语法解析，转换为内存中的变量或者对象数据。根据源数据格式的不同，将其分为三种：通用信息/资源描述CIM/RDF格式、普通的可扩展标记语言XML格式、特定格式的文本文件；格式转换是通过解析源数据在内存中构建的对象数据转换为标准的通用信息CIM模型的过程。格式的转换和数据的解析构建在一个程序模块中，直接将内存中的对象按照CIM模型进行定义；对象-关系映射以中间件(CIM模型)的形式存在，实现对象到关系数据库数据的映射。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。