一种低压配电网多源数据处理与融合方法及系统与流程

本发明涉及的技术领域，尤其涉及一种低压配电网多源数据处理与融合方法及系统。

背景技术：

近年来，低压配电台区的数量很大，在应用中需要实时测量有总/分相的有无功、电流、电压、视载功率和功率因素等20余个多源数据，而现有的低压配电网对于多源数据的处理方法主要采用的包括神经网络法、卡尔曼滤波法、贝叶斯推理法和聚类分析法等传统算法模型。

使用现有的配网自动化系统直接处理和分析如此多的配电台区数据，将会占用系统的大量资源，且所获得到的多源数据并不能依靠这些传统的算法进行实时有效的处理，例如低压配电网中使用的神经网络算法存在收敛速度慢、局部极点小、网络结构不确定等缺点。低压配电网中的数据受到多种因素的影响，存在诸多的缺陷，若使用的算法无法及时处理电网产生的多源数据，则极有可能使得电网出现瘫痪现象，导致电网故障。

技术实现要素：

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是：提出一种低压配电网多源数据处理与融合方法，能够提高计算效率和时效性，实现对低压配电网数据的实时监测和处理。

为解决上述技术问题，本发明提供如下技术方案：包括，获取多源数据并利用map映射机制对其进行划分，得到等分容量大小的子数据集；利用mapreduce编程模型对hermite正交基神经网络算法进行改进，并将其建立在hadoop分布式集群上；对改进的hermite正交基神经网络的低压配电网数据处理与融合模型进行训练；基于训练后的模型对子数据集进行处理，判定数据的类别；利用reduce机制，对最终融合的子集合进行合并处理并得到最终的预测值。

作为本发明所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述对数据进行划分还包括，对获取到的多源数据进行离散化处理，得到离散化数据；将离散化数据进行矩阵化处理，得到与时间相关的数据矩阵。

作为本发明所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述hermite正交基神经网络包括输入层、hermite正交基隐含层和输出层，且隐含层的函数满足以下公式，

其中，n为隐含层中的神经元个数，x为输入值。

作为本发明所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述改进的hermite正交基神经网络的最优权值计算公式为，

ω＝(x^tx)^-1x^ty

其中，ω为权值，x为受激励矩阵，y为目标输出相量，t为转置符号。

作为本发明所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述模型对子数据的处理还包括以下步骤，对子数据集进行归一化处理；利用网络训练结果学习逼近；计算权值并判断其是否满足偏差，若不满足则进一步修正权值直至满足；当权值满足偏差时输出所述子数据集所属的类别。

作为本发明所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述对子数据的处理还包括，将经过模型处理的各子数据集的结果进行识别并输出类型，得到不同类型的对象结果。

作为本发明所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述数据处理与融合模型的流程为，将低压配电网分为传感测量层、数据管理层和应用层，并将三层分别与所述数据处理与融合模型的数据级融合、特征级融合和决策级融合一一对应；输入的数据x为一个包含多样属性样本的多维数组；每个类别数据样本分别对应一个hermite正交基神经网络，并根据对象类别设置隐含层节点数目；训练不同对象的样本并将各对象期望输出的样本设置为1，不满足期望输出设置为0，通过hermite正交基神经网络算法来学习逼近；在初始分类融合阶段，以设定阀值作为数据归类标准，若输出超过设定的阈值，则判定该样本属于规定类数据，根据输出结果，将数据进行类别划分并判定样本的所属类别；将待分类识别的数据全部行进分类并将最后结果做统计分析。

作为本发明所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述对模型进行训练还包括以下步骤，对网络初始化并赋予初值，输入数据；求解隐含层和输出层的输出，以及输出层的偏差值；判断偏差是否满足，若不满足则调节隐含层和输出层之间的连接权值并重新计算输出层的输出和偏差；当偏差满足时结束训练。

作为本发明所述的低压配电网多源数据处理与融合系统的一种优选方案，其中：包括，数据处理模块，用于多源数据的获取和等分容量大小的子数据集的建立；优化模块，用于hermite正交基神经网络算法的改进，并将其建立在hadoop分布式集群上；训练模块，与所述数据处理模块和优化模块连接，用于对所述改进的hermite正交基神经网络的低压配电网数据处理与融合模型进行训练；判别模块，与所述训练模块连接，用于对所述训练后的数据类别进行判定并分析。

本发明的有益效果：本发明借助hadoop平台，通过mapreduce并行编程模型，将hermite正交基前向神经网络算法进行并行化改进，并用于将其建立在hadoop分布式集群上，基于分布式存储和并行计算对多源数据进行处理，实现了对低压配电网数据的实时监测和处理，为低压配电网的安全运行提供了可靠的保证。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的低压配电网多源数据处理与融合方法的流程示意图；

图2为本发明第一个实施例所述的低压配电网多源数据处理与融合方法的mapreduce原理示意图；

图3为本发明第一个实施例所述的低压配电网多源数据处理与融合方法的hermite正交基前向神经网络示意图；

图4为本发明第一个实施例所述的低压配电网多源数据处理与融合方法的hermite正交基前向神经网络模型训练流程示意图；

图5为本发明第一个实施例所述的低压配电网多源数据处理与融合方法的基于hermite的低压配电网多源数据处理与融合模型示意图；

图6为本发明第一个实施例所述的低压配电网多源数据处理与融合方法的处理效率对比结果示意图；

图7为本发明第一个实施例所述的低压配电网多源数据处理与融合方法的准确率对比结果示意图；

图8为本发明第二个实施例所述的低压配电网多源数据处理与融合系统的模块结构分布示意图；

图9为本发明第二个实施例所述的低压配电网多源数据处理与融合系统的网络拓扑结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～图7，为本发明的第一个实施例，该实施例提供了一种低压配电网多源数据处理与融合方法，包括：

s1：获取多源数据并利用map映射机制对其进行划分，得到等分容量大小的子数据集。

具体的，根据目标要求，需要采集的多源数据包括电流、电压、功率等，利用map映射机制将多源数据的集合按照等分的容量大小划分为子数据集1、子数据集2，...，子数据n，并通过任务分配节点分配到各任务执行节点。

进一步的，对多源数据进行划分还包括以下步骤，

对获取到的多源数据进行离散化处理，得到离散化数据；其中，离散化处理的方法包括等距、等频处理方法，对于采集时即为离散化的数据则不需要进行离散化处理，例如开关量。

将离散化数据进行矩阵化处理，得到与时间相关的数据矩阵。具体的，假设向量n为某一设备在某一时刻采集并离散化处理后的数据，且n＝(n1，n2，...ni，...，nm，t)。其中，m表示维数，ni表示第i维样本数据取值，t表示采集时刻，可以得到该时刻多个设备所收集到的数据矩阵m：

进而可以获得m中的每个向量所组成的数据矩阵nq为：

s2：利用mapreduce编程模型对hermite正交基神经网络算法进行并行化改进，并将其建立在hadoop分布式集群上。

参照图2，为mapreduce编程模型的原理图，图3为hermite正交基神经网络算法的结构示意图。其中，hermite正交基神经网络算法包括输入层、hermite正交基隐含层和输出层，隐含层激励函数选取的是一组赫尔梅特正交多项式，输入层和输出层选取的是一组线性激励函数。隐含层的函数满足以下公式，

其中，n为隐含层中的神经元个数，x为输入值。

权值列向量w满足如下公式：

其中，

输入受激励矩阵x为：

目标输出相量y为：

在神经网络学习过程中利用bp算法训练可以得到其权值，或基于伪逆矩阵直接得出权值。将hermite网络中所设定的阈值均为0，并设定输入层神经元和输出层神经元的权值为1，通过伪逆矩阵就可一步得到隐含层神经元的最优权值，本实施例中改进的hermite正交基神经网络的最优权值计算公式为，

ω＝(x^tx)^-1x^ty

其中，ω为权值，x为受激励矩阵，y为目标输出相量，t为转置符号。

s3：对改进的hermite正交基神经网络的低压配电网数据处理与融合模型进行训练。

训练流程如下：

(1)对网络初始化并赋予初值，输入数据矩阵nq；

(2)通过迭代法求解隐含层和输出层的输出，以及输出层的偏差值；

(3)判断偏差是否满足，若不满足则调节隐含层和输出层之间的连接权值并重新计算输出层的输出和偏差；

(4)当偏差满足时结束训练。

其中需要说明的是，偏差需要满足网络的处理误差函数：

其中，e即为神经网络的处理误差，yi为目标输出相量值，ωp为权值系数，xi为受激励矩阵，为受激励矩阵在隐含层神经元的输出值。

s4：基于训练后的模型对子数据集进行处理，判定数据的类别。

具体的，数据处理与融合模型的对子数据集进行处理流程包括，

将低压配电网分为传感测量层、数据管理层和应用层，并将三层分别与数据处理与融合模型的数据级融合、特征级融合和决策级融合一一对应；

由于低压配电网数据种类繁多，需要设计一个能将多输入转化单输出的网络结构，因此输入x对应地被设定为一个包含多样属性样本的多维数组。

每个类别数据样本分别对应一个hermite正交基神经网络，并根据对象类别设置隐含层节点数目；

训练不同对象的样本并将各对象期望输出的样本设置为1，不满足期望输出设置为0，通过hermite正交基神经网络算法来学习逼近；

在初始分类融合阶段，以设定阀值作为数据归类标准，若输出超过设定的阈值，则判定该样本属于规定类数据，根据输出结果，将数据进行类别划分并判定样本的所属类别；

将待分类识别的数据全部行进分类并将最后结果做统计分析。

s5：利用reduce机制，对最终融合的子集合进行合并处理并得到最终结果。

通过多个reduce函数可以把每一个节点计算处理的子集进行汇总并得到最终的结果。

为了验证本实施例所提出的低压配电网多源数据处理与融合方法在实际应用中的有益效果，进行如下的对比实验：分别采用基于mapreduce算法和本实施例提出的方法对采集到的相同数据进行处理，共选取了120g大小的数据，比较在两种方法下的数据处理速度，得到如图6所示的处理效率对比结果示意图，可以看出，在15gb大小以内，两种算法的处理效率差别并不是很大，但是当数据量超过15gb时，本专利的算法基于hadoop平台高效的处理效率及mapreduce并行计算框架快速计算随着数据量增大处理时间增长趋于线性，与传统的算法比较而言更适合于低压配电网多源大数据的处理。

进一步的，为了验证本实施例的方法在实际应用中对于数据预测准确率的提升，进行如下的对比实验：分别采用基于传统的bp神经网络算法和本实施例提出的方法对同样的数据进行处理和预测，并将不同方法下得到的功率预测结果与实际功率结果进行对比从而得出准确率的对比结果，得到的结果如图7所示，可以看出，由于本实施例提出的方法种hermite神经网络算法以正交多项式作为隐含层神经元的激励函数，且仅需一步就可以计算出网络连接的最优权值，在对变量进行选择训练时不仅能实现数据融合，还能保留原始数据的特征信息，因此得到的预测结果相比与传统的bp神经网络算法下的预测结果更接近于真实值曲线。

实施例2

参照图8～图9，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种低压配电网多源数据处理与融合系统，包括：

数据处理模块100，用于多源数据的获取，并通过map映射机制将多源数据进行划分，进而能够建立等分容量大小的子数据集。

优化模块200，用于hermite正交基神经网络算法的改进，并用于将其建立在hadoop分布式集群上。通过mapreduce并行化模型对hermite正交基神经网络算法进行优化，给出了更有效率的多源数据融合模型，将来源不同、种类不同的混杂数据进行分类融合处理。

训练模块300，与数据处理模块100和优化模块200连接，用于对改进的hermite正交基神经网络的低压配电网数据处理与融合模型进行训练。首先设定训练的约束条件，而后计算模型的全局极值，当该值达到约束条件时结束训练，输出最优解。

判别模块400，与训练模块300连接，用于对训练后的子数据集的数据类别进行判定并分析。首先设定分类阀值，当hermite正交基神经网络的输出超过所规定的阈值，则判定该样本属于规定类数据，最后将分类结果做统计分析。

较佳的是，数据处理模块100主要分为三个层次，包括控制层、运算层及存储层，控制层是数据处理模块100的指挥控制中心，由指令寄存器、指令译码器和操作控制器组成，控制层能够根据用户预先编好的程序，依次从存储器中取出各条指令，放在指令寄存器中，通过指令译码器分析确定，通知操作控制器进行操作，按照确定的时序向相应的部件发出微操作控制信号；运算层是数据处理模块100的核心，能够执行由控制层发来的控制信号进行数据划分操作；存储层是数据处理模块100的数据库，能够存放已处理的数据，并将其生成数据集。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。