一种多能源系统多源异构数据融合方法及系统与流程

1.本发明属于多能源系统数据处理技术领域，涉及一种多能源系统多源异构数据融合方法及系统。


背景技术：

2.随着状态监测技术的发展、电网结构复杂性的提高，以及电网人工智能应用的推广，智能电力设备采集数据呈现出规模大，更新速度快，多源异构，价值密度低的特点。在电力设备大数据爆炸性增长的新形势下，传统的数据处理技术已无法安全准确地从海量数据中完成知识获取和信息分析，因此多源异构大数据清洗和融合技术对于智能电网的稳定、安全可靠运行显示出重要作用。
3.针对多能源系统多源异构数据的融合，国内外学者开展了相关的研究。聂庆科提出了一种用于多源异构监测数据融合方法，通过采用小波分解技术对不同类型的原始监测数据进行预处理和去噪，并借助熵权法将来自不同监测点的相同类型监测数据融合为一个监测序列。王罡提出了一种新的综合管廊电力舱状态分析判断方法,将来自管廊电力舱的多个分布式数据源采用中间件技术进行数据层融合。ngiam通过深度学习模型提取音频数据和视频数据的特征，然后结合音频和视频特征形成目标对象的集成特征向量，实现异构信息特征源的非线性融合。莫慧凌提出了一种联邦学习中基于tucker分解的多源异构数据融合算法，通过引入张量tucker分解理论,构建一个具有异构空间维度特性的高阶张量，实现联邦学习中多源异构数据的融合。
4.由此可见，目前研究缺乏有效的多源异构数据融合技术，现有的多能源系统多源异构数据融合方法，数据融合误差较大，时间较长。同时对于各类传感器的大量监测数据，缺乏有效的处理。因此需研究数据配准、填补以及降噪等数据预处理技术，为数据的融合创造良好的基础。


技术实现要素：

5.本发明的目的在于克服现有技术中的不足，提出一种多能源系统多源异构数据融合方法及系统，能够有效提高多源异构数据的融合效率，减小数据融合的误差。
6.本发明解决其现实问题是采取以下技术方案实现的：
7.一种多能源系统多源异构数据融合方法，包括以下步骤：
8.步骤1、采集多能源系统负荷数据和环境监测数据，并清洗异常数据；
9.步骤2、对步骤1的清洗后的多能源系统负荷数据和环境监测数据进行数据时间配准；
10.步骤3、对步骤2配准后的数据进行数据填补，获得更为完整的传感器数据集；
11.步骤4、对步骤3填补后的完整数据集，进行数据降噪；
12.步骤5、对步骤4获得的降噪后多源异构数据进行融合。
13.而且，所述步骤1的具体步骤包括：
14.(1)采集多能源系统的负荷数据和环境监测数据；
15.其中，所述负荷数据包括设备的属性参数和电网的实时运行状态数据；所述环境监测数据包括温度、湿度和振动数据；
16.(2)采用局部异常因子算法，通过给每个所采集的数据都分配一个依赖于相邻区域密度的离群因子的离群程度值，计算每个数据的局部可达密度和局部异常因子；
17.所述数据的局部可达密度ρi(x)和局部异常因子lofi(x)的计算公式为：
[0018][0019][0020]
式中，ni(x)为数据点x的第i距离领域；ρi(x)为局部可达密度；si(x,fj)为监测数据x与第j天同期监测数据fj的距离；
[0021]
(3)通过判断局部异常因子数值来判断数据点是否为异常数据，进而获得初步清洗异常数据；
[0022]
其判断标准为：
[0023]
1)lofi(x)接近1，说明x可能和领域点输入同一簇；
[0024]
2)lofi(x)＜1，说明x的密度就高于其邻域点密度为密集点；
[0025]
3)lofi(x)＞1，说明x的密度就低于其邻域点密度为异常点。
[0026]
而且，所述步骤2的具体步骤包括：
[0027]
(1)采用最小二乘法对步骤1的清洗后的多能源系统负荷数据和环境监测数据进行数据时间配准，设传感器a1、a2的采样周期分别为t1、t2，传感器a1最近一次监测时刻记作(k-1)t1，当前时刻表示为kt1＝[(k-1)t1+nt2]，即在传感器a1的一个周期内，传感器a2的数据监测次数为n；
[0028]
(2)设传感器a1的监测值为yn，传感器a2的监测序列为yn＝(y1,y2,
…
,yn)
t
，则n个监测值的融合值和其倒数构成的数据集合为处理后的数据为
[0029]
yi＝yn+(i-n)tyn+oi[0030]
式中：oi为数据测量过程中出现的噪声值；yn为传感器a1的监测值；t为采样周期；yn为传感器a2的检测序列；
[0031]
(3)将基于传感器a1数据进行的时间配准后，传感器a2数据与测量向量表示为
[0032][0033]
式中，t＇为融合时间。
[0034]
而且，所述步骤3采用knn算法对步骤2配准后的数据进行数据填补，获得填补后的时序数据集的具体步骤包括：
[0035]
(1)利用与量测缺失传感器mi近邻的传感器历史采集数据进行联合计算，得到量测传感器之间的空间相关性：
[0036]
选择出与量测缺失传感器mi相关性高的k个传感器，定义传感器mi与近邻传感器mj的空间相关性系数为：
[0037][0038]
式中：r为两个量测传感器间的空间相关性；y
i,t-1
为传感器mi在时刻t-1的量测数据；y
j,t-1
为传感器mj在时刻t-1的量测数据；
[0039]
(2)基于计算获得的空间相关性系数，计算各传感器相对于量测缺失传感器的填补权重，具体为：
[0040][0041]
式中：wi为权重系数；r为两个传感器间的空间相关性；
[0042]
(3)基于knn算法空间相关性得出利用k个近邻传感器量测数据与相应权重系数，填补量测缺失传感器数据y
i,t
，具体可写为
[0043][0044]
式中：为传感器mi在时刻t缺失数据的填补结果；
[0045]
通过上式，可以得出传感器vi在时刻t缺失数据的填补结果。
[0046]
而且，所述步骤4的具体方法为：
[0047]
对步骤3填补后的完整数据集，采用dbscan算法进行数据降噪；
[0048]
其具体步骤包括：
[0049]
(1)输入的填补后的完整数据集b＝{y1，y2，
…
，yn}，ε为半径参数，minpts为最小对象参数，将数据集b中所有对象标记为未读；
[0050]
(2)从数据集b中取包含任意个数据对象p的数据集bi，其中bi∈b，i＝1、2、3
…
，并将bi标记为已读；
[0051]
(3)通过ε和minpts参数对p进行判断，如果p为核心对象，找出p的所有密度可达数据对象，并标记为已读；若p不是核心对象，且没有哪个对象对p密度可达，将p标记为噪声数据；
[0052]
(4)在满足的条件下，重复(2)和(3)，直至所有数据都标记为已读；
[0053]
(5)将其中一个核心对象作为种子，将该对象的所有密度可达点都归为一类，形成一个较大范围的数据对象集合，也称为聚类簇；
[0054]
(6)不断循环(5)遍历所有核心对象，完成对填补后的完整数据集进行降噪。
[0055]
而且，所述步骤5的具体步骤包括：
[0056]
(1)采用卡尔曼滤波算法将降噪处理后的数据与相邻数据序列进行交换融合，其中采用的信息矩阵为：
[0057][0058]
式中：为k时刻的后验估计协方差矩阵；为k时刻的状态估计值；
[0059]
(2)实现时间序列i的更新，算法的如下
[0060][0061]
式中：q和r分别是系统噪声和观测噪声的协方差矩阵，在实际融合中，每个节点i能够从子集的节点接收数据且都可以将自身的局部后验协方差发送到邻接节点的协方差矩阵中进行数据融合；
[0062]
(3)设降噪处理后的总数据集为n，利用数据与其相邻数据的进行数据融合，计算方法为
[0063][0064]
式中：w
i,j
为数据的组合权重；
[0065]
(4)不断重复上述过程，直到多能源系统多源异构数据融合完成即可结束。
[0066]
一种多能源系统多源异构数据融合系统，其特征在于：包括：
[0067]
采集模块，用于采集多能源系统负荷数据和环境监测数据，并清洗异常数据；
[0068]
配准模块，用于对清洗后的多能源系统负荷数据和环境监测数据进行数据时间配准；
[0069]
填补模块，用于对配准后的数据进行数据填补，获得更为完整的传感器数据集；
[0070]
降噪模块，用于对填补后的完整数据集，进行数据降噪；
[0071]
融合模块，用于对降噪后多源异构数据进行融合。
[0072]
而且，所述采集模块还包括：
[0073]
数据采集模块，用于采集多能源系统的负荷数据和环境监测数据；
[0074]
其中，所述负荷数据包括设备的属性参数和电网的实时运行状态数据；所述环境监测数据包括温度、湿度和振动数据；
[0075]
异常数据清洗模块，采用局部异常因子算法，通过给每个所采集的数据都分配一个依赖于相邻区域密度的离群因子的离群程度值，计算每个数据的局部可达密度和局部异常因子；
[0076]
所述数据的局部可达密度ρi(x)和局部异常因子lofi(x)的计算公式为：
[0077]
[0078][0079]
式中，ni(x)为数据点x的第i距离领域；ρi(x)为局部可达密度；si(x,fj)为监测数据x与第j天同期监测数据fj的距离；
[0080]
可用数据获取模块，通过判断局部异常因子数值来判断数据点是否为异常数据，进而获得初步清洗异常数据后的可用数据；
[0081]
其判断标准为：
[0082]
1)lofi(x)接近1，说明x可能和领域点输入同一簇；
[0083]
2)lofi(x)＜1，说明x的密度就高于其邻域点密度为密集点；
[0084]
3)lofi(x)＞1，说明x的密度就低于其邻域点密度为异常点。
[0085]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的步骤。
[0086]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
[0087]
本发明的优点和有益效果：
[0088]
1、本发明提出一种多能源系统多源异构数据融合方法，能够有效提高多源异构数据的融合效率，减小数据融合的误差。其中，步骤1中清洗异常数据可减少异常监测数据对融合效果的影响；步骤2中数据配准可实现数据时间上的匹配；步骤3中数据填补可实现各传感器中的数据密度一致；步骤4中数据降噪可提高填补后数据的准确性；步骤5基于以上数据处理，可实现多源异构数据的高精度融合。
[0089]
2、本发明分别采用最小二乘法、knn算法、dbscan算法对所采集的数据进行配准、填补、降噪，为多源异构数据的融合提供关键技术支持，提高多能源系统信息准确性及容错性。
附图说明
[0090]
图1为本发明的一种多能源系统多源异构数据融合方法的处理流程图。
具体实施方式
[0091]
以下结合附图对本发明实施例作进一步详述：
[0092]
一种多能源系统多源异构数据融合方法，如图1所示，包括以下步骤：
[0093]
步骤1、采集多能源系统负荷数据和环境监测数据，并初步清洗异常数据；
[0094]
所述步骤1的具体步骤包括：
[0095]
(1)采集多能源系统负荷数据包括设备的属性参数和电网的实时运行状态数据；采集环境监测数据包括温度、湿度和振动数据；
[0096]
(2)采用局部异常因子算法，通过给每个所采集的数据都分配一个依赖于相邻区域密度的离群因子的离群程度值，计算每个数据的局部可达密度和局部异常因子；
[0097]
所述数据的局部可达密度ρi(x)和局部异常因子lofi(x)的计算公式为：
[0098][0099][0100]
式中，ni(x)为数据点x的第i距离领域；ρi(x)为局部可达密度；si(x,fj)为监测数据x与第j天同期监测数据fj的距离；
[0101]
(3)通过判断局部异常因子数值来判断数据点是否为异常数据，进而获得初步清洗异常数据后的可用数据；
[0102]
其判断标准为：
[0103]
1)lofi(x)接近1，说明x可能和领域点输入同一簇；
[0104]
2)lofi(x)＜1，说明x的密度就高于其邻域点密度为密集点；
[0105]
3)lofi(x)＞1，说明x的密度就低于其邻域点密度为异常点；
[0106]
步骤2、考虑到各传感器采样周期不同，对步骤1的清洗后的多能源系统负荷数据和环境监测数据进行数据时间配准；
[0107]
所述步骤2的具体步骤包括：
[0108]
(1)采用最小二乘法对步骤1的清洗后的多能源系统负荷数据和环境监测数据进行数据时间配准，设传感器a1、a2的采样周期分别为t1、t2，传感器a1最近一次监测时刻记作(k-1)t1，当前时刻表示为kt1＝[(k-1)t1+nt2]，即在传感器a1的一个周期内，传感器a2的数据监测次数为n；
[0109]
(2)设传感器a1的监测值为yn，传感器a2的监测序列为yn＝(y1,y2,
…
,yn)
t
，则n个监测值的融合值和其倒数构成的数据集合为处理后的数据为
[0110]
yi＝yn+(i-n)tyn+oi[0111]
式中：oi为数据测量过程中出现的噪声值；yn为传感器a1的监测值；t为采样周期；yn为传感器a2的检测序列。
[0112]
(4)将基于传感器a1数据进行的时间配准后，传感器a2数据与测量向量表示为
[0113][0114]
式中，t＇为融合时间。
[0115]
步骤3、考虑到各传感器数据采集的量测数据缺失，对步骤2配准后的数据进行数据填补，获得更为完整的传感器数据集，提高多能源系统信息准确性及容错性；
[0116]
所述步骤3采用knn算法对步骤2配准后的数据进行数据填补，获得填补后的时序数据集的具体步骤包括：
[0117]
(2)针对步骤2配准后多能源系统负荷数据和环境监测数据的量测缺失数据y
i,t
的填补，利用与量测缺失传感器mi近邻的传感器历史采集数据进行联合计算，得到量测传感器之间的空间相关性：
[0118]
选择出与量测缺失传感器mi相关性高的k个传感器，定义传感器mi与近邻传感器mj的空间相关性系数为：
[0119][0120]
式中：r为两个量测传感器间的空间相关性；y
i,t-1
为传感器mi在时刻t-1的量测数据；y
j,t-1
为传感器mj在时刻t-1的量测数据。
[0121]
(2)基于计算获得的空间相关性系数，计算各传感器相对于量测缺失传感器的填补权重，具体为：
[0122][0123]
式中：wi为权重系数；r为两个传感器间的空间相关性；
[0124]
(3)基于knn算法空间相关性得出利用k个近邻传感器量测数据与相应权重系数，填补量测缺失传感器数据y
i,t
，具体可写为
[0125][0126]
式中：为传感器mi在时刻t缺失数据的填补结果。
[0127]
通过上式，可以得出传感器vi在时刻t缺失数据的填补结果。
[0128]
在本实施例中，所述步骤3采用knn算法进行数据填补，针对量测缺失数据的填补，利用与量测缺失传感器近邻的传感器历史采集数据进行联合计算，得到量测传感器之间的空间相关性，并基于空间相关性系数，计算各传感器相对于量测缺失传感器的填补权重，填补量测缺失传感器数据。
[0129]
步骤4、基于步骤3填补后的完整数据集，采用dbscan算法进行数据降噪；
[0130]
dbscan算法的核心在于参数eps和minpts，通过这两个参数确定每个点的邻域和核心对象，继而通过核心对象寻找密度可达点，实现数据对象聚类，进而完成数据降噪。
[0131]
所述步骤4的具体步骤包括：
[0132]
(1)输入的填补后的完整数据集b＝{y1，y2，
…
，yn}，ε为半径参数，minpts为最小对象参数，将数据集b中所有对象标记为未读。
[0133]
(2)从数据集b中取包含任意个数据对象p的数据集bi，其中bi∈b，i＝1、2、3
…
，并将bi标记为已读。
[0134]
(3)通过ε和minpts参数对p进行判断，如果p为核心对象，找出p的所有密度可达数据对象，并标记为已读。若p不是核心对象，且没有哪个对象对p密度可达，将p标记为噪声数据。
[0135]
(4)在满足的条件下，重复(2)和(3)，直至所有数据都标记为已读。
[0136]
(5)将其中一个核心对象作为种子，将该对象的所有密度可达点都归为一类，形成一个较大范围的数据对象集合，也称为聚类簇。
[0137]
(6)不断循环(5)遍历所有核心对象，完成对填补后的完整数据集进行降噪。
[0138]
所述步骤4的工作原理是：
[0139]
以ε表征个体相距距离的临界值；minpts表征这个距离内个体数量的临界值。
[0140]
对于样本集合b＝(y1，y2，
…
，yn)，dbscan算法定义如下：
[0141]
1)ε邻域：对于b中某个个体yi，其ε邻域表示的是b中距离yi不超过ε的样本子集。即：
[0142]nε
(yi)＝{yj∈b|dist(yi，yj)≤ε} (1)
[0143]
另外用n
ε
(yi)表示这个ε邻域中个体的数量；
[0144]
2)核心点：对于b中某个个体yi，若其ε邻域中的个体数量不小于
[0145]
minpts(nε(yi)≥minpts) (2)
[0146]
则称yi为核心点；
[0147]
3)密度直达：对于b中某个核心点yi，其ε邻域中的所有点都由这个核心点密度直达；
[0148]
4)密度可达：对于yi和yj，若存在这样的样本序列p1，p2，
…
，pm，满足p1＝yi，pm＝yj，且序列中p
t+1
由p
t
密度直达，则称yj由yi密度可达，即密度可达具有传递性；
[0149]
5)密度相连：对于yi和yj，若存在核心点yk，使yi和yj均由yk密度可达，则yi和yj密度相连。
[0150]
在本实施例中，所述步骤4中采用dbscan算法进行数据降噪，根据样本数据密度对样本进行聚类，采用密度或者空间距离作为参考量，可以在多维空间上识别出数据量稀少的离群值，消除离群值起到数据降噪效果，以此找出的所有密度相连的点即为样本主体，其余数据均为离群值即为噪音点。
[0151]
步骤5、采用卡尔曼滤波算法对步骤4获得的降噪后多源异构数据进行融合。
[0152]
所述步骤5的具体步骤包括：
[0153]
(1)将降噪处理后的数据与相邻数据序列进行交换融合，其中采用的信息矩阵为：
[0154][0155]
式中：为k时刻的后验估计协方差矩阵；为k时刻的状态估计值。
[0156]
(2)实现时间序列i的更新，算法的如下
[0157][0158]
式中：q和r分别是系统噪声和观测噪声的协方差矩阵，在实际融合中，每个节点i能够从子集的节点接收数据且都可以将自身的局部后验协方差发送到邻接节点的协方差矩阵中进行数据融合。
[0159]
(3)设降噪处理后的总数据集为n，利用数据与其相邻数据的进行数据融合，计算方法为
[0160][0161]
式中：w
i,j
为数据的组合权重。
[0162]
(4)不断重复上述过程，直到多能源系统多源异构数据融合融合完成即可结束。
[0163]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0164]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0165]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0166]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。