基于深度学习的多光谱图像融合电力物联网故障点检测方法与流程

本发明属于故障检测领域，涉及一种基于深度学习的多光谱图像融合电力物联网故障点检测方法。

背景技术：

电力是国家的经济命脉，是支撑国民经济的重要基础产业之一。随着计算机技术、传感器技术和通信技术的快速发展和广泛应用，电力物联网设备已经投入实际工作。这给生产带来了很多方便，但也逐渐暴露出一些问题。由于电力物联网中的多源和极其复杂的设备信息，这在一定程度上给电力物联网应用的互操作性带来了困难。这些挑战包括检测电力物联网设备中的故障点。故障检测严重依赖人员经验，检测效率低。如今，虽然电力设备故障检测与诊断技术发展迅速，各种类型的电力设备故障都有相应的检测技术，但人们在电力物联网设备故障检测方面仍然面临着各种困难。电力物联网设备对生产和生活至关重要。一旦出现问题，将会造成巨大的经济损失和社会影响。因此，对电力物联网设备故障点检测技术的研究将有助于提高设备的稳定性，保证电网的安全高效运行。

在现有的电力设备故障检测中，各种检测方法都可以起到一定的作用，但是仍然存在很多不足。首先，中国电网分布范围广，仅靠人力配合进行故障检测是远远不够的。其次，电网中的设备故障多种多样，这就要求故障检测方法或模型具有很高的泛化能力，并能应对各种设备故障。最后，现有的故障检测方法不能满足智能电网框架下快速准确的故障检测要求。因此，我们需要一种新的方法来准确检测电力物联网设备并及时诊断设备故障。

技术实现要素：

本发明的目的在于克服上述现有技术的缺点，提供了一种基于深度学习的多光谱图像融合电力物联网故障点检测方法，该方法能够实现电力物联网故障点的准确检测。

为达到上述目的，本发明所述的基于深度学习的多光谱图像融合电力物联网故障点检测方法包括以下步骤：

1)获取若干电力物联网设备的多光谱图像，再对各多光谱图像进行预处理；

2)基于深度卷积神经网络使用特征空间距离对多光谱图像进行描述；

3)将多光谱图像作为训练样本输入到深度卷积神经网络中对深度卷积神经网络进行训练；

4)利用训练后的深度卷积神经网络对待检测多光谱图像进行检测，得电力物联网的故障点位置。

步骤4)的具体操作为：

从待检测多光谱图像中提取候选区域，再将所有候选区域调整到统一的大小，然后再输入到训练后的深度卷积神经网络中，利用分类器或者softmax对候选区域进行分离，以确定电力物联网的故障点位置。

步骤1)中对多光谱图像进行预处理的具体过程为：对多光谱图像进行图像配准、图像增强及图像融合操作。

利用基于灰度的图像配准方法、基于变换域的图像配准方法或基于特征的图像配准方法对多光谱图像进行图像配准。

利用线性变换方法、分段线性变换方法或直方图均衡化方法对多光谱图像进行图像增强。

基于连续小波变换进行图像融合。

本发明具有以下有益效果：

本发明所述的基于深度学习的多光谱图像融合电力物联网故障点检测方法在具体操作时，先对电力物联网设备的多光谱图像进行预处理，然后利用预处理后的多光谱图像对深度卷积神经网络进行训练，再利用训练后的深度卷积神经网络对故障点进行检测，具有很高的准确率，其中，通过对多光谱图像进行融合，将实时变电站的红外热像与可见光图像相结合，得到效果更好、信息更全面的融合图像，继而实现电力物联网故障点的准确检测。

附图说明

图1为物联网架构图；

图2为roc曲线图；

图3a为融合之前的可见光图像；

图3b为融合之前的红外图像；

图3c为融合后的图像；

图4为融合图像评估结果示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

随着我国电力系统的不断发展，其发展目标已逐渐转向利用物联网技术为电力设备建设智能电网，以获得可观的社会及经济效益，其中，电力物联网是智能电网建设的关键技术支撑，在电网安全生产、用户互动和信息收集方面发挥着重要作用。

电力物联网设备一旦出现故障，无法快速修复，将严重影响生产及生活，然而现有故障检测方法泛化能力不足，不能快速准确找到故障区域，针对目前电力物联网设备故障检测方法的不足，本发明提出了一种基于深度学习的多光谱图像融合方法来检测电力物联网设备的故障点。利用深度卷积神经网络通过模拟电源设备的图像进行训练，再利用训练后的深度卷积神经网络对故障点进行检测，具有很高的准确率，图像融合效果显著，这表明本发明能够准确融合电力设备的多光谱图像，有助于快速准确地定位故障点。

总体的，本发明主要包括图像预处理、图像融合与设备故障检测两部分，电力设备故障点的检测分为识别和定位，对于识别任务，在训练深度卷积神经网络之后，设计分类器或使用softmax将深度卷积神经网络输出参数分类为特征，对于定位任务，需要调整候选帧的位置。在基于卷积神经网络的检测算法中，从多光谱图像中提取大约3000个候选区域，然后对各候选区域进行调整，将所有候选区域调整到统一的大小，再输入到训练后的深度卷积神经网络中，对各候选区域进行分类，生成最终检测位置，候选区域分类由支持向量机执行，利用卷积神经网络对候选帧进行回归定位，以提高定位的准确性，有利于故障点的检测，本发明具体包括以下步骤：

1)图像预处理：对源图像进行图像配准、图像增强及图像融合操作；

图像配准：采用图像配准方法将同一目标的两幅或多幅图像在空间位置上对齐，所述图像配准方法为基于灰度的图像配准方法、基于变换域的图像配准方法或基于特征的图像配准方法

图像增强：图像增强的目的是提高图像质量，突出图像中的重要信息，抑制图像中不需要的重要信息，得到更符合人们应用要求的图像，典型的图像增强方法有线性变换方法、分段线性变换方法及直方图均衡化方法。

图像融合：使用融合策略合成不同传感器检测的图像，以获得高质量的图像，即，通过提取和合成不同光谱图像的信息，获得同一目标的更可靠、全面的图像描述。

本发明中基于连续小波变换进行图像融合步骤分为三个步骤:

a)对待融合的源图像进行conourtlet分解，得到一系列方向子带及低通子带；

b)对各分解层图像进行融合处理，得融合图像对应的conourtlet系数；

c)先通过拉普拉斯变换对图像进行多尺度缩放以捕获奇异点，然后通过方向滤波器将分布在相同方向上的奇异点组合成系数，即合并方向接近的奇异点，对融合后的轮廓波系数进行重构，得到最终的融合图像。

2)基于深度卷积神经网络的多光谱图像描述符；

基于深度卷积神经网络使用特征空间距离对图像进行描述，其中，包含相同场景的多光谱图像在特征空间中的距离较近，包含不同场景的多光谱图像在特征空间中距离较远。

3)对深度卷积神经网络进行训练，具体过程为：

a)将图像作为训练样本输入到深度卷积神经网络中，通过各卷积层及采样层提取并映射图像特征，然后通过全连通层输出；

b)根据预期输出优化参数，最常见的优化方法为梯度下降法，具体为：

设有c类n个训练样本，成本函数e为：

其中，tn,k为对应于网络输出的第n个样本的第k个维度标签，yn,k为对应于第n个样本的第k个维度网络的实际输出。

对t阈值更新，η表示学习率，深度卷积神经网络第t+1个卷积层的神经元权重更新为:

下采样层的神经元权重更新为：

4)基于深度卷积神经网络的多光谱图像描述符训练，具体为：

a)输入可见光与红外光贴片对；

b)通过样本重构模块对输入数据进行重构；

样本重构用于深度学习神经网络的多光谱图像描述符训练的目标是总的最大分类精度，大比例的阴性样本会导致算法更加注重提高阴性样本的分类精度，而忽略阳性样本的分类精度，因此，在卷积层之前增加了数据采样层，数据采样层的作用是重建数据集，以便在每次迭代中由神经网络选择的批处理数据中的正样本与负样本得到平衡，从而提高几个类别的分类精度，样本重建模块可以自由设置正样本和负样本的比率。本发明中的比例设置为1:1。

c)使用特征学习网络提取两个输入块的特征；

特征学习：卷积神经网络是最适合多光谱图像特征提取的网络，对于多光谱图像描述符，需要在卷积神经网络中设置超参数，如卷积核大小、卷积核数量及学习速率等。特征学习模块是多光谱图像描述符网络的核心部分，网络参数设置为：测试迭代次数及测试间隔迭代次数均为1500次，初始学习率设置为0.02，最大迭代次数为500000次。

d)使用测量学习网络计算两个特征之间的距离；

衡量学习：为评估两个特征向量之间的相似程度，通常使用相似性度量来进行度量。多光谱描述符的相似性度量是评估描述符是否描述多光谱图像的准确性的标准。性能不佳的相似性度量会导致特征学习网络无法获得正确的学习反馈，从而无法学习正确的参数，通常，使用余弦距离及欧几里德距离来执行相似性度量。

其中，欧几里德距离的公式为：

两个矢量之间的余弦距离可以用它们之间角度的余弦表示为：

e)利用损失函数估计模型采用预测值f(x)与groundtruth的不一致程度，并用随机梯度下降法更新网络参数。

f)重复步骤a)至步骤e)，直至网损稳定在预设范围内。

另外，多光谱融合图像的质量评价指标一般采用信息熵、标准差、清晰度(平均梯度)及相关系数。

信息熵e：衡量图像中包含的丰富信息，信息熵e为：

其中，l表示灰度级的总数，pi表示灰度值等于像素总数的像素数的比率，信息熵值越大，则表示图像中包含的信息量越大，图像质量越好。

标准差σ：用于反映图像的灰度级相对于平均灰度级的分散，其中，标准差σ为：

其中f(x，y)表示图像中(x，y)位置的像素灰度值，表示整个图像的平均灰度值，标准差的值越大，则图像的灰度分布越分散，图像的对比度越大，越容易看到更多的信息。

清晰度用于表示图像的清晰度，清晰度为：

其中，m和n分别表示图像的行数和列数，及分别表示沿x方向及y方向的差异。

相关系数cc(f,g)；用于反映融合图像与源图像的相关程度，相关系数cc(f,g)为：

其中，相关系数越大，则融合图像从原始图像中提取的信息越多。

与传统方法相比，本发明得到的融合图像具有较好的融合效果、更全面的信息及更高的清晰度和相关系数，能够获得更好、更全面的图像，以帮助系统或工作人员准确地检测电力设备的故障点。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。