复杂背景下电力设备的红外与可见光图像配准方法及系统

1.本发明涉及图像处理技术领域，特别是涉及一种复杂背景下电力设备的红外与可见光图像配准方法及系统。


背景技术：

2.电力系统运行的可靠性与国民经济息息相关。现随着经济和科学技术的快速发展，用户对于供电可靠性有了更高的要求。为实现可靠持续供电并保证良好的电能质量，需要判断电力设备是否处于正常的运行状态。通常是利用红外成像设备或测温仪对非正常发热的电力设备进行检测，但是这种检测方法效率低、成本高，且容易受到人为因素的影响。
3.红外图像具有可测温且受环境影响较小的特点，可见光图像具有细节丰富的特点，即可见光信息对红外信息可以进行有益补充，因此，基于红外图像与可见光图像处理技术的电力设备故障诊断具有很大的发展潜力。科研人员利用图像处理技术对红外图像与可见光图像进行融合，以便进行电力设备的故障检测。其中，图像配准是图像融合的必要前提，用于获取两幅或多幅相同场景的图像的映射关系。
4.现阶段，基于尺度不变性的点特征图像配准方法被广泛应用，常见的配准方法有sift算法、surf算法和asift算法等。lowe d提出的尺度不变特征变换方法，即(scale
‑
invariant feature transform，sift)算法，奠定了基于点特征配准算法的基础，可解决图像平移、旋转等配准问题，但计算量大、耗时长，且不适用于图像的复杂变化情况；bay等人通过对sift算法进行改进，提出了加速稳健特征(speededup robustfeatures，surf)算法，提高了原算法的匹配速度，但受不稳定特征点及误匹配点对的影响，匹配速度会有所下降；morel j m等人提出了asift(affine
‑
sift)算法，对比之前的算法，特征点更丰富，匹配效率更高。
5.现有算法可一定程度上解决电力设备红外图像与可见光图像配准问题，但变电站现场情况复杂，电力设备图像背景较为杂乱，可见光图像的特征点容易落在背景部分。且金属导热性好，其温度接近环境温度，以金属塔架等为背景的红外图像的金属部分并不能清晰显现，从而易造成图像的误匹配甚至无法匹配。


技术实现要素：

6.本发明的目的是提供一种复杂背景下电力设备的红外与可见光图像配准方法及系统，以达到提高图像配准质量和图像配准效率的目的。
7.为实现上述目的，本发明提供了如下方案：
8.一种复杂背景下电力设备的红外与可见光图像配准方法，包括：
9.获取电力设备红外图像和电力设备可见光图像；
10.采用多尺度retinex算法对所述电力设备可见光图像进行处理；
11.采用asift算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述
多尺度retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；
12.对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；
13.采用ransac算法剔除所有所述匹配点对中错误的匹配点对；
14.基于剩余的匹配点对重构电力设备图像。
15.可选的，所述采用asift算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度retinex算法处理后的电力设备可见光图像对应的多个可见光特征点，具体包括：
16.对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像分别进行预处理；
17.采用asift算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
18.可选的，所述对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像分别进行预处理，具体包括：
19.采用高斯滤波算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理；
20.对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理；
21.采用canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
22.可选的，所述对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对，具体包括：
23.采用flann匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
24.一种复杂背景下电力设备的红外与可见光图像配准系统，包括：
25.图像获取模块，用于获取电力设备红外图像和电力设备可见光图像；
26.图像处理模块，用于采用多尺度retinex算法对所述电力设备可见光图像进行处理；
27.特征点提取模块，用于采用asift算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；
28.特征点匹配模块，用于对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；
29.剔除模块，用于采用ransac算法剔除所有所述匹配点对中错误的匹配点对；
30.重构模块，用于基于剩余的匹配点对重构电力设备图像。
31.可选的，所述特征点提取模块，具体包括：
32.预处理单元，用于对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像分别进行预处理；
33.特征点提取单元，用于采用asift算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
34.可选的，所述预处理单元，具体包括：
35.滤波子单元，用于采用高斯滤波算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理；
36.灰度化处理子单元，用于对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理；
37.边缘处理子单元，用于采用canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
38.可选的，所述特征点匹配模块，具体包括：
39.特征点匹配单元，用于采用flann匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
40.根据本发明提供的具体实施例，本发明公开了以下技术效果：
41.本发明采用多尺度retinex算法分离出可见光图像中表征物体本身性质的分量，弱化杂乱背景所带来的影响，使特征点集中于目标设备；采用asift算法提取红外图像与可见光图像特征并进行粗匹配，最后利用ransac算法进行误匹配点筛除，从而提高图像匹配质量与效率。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明retinex算法的模型示意图；
44.图2为本发明retinex算法的基本流程图；
45.图3为本发明相机仿射模型示意图；
46.图4为本发明复杂背景下电力设备的红外与可见光图像配准方法的流程示意图；
47.图5为本发明复杂背景下电力设备的红外与可见光图像配准方法的整体流程图；
48.图6为本发明复杂背景下电力设备的红外与可见光图像配准系统的结构示意图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
51.retinex算法
52.retinex算法理论认为人眼或摄像机能够捕捉到颜色信息的过程是由两个因素决定：物体自身的反射性质和物体周围的光照强度。其中，光照强度决定了原始图像中所有像素点的动态范围大小，而原始图像的固有属性则是由物体自身的反射系数决定。retinex算法的思路是去除光照的影响，进而保留物体自身的固有属性。其retinex算法的模型示意，如图1所示。
53.retinex算法的模型表达式为：
54.i(x,y)＝l(x,y)
×
r(x,y)
ꢀꢀ
(1)；
55.其中，i(x,y)代表人眼或摄像机接收到的图像信号；l(x,y)表示周围光照强度信息分量，即入射光分量；r(x,y)表示物体自身的固有性质信息分量，即反射光分量；(x,y)表示图像中任意像素点的坐标。
56.对公式(1)两边取对数可得：
57.log[i(x,y)]＝log[l(x,y)
×
r(x,y)]＝log[l(x,y)]+log[r(x,y)]
ꢀꢀ
(2)；
[0058]
令i(x,y)＝log[i(x,y)]，l(x,y)＝log[l(x,y)]，r(x,y)＝log[r(x,y)]，则有：
[0059]
i(x,y)＝l(x,y)+r(x,y)
ꢀꢀ
(3)；
[0060]
其中，i(x,y)表示人眼或摄像机采集的图像信息的对数分量；l(x,y)代表周围光照强度信息的对数分量；r(x,y)代表物体自身的固有性质信息的对数分量。
[0061]
人眼对亮度的感知能力不是线性的，更接近于对数曲线，且复杂的乘除法在对数域中可以转化为简单的加减法，因此转换成对数后可大幅度降低算法的复杂度。retinex算法的基本流程如图2所示：
[0062]
滤波算法
[0063]
利用高斯环绕函数分别对图像的三个色彩通道进行滤波，滤波后的图像即为所估计的周围光照强度信息分量，简称光照分量。用对数域的原始图像减去光照分量即为输出结果图像。其计算表达式为：
[0064][0065]
其中，i
i
(x,y)为原始图像；l
i
(x,y)为光照分量；i表示第i个色彩通道的反射图像；*代表卷积；g(x,y)为高斯环绕函数，其表达式为：
[0066][0067]
对同一幅图像在不同的尺度上进行高斯滤波，然后对不同尺度的滤波结果以平均加权的方式组合增强图像。
[0068]
asift算法与仿射变换
[0069]
asift算法兼顾尺度不变性和仿射不变性特点，因此可以通过引入经度角和纬度角来描述相机的旋转倾斜，模拟图像所有视差下的仿射变形，再用sift算法对这些仿射图像进行特征提取和匹配，可解决sift、orb、surf等特征描述算子倾斜匹配等问题。相较于sift类算法，asift算法可提取到更多的特征点。
[0070]
本发明用图像间的仿射变换来模拟相机视角的变化。
[0071]
设原始图像和对应仿射变换的像素点坐标分别为(x,y)、(x',y')，设线性变换矩阵平移矩阵则仿射变换模型的数学表达式为：
[0072][0073]
可根据奇异值分解将a阵分解为：
[0074][0075]
其中，λ为相机的变焦参数；t为相机倾斜角；和θ为相机光轴经、纬度角；ψ为镜头光学轴向旋转角。仿射模型如图3所示。
[0076]
实施例一
[0077]
请参加图4和图5，本实施例提供的复杂背景下电力设备的红外与可见光图像配准方法，具体包括：
[0078]
步骤401：获取电力设备红外图像和电力设备可见光图像；具体为：
[0079]
采用清晰度较高的红外与可见光摄像头对电力设备进行拍摄，同时获取电力设备红外图像和电力设备可见光图像。
[0080]
步骤402：采用多尺度retinex算法对所述电力设备可见光图像进行处理。
[0081]
光照强度决定了电力设备可见光图像中所有像素点的动态范围大小，而电力设备可见光图像的固有属性则是由电力设备自身的反射系数决定。用多尺度retinex算法的思路是去除光照的影响，进而保留电力设备自身的固有属性，以此达到弱化电力设备杂乱背景的目的。
[0082]
步骤403：采用asift算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度retinex算法处理后的电力设备可见光图像对应的多个可见光特征点；具体为：
[0083]
步骤4031：对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像分别进行预处理。
[0084]
步骤4032：采用asift算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
[0085]
基于尺度不变性和仿射不变性，通过引入经度角和纬度角描述相机的旋转倾斜，模拟图像所有视差下的仿射变形，再用sift算法对这些仿射图像进行特征提取，可解决sift、orb、surf等特征描述算子倾斜匹配等问题。相较于sift类算法，asift算法可提取到更多的特征点。
[0086]
其中，步骤4031具体包括：
[0087]
采用高斯滤波算法分别所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理，以去除噪声。
[0088]
对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理，以便于后续图像处理与分析。
[0089]
采用canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，为提取图像的特征点做准备，进而得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
[0090]
步骤404：对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对；具体为：
[0091]
由于通过asift算法得到的特征点数目较多，因此采用flann匹配器进行特征点匹配。通过kd
‑
tree将特征点在n维空间划分为特定的几个部分，检索在kd
‑
tree中与目标特征点欧氏距离最近的特征点。整个搜索过程是从kd
‑
tree由上至下的递归过程：首先以某一特定维数为基准，将目标特征点和分割特征点的值进行比较，判别目标特征点所在的区域；然后循环和对应节点进行比较，直到搜索成功为止。
[0092]
也可以采取暴力匹配等算法，对所述红外特征点和所述可见光特征点进行匹配处理，但效果可能不如flann匹配器。
[0093]
步骤405：采用ransac算法剔除所有所述匹配点对中错误的匹配点对。
[0094]
ransac算法为从一组含有“外点”的数据中正确估计数学模型参数的迭代算法。“外点(outlier)”一般指数据中的噪声，即不适合数学模型的数据；“内点(inlier)”为组成数学模型参数的数据。图像配准中常用该方法来剔除误匹配点对。
[0095]
反复选择数据集中的一组子集，假设其为内点并做如下验证：
[0096]
用内点拟合一个模型，将其他数据带入模型进行估计，如果适用则将该数据也归为内点。若有足够多的点被归为内点，就认为这组模型较为合理。通过反复迭代选取最优模型。
[0097]
步骤406：基于剩余的匹配点对重构电力设备图像。
[0098]
实施例二
[0099]
请参见图6，本实施例提供的一种复杂背景下电力设备的红外与可见光图像配准系统，包括：
[0100]
图像获取模块601，用于获取电力设备红外图像和电力设备可见光图像。
[0101]
图像处理模块602，用于采用多尺度retinex算法对所述电力设备可见光图像进行处理。
[0102]
特征点提取模块603，用于采用asift算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理，以得到所述电力设备红外图像对应的多个红外特征点和所述多尺度retinex算法处理后的电力设备可见光图像对应的多个可见光特征点。
[0103]
特征点匹配模块604，用于对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
[0104]
剔除模块605，用于采用ransac算法剔除所有所述匹配点对中错误的匹配点对。
[0105]
重构模块606，用于基于剩余的匹配点对重构电力设备图像。
[0106]
所述特征点提取模块603，具体包括：
[0107]
预处理单元，用于对所述电力设备红外图像和多尺度retinex算法处理后的电力
设备可见光图像分别进行预处理。
[0108]
特征点提取单元，用于采用asift算法分别对预处理后的电力设备红外图像和预处理后的电力设备可见光图像进行处理，以得到红外特征点和可见光特征点。
[0109]
所述预处理单元，具体包括：
[0110]
滤波子单元，用于采用高斯滤波算法分别对所述电力设备红外图像和多尺度retinex算法处理后的电力设备可见光图像进行处理。
[0111]
灰度化处理子单元，用于对滤波后的的电力设备红外图像和滤波后的电力设备可见光图像进行灰度化处理。
[0112]
边缘处理子单元，用于采用canny算子分别提取灰度化后的电力设备红外图像和灰度化后的电力设备可见光图像的边缘，得到预处理后的电力设备红外图像和预处理后的电力设备可见光图像。
[0113]
所述特征点匹配模块604，具体包括：
[0114]
特征点匹配单元，用于采用flann匹配器，对所述红外特征点和所述可见光特征点进行匹配处理，以得到多个匹配点对。
[0115]
本发明的优势在于结合retinex算法与有效的图像配准算法，弱化电力设备复杂金属器具背景对图像配准工作带来的影响。由于金属温度接近环境温度，红外图像采集时较难采集清晰，对比可见光图像有较大差异。而金属杆塔等电力元件有大量的角点等尺度不变性的点，这部分在提取特征点时候会被大批量保留。两幅图像的特征点分布差异会大大影响图像配准的正确率和效率。采用本发明方法的优势是可大幅提高配准正确率与配准效率。
[0116]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0117]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。