一种电力设备红外与可见光图像配准方法与流程

[0001]
本发明涉及一种电力设备红外与可见光图像配准方法，属于计算机视觉和电力领域。


背景技术：

[0002]
随着电力供应可靠性需求的日益提高，电气设备连续运行工作时间越来越长。但是由于电气设备长期处于户外的高温、高压、高负载的工作状态下，非常容易发生缺陷、劣化、甚至造成事故。因此定期对电气设备进行状态检测与故障诊断，确保其正常稳定的工作具有重大的意义。目前，红外与可见光图像被广泛应用于电气设备的检测任务中，红外图像可以提供电气设备的热辐射信息，能够检测出传统方法无法找到的故障与隐患；可见光图像可以提供电气设备的反射信息，细节、纹理、颜色信息丰富，能够保留丰富的场景信息。两种图像包含不同的信息，对红外与可见光图像进行匹配来进行信息互补，可以提高电气设备识别与故障检测能力。
[0003]
图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点。图像匹配算法大致可以分为两类：基于灰度和基于特征的匹配方法。基于灰度的匹配将图像的灰度阵列按某种相似性度量方法进行搜索比较。这类方法一般要求图像同源并且只适用于灰度变化不大的图像匹配。而基于特征的匹配方法提取反映图像重要信息的特征，以特征为模型进行匹配，对于图像来源没有特殊要求，成为近年图像匹配研究的热点。但是异源图像匹配一直是图像匹配领域的难题。
[0004]
作为异源图像，红外与可见光图像之间的不同图像特征点相似性不足，现有技术中经常采用对图像的边缘特征进行提取从而实现图像配准。但红外图像的噪声较多，在图像配准之前需要对图像进行滤波处理，而现有的滤波处理方式，如中值滤波、均值滤波或双边滤波会模糊图像的边缘信息，造成红外与可见光图像之间的匹配点对数量少，图像的匹配精度不高，而且，如何使得对红外与可见光图像的边缘检测更加精准、提取边缘特征的方式更加稳定，进一步提高两图像之间的配准精度，也是本领域一直存在的需求。


技术实现要素：

[0005]
基于上述现状，本发明提供了一种电力设备红外与可见光图像配准方法，在降低红外图像的噪音的同时保证红外与可见光图像之间的匹配点数量不受明显影响，并使得两图像的边缘检测更加精准、提取边缘特征的方式更加稳定，有效保证两图像之间的配准精度。
[0006]
本发明提供的一种电力设备红外与可见光图像配准方法，包括以下步骤：
[0007]
步骤1：对电力设备的红外图像与可见光图像分别进行侧窗盒子滤波；
[0008]
步骤2：利用rcf网络分别提取红外图像与可见光图像的边缘；
[0009]
步骤3：采用kaze算法分别提取红外图像边缘和可见光图像边缘的特征点，其中，先通过可变传导扩散方法和加性算子分裂算法(additive operator splitting，aos)构建
图像边缘的非线性尺度空间，再在非线性尺度空间中寻找像素点的hessian矩阵局部极大值来检测图像边缘的特征点；
[0010]
步骤4：采用基于mpeg-7标准的方向滤波器和权重响应矩阵分别生成红外图像边缘特征点和可见光图像边缘特征点的特征描述子，其中，以特征点为中心生成规定大小的区域后对该区域进行再划分，然后生成该区域的边缘直方图，进而计算相同边缘方向的权重响应矩阵，从而得到80维带权重的特征向量，将所述特征向量作为特征点的特征描述子；
[0011]
步骤5：通过红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，以此获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵h，然后把红外图像边缘通过最优模型的单应性矩阵h投影到可见光图像边缘上完成图像的配准。
[0012]
与现有技术相比，本发明的有益效果是：
[0013]
(1)利用侧窗盒子滤波算法对红外图像和可见光图像进行保边滤波，在滤除图像噪声的同时，保证了红外与可见光图像之间的匹配点数量不受明显影响，有效地保留了图像的边缘信息；
[0014]
(2)引入rcf网络模型来对红外与可见光图像的进行边缘检测，该网络模型使用更丰富的卷积特征来进行更精准的边缘检测，能够有效检测出电力设备的轮廓边缘，并舍弃了对于匹配干扰较大的物体内部纹理；
[0015]
(3)利用基于mpeg-7标准的方向滤波器将提取出的边缘特征点生成特征描述子，特征描述子的生成更加可靠稳定，且通过利用权重响应矩阵，提取边缘特征的方式更加稳定，有效地提高了红外与可见光图像的配准精度。
附图说明
[0016]
图1为本发明的整体流程图；
[0017]
图2为步骤1中的定义侧窗方向图；
[0018]
图3为步骤2中的rcf网络结构图；
[0019]
图4为步骤4中的区域生成及再划分过程；
[0020]
图5为步骤4中的边缘检测的滤波系数；
[0021]
图6为步骤4中的特征描述子生成过程。
具体实施方式
[0022]
下面结合附图对本发明作进一步描述。如图1所示，本发明的一种电力设备红外与可见光图像配准方法，整体流程上包括以下步骤1-5，分别为：
[0023]
步骤1：对电力设备的红外图像与可见光图像分别进行侧窗盒子滤波；
[0024]
步骤2：利用rcf网络分别提取红外图像与可见光图像的边缘；
[0025]
步骤3：采用kaze算法分别提取红外图像边缘和可见光图像边缘的特征点，其中，先通过可变传导扩散方法和加性算子分裂算法构建图像边缘的非线性尺度空间，再在非线性尺度空间中寻找像素点的hessian矩阵局部极大值来检测图像边缘的特征点；
[0026]
步骤4：采用基于mpeg-7标准的方向滤波器和权重响应矩阵分别生成红外图像边缘特征点和可见光图像边缘特征点的特征描述子，其中，以特征点为中心生成规定大小的
区域后对该区域进行再划分，然后生成该区域的边缘直方图，进而计算相同边缘方向的权重响应矩阵，从而得到80维带权重的特征向量，将所述特征向量作为特征点的特征描述子；
[0027]
步骤5：通过红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，以此获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵h，然后把红外图像边缘通过最优模型的单应性矩阵h投影到可见光图像边缘上完成图像的配准。
[0028]
在具体实施方式中，对于上述各步骤，可选择的具体实施方式如下：
[0029]
所述步骤1中对红外图像与可见光图像分别进行侧窗盒子滤波具体包括以下步骤：
[0030]
步骤1-1：定义侧窗，具体方法为，在离散的情况下定义上(u)、下(d)、左(l)、右(r)、西南(sw)、东南(se)、东北(ne)和西北(nw)这8个方向的侧窗，引入参数θ和r，θ是窗口和水平线之间的角度，r是窗口的半径，ρ∈{0，r}，ρ表示窗口拓展边长，(x,y)是输入目标像素点i的位置；通过改变θ和固定(x,y)，可以改变窗口的方向，同时使窗口侧边与目标像素点i对齐，这8个方向的侧窗对应于k∈[0,3]；通过设置ρ＝r，得到上(u)、下(d)、左(l)、右(r)四个方向的侧窗，分别表示为通过设置ρ＝0，得到西南(sw)、东南(se)、东北(ne)和西北(nw)四个方向的侧窗，分别表示为
[0031]
步骤1-2：计算红外图像每个像素点的最终滤波值输出i'
swf
，具体方法为，首先，利用计算公式(1)得到一个输入目标像素点i的沿不同方向侧窗的滤波值输出
[0032][0033]
其中，像素点j是输入目标像素点i滤波侧窗内的像素点，q
j
表示像素点j的像素值，ω
ij
是基于滤波内核f的像素点j在输入目标像素点i附近的权重值，n
n
表示不同方向侧窗内像素点j在输入目标像素点i附近的像素点权重值之和，s＝{l,r,u,d,nw,ne,sw,se}为侧窗方向索引的集合，当n取具体的八个不同方向之一时，得到针对该方向侧窗的滤波值输出
[0034]
将n取前述8个不同的方向，计算出8个方向侧窗的滤波值输出，并进行筛选，选择与输入目标像素点i有最小l2距离的侧窗的输出作为最终输出i'
swf
，计算公式(2)表示为：
[0035][0036]
其中，q
i
表示输入目标像素点i的像素值，将最终输出的i'
swf
作为像素值赋给输入目标像素点i，完成此输入目标像素点i的侧窗盒子滤波；以此方法对红外图像中每个像素点进行侧窗盒子滤波；
[0037]
步骤1-3：按照上述步骤1-1和1-2对可见光图像中每个像素点进行侧窗盒子滤波。
[0038]
所述步骤2中利用rcf网络分别提取红外图像与可见光图像的边缘时，具体的提取方法如下：
[0039]
将完成侧窗盒子滤波的红外图像与可见光图像分别输入rcf网络；
[0040]
rcf网络结构由13个第一卷积层、13个第二卷积层和4个池化层组成，其中13个第一卷积层被划分成5个阶段，每相邻两个阶段之间连接有一层池化层；第一卷积层均采用相同的卷积核参数，卷积核尺寸为3
×
3，步幅为1；池化层均采用相同的池化核参数，池化核尺寸为2
×
2，步幅为2，池化方式为最大池化；13个第一卷积层被划分的5个阶段中，每个阶段中所含第一卷积层数量分别为：2、2、3、3、3，同一阶段中每个第一卷积层的通道数相同，5个阶段的每个第一卷积层通道数分别为：64、128、256、512、512；
[0041]
每个第一卷积层后均连接一个第二卷积层，第二卷积层的卷积核尺寸1
×
1，通道数为21，对每个阶段中所有的第二卷积层的卷积输出进行元素相加操作，得到一个复合特征；
[0042]
每个复合特征后面连接一个1
×
1-1的卷积层，然后添加一个反卷积层作为放大特征图尺寸的上采样层；
[0043]
在每个上采样层后面连接一个交叉熵损失/sigmoid函数层；
[0044]
对所有的上采样层输出进行连接，随后使用一个1
×
1-1的卷积层进行特征图融合，最后使用一个交叉熵损失/sigmoid函数层得到输出，完成图像边缘的提取。
[0045]
在利用rcr网络之前，先对rcf网络进行训练，训练过程包括：采用标注者-鲁棒损失函数分别对不同标注者手工标注的红外图像边缘与可见光图像边缘的检测数据真值求取均值，生成新的边缘概率映射图，将该新的边缘概率映射图作为rcf网络的训练输入数据。所述标注者-鲁棒损失函数的构造方式如下：
[0046]
标注者-鲁棒损失函数的值范围为[0,1]，其中，0意味着没有标注者将其标注为边缘像素点；1意味着所有的标注者都将其标注为边缘像素点，将边缘概率值超过预设值η的作为正样本，表示为y
+
，概率值等于0的作为负样本，表示为y-，对概率值位于0～η之间的像素点进行舍弃，
[0047]
红外/可见光图像边缘的像素点i的原始损失函数定义如下：
[0048][0049]
其中，
[0050][0051][0052]
超参数λ用于平衡正负样本之间的数量，x
i
和y
i
分别表示在像素点i处的激活值和真值的边缘概率值，p(x)是标准的sigmoid函数，w表示在该体系结构中将要学习的所有参数，在原始损失函数基础上得到的标注者-鲁棒损失函数表述为：
[0053][0054]
其中，是第k阶段的激活值，表示融合层的激活值。i表示红外/可见光图
像边缘中像素点的数目，k为总的阶段数，在此处的值为5。
[0055]
所述步骤3中利用kaze算法分别提取红外图像边缘和可见光图像边缘的特征点，具体包括如下步骤：
[0056]
步骤3-1：构建非线性尺度空间，其中，
[0057]
首先，利用公式(7)的非线性扩散方程对红外图像边缘进行扩散滤波，
[0058][0059]
公式(7)中，l表示图像的亮度，div表示散度，表示梯度；t为时间，是尺度参数，其值越大，表示图像的结构越简单；c(x,y,t)是坐标点(x,y)处的传导函数，取决于局部图像差分结构和减少图像局部边缘扩散的梯度，其定义如公式(8)所示：
[0060][0061]
其中，表示原始图像在δ尺度上经过高斯滤波后的梯度，g表示传导函数，g的取值由和对比度因子k确定；3种不同计算公式如下(9)-(11)所示，可任选其一来计算g：
[0062][0063][0064][0065]
公式(9)-(11)中，k表示对比度因子，其值为梯度图像直方图70％百分位上的值；
[0066]
然后，对非线性扩散方程进行隐式差分，再通过加性算子分裂算法构建试试非线性尺度空间，其计算方式如公式(12)所示：
[0067][0068]
公式(12)中，i为单位矩阵，t
i
为进化时间，a
l
为三对角占优矩阵，l
i
为非线性尺度空间第i层图像亮度；
[0069]
步骤3-2：特征点检测，其中，将非线性尺度空间中的每个像素点的hessian矩阵与当前层i、上层i+1和下层i-1的δ
i
×
δ
i
的窗口内所有像素点的hessian矩阵值进行比较，如果该像素点的hessian矩阵值大于δ
i
×
δ
i
的窗口内所有像素点的hessian矩阵值和预设的阈值，即该像素点大于它的图像域和尺度域的所有相邻的像素点，该像素点即为图像的特征点，以此方法检测出红外图像边缘的所有m个特征点；
[0070]
步骤3-3：采用如上步骤3-1和3-2中同样的方法，检测出可见光图像边缘的所有n个特征点。
[0071]
所述步骤4中，采用基于mpeg-7标准的方向滤波器和权重响应矩阵分别生成红外
图像边缘特征点和可见光图像边缘特征点的特征描述子的具体步骤如下：
[0072]
步骤4-1：区域生成及再划分，其中，首先，以红外图像边缘所有特征点中的一个特征点为中心生成一个s
×
s像素的区域i，在本方法中s＝100；再将这个区域i分成4
×
4＝16个子区域，将每个子区域标号为i
s
(0,0),i
s
(0,1),
…
,i
s
(3,3)；然后，再把每个子区域分成4
×
4＝16个区域块(x,y)，分别将每个区域块(x,y)标号为(0,0),(0,1),
…
(3,3)；最后，将每个区域块分成2
×
2＝4个子块，并将其标号为0,1,2,3；
[0073]
步骤4-2：计算区域块的边缘方向，其中，首先，对于区域i的每个子区域i
s
(i,j)，计算其中每个区域块(x,y)的4个子块的平均灰度值，并将所述平均灰度值分别表示为c0(x,y),c1(x,y),c2(x,y),c3(x,y)；然后，将区域块(x,y)与5个边缘方向，即垂直方向、水平方向、45度方向、135度方向和非方向的滤波器分别做卷积，得到区域块(x,y)在这5个边缘方向上的边缘值，分别记为m
v
(x,y)，m
h
(x,y)，m
d-45
(x,y)，m
d-135
(x,y)和m
nd
(x,y)，卷积公式(13)-(17)如下所示：
[0074][0075][0076][0077][0078][0079]
上述公式(13)-(17)中，f
v
(k)表示在垂直方向滤波器的值，f
h
(k)表示水平方向滤波器的值，f
d-45
(k)表示45度方向滤波器的值，f
d-135
(k)表示135度方向滤波器的值，f
nd
(k)表示非方向滤波器的值，其中k表示子块的标号；
[0080]
若max{m
v
(x,y),m
h
(x,y),m
d-45
(x,y),m
d-135
(x,y),m
nd
(x,y)}＞t
edge
，即5个边缘值中最大的值大于预先设置的阈值t
edge
，则将最大值对应的边缘方向作为该区域块的边缘方向；以此方法计算得到每个子区域i
s
(i,j)中每个区域块(x,y)的边缘方向；
[0081]
步骤4-3：计算子区域的边缘直方图，其中，对于每个子区域i
s
(i,j)，统计该子区域中所有区域块的边缘方向，得到每个边缘方向的个数，从而生成该子区域的边缘直方图，其中，子区域的边缘直方图的横坐标为边缘方向的特征向量，纵坐标为对应于特征向量中每个边缘方向的个数；以此方法计算得到区域i中所有子区域的边缘直方图；
[0082]
步骤4-4：计算特征点的特征描述子，其中，首先，对区域i中16个子区域的边缘直方图进行归一化处理，生成区域i的边缘直方图，从而得到16
×
5＝80维的特征向量，再分别提取16个子区域中相同边缘方向的特征向量构造4
×
4的边缘响应矩阵，并赋上不同的权重值，矩阵4
×
4外围区域权重赋值为1，矩阵2
×
2中心区域权重赋值为2，进而得到带权重的80维特征向量，将其作为特征点的特征描述子，以此方法形成红外图像边缘每个特征点的特征描述子；
[0083]
步骤4-5：以步骤4-1至4-4中同样的方法形成可见光图像边缘每个特征点的特征描述子。
[0084]
所述步骤5中，通过度量红外图像边缘的特征描述子与可见光图像边缘的特征描述子之间的欧氏距离筛选匹配点，确定匹配点对集合，具体步骤如下：
[0085]
步骤5-1：计算红外特征点特征描述子与可见光特征点特征描述子间的欧氏距离，计算最近距离与次最近距离之比，若比值小于设定阈值，则判定两特征点匹配，记作一对匹配点，否则判定不存在匹配点对，具体方法为：
[0086]
利用步骤3中检测到的红外图像边缘所有m个特征点和可见光图像边缘所有n个特征点，选取红外图像边缘中的一个特征点，计算可见光图像边缘的全部特征点的特征描述子与红外图像边缘所选取特征点的特征描述子之间的欧氏距离，欧氏距离采用特征向量计算，在n个欧氏距离中选取最近距离d
min
与次最近距离d
mis
，计算最近距离与次最近距离之比，比值为δ，若比值δ小于预设阈值ε，则判定特征点存在匹配特征点，其中阈值ε的选取源自于对大量样本数据的分析比较，用以筛选合适的匹配特征点，生成正向匹配点对集合；执行正向匹配后，互换红外图像边缘和可见光图像边缘的角色，重新执行上述算法，得到反向匹配点对集合；
[0087]
步骤5-2：将正反向的匹配点对集合运用随机抽样一致性算法，选取最大空间一致子集，舍弃错误的匹配点对，获得红外图像边缘与可见光图像边缘之间的最优的单应性矩阵h，保证正反向的匹配点对集合至少有4组匹配点对，从前述至少4组匹配点对中随机抽出4组不共线的匹配特征点对作为样本，其变换关系公式(19)为：
[0088]
a'
i
＝ha
i
ꢀꢀ
(19)
[0089]
矩阵的变换公式(20)为：
[0090][0091]
式中，(x,y)表示红外图像边缘特征点位置，(x',y')为可见光图像边缘特征点位置，s为尺度参数，随机抽样一致性算法从匹配点对数据集中随机抽出4个样本并保证这4个样本之间不共线，计算出单应性矩阵h，然后利用这个模型测试所有数据，并计算满足这个模型数据点的代价函数，代价函数反应了这个模型数据点的个数与投影误差，在对应的代价函数最小时的单应性矩阵h为最优模型，代价函数公式(21)表达为：
[0092][0093]
然后把红外图像边缘通过最优模型的单应性矩阵h投影到可见光图像边缘上就完成了图像的配准。