一种基于反馈机制的电力设备红外与可见光图像配准方法与流程

本发明属于图像处理技术领域，涉及一种基于反馈机制的电力设备红外与可见光图像配准方法。

背景技术：

随着成像传感器技术的成熟和应用场景的日益复杂，仅使用单一的成像传感器来满足使用需求较为困难，而多成像传感器系统可将多个成像传感器获得的互补或冗余信息进行整合，能更好地满足使用需求。同时，多成像传感器系统意味着同一场景下图像的传感器来源不同、视角不同、获取时间不同，使得图像间无法正确匹配，而图像配准旨在获取图像间的几何对应关系，将同一场景的两幅或者多幅图像变换到同一几何坐标系下，从而在像素层上实现最佳匹配。

电力设备通常处于长期运行状态，容易因安装不当、环境温度、积灰等因素导致过热激化，如果未能及时检测并定位出温度异常区域，持续的异常温度可能会导致设备内部元器件熔断甚至烧毁，从而引起严重事故。而红外图像是通过接受目标散发出来的红外福射成像，可以准确、快捷地记录场景的温度分布，因此借助红外图像定期对电力设备的运行温度进行检测有着重要的实际意义。

然而，红外图像因成像机制的限制，其对目标的细节表现能力远不及可见光图像，导致无法对异常电力设备所处位置进行准确定位。可见光图像的时空分辨率较高，并且细节、纹理和颜色等信息丰富，借助可见光图像能够高质量地记录场景的照度分布和反射信息的优势。利用图像配准技术实现红外与可见光图像配准，并将具有较高配准精度的红外图像拼接或融合到可见光图像中，可增强信息的互补性，可以有效地突出目标，同时减少对场景分析和理解的不确定性，从而提高电力设备温度检测的准确性、有效性与实用性。

图像配准根据配准方式的不同，主要分为基于灰度的方法和基于特征的方法。基于灰度的方法是通过特定的搜索策略使得两幅图像的某种基于灰度信息的相似度达到最佳，互信息是该类方法常用的相似度量，因此带来较大的计算量。基于特征的图像配准方法是选择某种图像特征作为基元，并根据特定的搜索策略寻找图像中的匹配基元，最后根据匹配基元求解配准参数，该类方法通过提取图像中的显著特征，计算量较小。对于基于特征的图像配准方法，特征点是一种被广泛使用的基元，其中的正确匹配的特征点越多，配准精度越高，但是异源图像的特征点在不同图像上的相似性不足，正确匹配点较少，并且容易产生误匹配，导致配准精度不高。

技术实现要素：

本发明所要解决的技术问题是：从包含大量误匹配的匹配点中，筛选出正确匹配点，有效地提高电力设备的红外与可见光图像的配准精度。

为解决上述技术问题，本发明提出了一种基于反馈机制的电力设备红外与可见光图像配准方法，包括以下步骤：

1)分别对红外图像与可见光图像进行各向异性滤波；

2)利用canny算法分别提取红外图像与可见光图像的边缘，并分别在红外边缘图像与可见光边缘图像上提取surf特征点；

3)通过对surf特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵集，并采用预设的先验约束对仿射矩阵集进行筛选，得到候选仿射矩阵集；

4)根据候选仿射矩阵集依次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵；

5)基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集；

6)根据最优匹配点集解出最优仿射矩阵，并将最优仿射矩阵作用到红外图像，完成红外与可见光图像配准。

本发明所达到的有益效果：针对电力设备红外与可见光图像配准，剔除了配准过程中产生的误匹配点，有效提高了电力设备红外与可见光图像的配准精度，将配准后的红外图像拼接或融合到可见光图像中后，增强了信息的互补性，在可见光图像中可精确定位出具有异常温度的电力设备。

附图说明

图1为本发明的一种基于反馈机制的电力设备红外与可见光图像配准方法的流程图。

具体实施方式

本发明的实际流程图如图1所示，一种基于反馈机制的电力设备红外与可见光图像配准方法，步骤包括：

1)分别对红外与可见光图像进行各向异性滤波。具体步骤如下：

令iterimg表示输入图像，令rows，cols分别表示iterimg的高和宽，iter表示迭代次数，

11)令ix,y表示输入图像iterimg中位于(x,y)处的像素值，令▽n(ix,y)，▽s(ix,y)，▽e(ix,y)，▽w(ix,y)分别表示上下左右四个方向的梯度，计算公式如下：

12)令cnx,y，csx,y，cex,y，cwx,y分别表示上下左右四个方向的扩散系数，k是一个常系数，计算公式如下：

13)更新输入图像iterimg的像素值ix,y，其中x的范围是1～cols-1，y的范围是1～rows-1，计算公式如下：

用ix,y+k·(cnx,y·▽n(ix,y)+csx,y·▽s(ix,y)+cex,y·▽e(ix,y)+cwx,y·▽w(ix,y))替代ix,y

14)用iter-1替代iter；

15)如果iter不等于0，则将更新后的输入图像iterimg再次作为输入图像，转至步骤2)，如果iter等于0，则停止迭代，滤波结束；

分别令红外图像与可见光图像作为输入图像iterimg，重复上述滤波过程，滤波后的红外图像与可见光图像分别记为红外滤波图像infimg和可见光滤波图像visimg；

2)利用canny算法分别提取红外图像与可见光图像的边缘，并分别在红外与可见光边缘图像上提取surf特征点。具体步骤如下：

21)分别对红外滤波图像infimg和可见光滤波图像visimg进行canny边缘检测，提取出的边缘图像分别记为红外边缘图像infedge和可见光边缘图像visedge；

22)分别对红外边缘图像infedge和可见光边缘图像visedge进行surf特征点提取，分别令红外特征点集合infpoints和可见光特征点集合vispoints表示红外边缘图像infedge和可见光边缘图像visedge上的surf特征点集合，infpoints[i]表示红外特征点集合infpoints中第i个特征点，vispoints[j]表示可见光特征点集合vispoints中第j个特征点，其中每个特征点包含该点在图像中的像素坐标和描述向量，所述描述向量在进行surf特征点提取时计算得到；

3)通过对surf特征点进行粗匹配与排序得到匹配点集，然后根据匹配点集计算出仿射矩阵，并采用预设的先验约束对仿射矩阵进行筛选，得到候选仿射矩阵集。具体步骤如下：

31)surf特征点的粗匹配与排序：

计算红外特征点infpoints[i]与可见光特征点vispoints[j]描述向量间的欧式距离，若欧式距离小于常量dis1，则认为红外特征点infpoints[i]与可见光特征点vispoints[j]匹配，并记它们为一对匹配点；

改变i和j，使得红外特征点集合infpoints中的每个特征点infpoints[i]都与可见光特征点集合vispoints中的每个特征点vispoints[j]进行一次匹配判断；

匹配判断完成后，根据匹配点描述向量间的欧式距离对匹配结果按照从小到大排序，并只保留前n1对匹配点，将前n1对匹配点记为匹配点集match，match[i]表示匹配点集match中第i对匹配点；

32)匹配点集的仿射矩阵计算：

从匹配点集match中选出3对匹配点进行组合，匹配点集match中有n1对匹配点，则一共有种组合方式，如(match[1],match[2],match[3])，(match[1],match[2],match[4])，…，(match[1],match[2],match[n1])，…，(match[n1-2],match[n1-1],match[n1])，表示某一种匹配点组合；

根据(match[i1],match[i2],match[i3])可分别得到3对匹配点的像素横纵坐标，分别记为并求解下列方程：

解出{a1,a2,a3,a4,a5,a6}，a1，a2，a3，a4，a5，a6均是待求解参数，即计算出一个仿射矩阵，仿射矩阵的表示公式如下：

遍历匹配点集中种匹配点组合方式，则所有计算出来的仿射矩阵可形成一个仿射矩阵集；

33)基于先验约束的仿射矩阵筛选：

利用先验约束对仿射矩阵集中的所有仿射矩阵进行筛选，如果仿射矩阵满足约束，则记为仿射矩阵hk，表示第k个满足约束的仿射矩阵，即候选仿射矩阵，并将计算出仿射矩阵hk的3对匹配点的像素横纵坐标集合

加入坐标集合x中，先验约束条件如下：

式中，str1、str2、str3和str4是常量阈值；

当对仿射矩阵集中的所有仿射矩阵都进行筛选之后，所有满足约束的仿射矩阵形成的集合即是候选仿射矩阵集。

4)根据候选仿射矩阵依集次对红外滤波图像进行仿射变换，然后采用归一化互信息快速计算方法计算出可见光图像与仿射变换后的红外图像兴趣区域间的互信息，并将互信息最大值对应的候选仿射矩阵作为反馈矩阵。具体步骤如下：

41)基于候选仿射矩阵的仿射变换：

根据候选仿射矩阵依次对红外图像进行仿射变换，就是根据仿射矩阵hk对红外滤波图像infimg进行重映射，即对于红外滤波图像infimg中的每个像素(x,y)都进行如下操作：

其中，(x',y')表示变换后的红外图像中的像素坐标，如果(x',y')是非整数坐标，则使用双线性插值将其变成整数坐标，针对红外滤波图像infimg的重映射和双线性插值操作即仿射变换，将基于仿射矩阵hk进行仿射变换后的红外滤波图像infimg记为红外仿射变换图像infimgk；

42)生成红外图像与可见光图像兴趣区域：

421)分别记坐标集合x中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标为xmax，xmin，ymax，ymin，根据上述坐标形成兴趣矩形，其中(xmin，ymin)，(xmax，ymin)，(xmax，ymax)，(xmin，ymax)是兴趣矩形的4个顶点，兴趣矩阵的包含范围即是兴趣区域；

422)在可见光滤波图像visimg上的兴趣区域范围形成一个新可见光图像，记为可见光兴趣区域图像visroi，在红外仿射变换图像infimgk上的兴趣区域范围形成一个新红外图像，记为红外兴趣区域图像infroik；

可见光与仿射变换后的红外图像间的互信息计算

43)采用归一化互信息快速计算方法计算可见光与仿射变换后的红外图像间的互信息，步骤如下：

431)分别得到可见光兴趣区域图像visroi和红外兴趣区域图像infroik中的最大灰度值vismax和infmax，将位于可见光兴趣区域图像visroi中所有像素的像素值都乘以255/vismax，将位于红外兴趣区域图像infroik中所有像素的像素值都乘以255/infmax；432)分别生成可见光兴趣区域图像visroi和红外兴趣区域图像infroik的灰度直方图，分别用{visbin0,visbin1,...,visbin255}、{infbin0,infbin1,...,infbin255}来表示，再将可见光兴趣区域图像visroi和红外兴趣区域图像infroik的灰度直方图进行线性叠加，得到一个新的灰度直方图，记为灰度直方图bin，公式如下：

bin＝{visbin0+infbin0,visbin1+infbin1,...,visbin255+infbin255}

＝{bin0,bin1,...,bin255}

式中，binm是灰度直方图中的一个图柱，表示第m个灰度级范围的像素数量，m取值范围都是0～255；

433)按照下列步骤对灰度直方图bin进行修正：

a.按照从左到右的顺序，依次判断灰度直方图bin中每个图柱拥有的像素数量是否小于常量阈值tbin,若像素数量小于常量阈值tbin，则将该图柱与其右相邻的图柱进行叠加合并；若该图柱拥有的像素数量小于常量阈值tbin，并且位于灰度直方图的最右端，则将该图柱与其左相邻的图柱进行叠加合并；其中，叠加合并后的图柱拥有的像素数量是叠加合并前的两个图柱的像素数量之和，并且，叠加合并后的图柱所表示的灰度级范围是叠加合并前的两个图柱所表示的灰度级范围的并集；

b.若灰度直方图bin中每个图柱拥有的像素数量都不小于tbin，转步骤c，否则转步骤a；

c.若灰度直方图bin中的图柱数量不大于36个，则终止，得到修正后的灰度直方图bin'，此时修正后的灰度直方图bin'具有36个图柱，bin'＝{bin0,bin1,...,binp,...,binl,...,bin35}，binp表示修正后的灰度直方图bin'中第p个灰度级范围的图柱，binl表示修正后的灰度直方图bin'中第l个灰度级范围的图柱；

d.找到灰度直方图bin中拥有像素数量最少的图柱binmin，若图柱binmin位于灰度直方图的最左端或者最右端，则将图柱binmin与其相邻图柱进行叠加合并；若图柱binmin不位于最左端或者最右端，则转步骤e；

e.令binleft和binright分别表示图柱binmin的左相邻图柱和右相邻图柱，令n1、n2和n3分别表示图柱binleft、图柱binright和图柱binmin所拥有的像素数量，令range1、range2和range3分别为图柱binleft、图柱binright和图柱binmin所表示的灰度级范围，对图柱binleft、图柱binright和图柱binmin进行比例合并：首先，将图柱binmin所拥有的像素数量按比例分配给图柱binleft和图柱binright，公式如下：

式中，[]表示对数值进行四舍五入；然后，按比例和将range3分为左右两个范围，分别记为rangeleft和rangeright；然后，令range1＝range1∪rangeleft，range2＝range2∪rangeright；转步骤c；∪表示求并集，取左右两个集合中的所有元素，如果有重复元素则只保留一个；

434)根据可见光兴趣区域图像visroi和红外兴趣区域图像infroik，同时以修正后的灰度直方图bin'为参照，分别生成可见光兴趣区域图像visroi和红外兴趣区域图像infroik的新灰度直方图：

a.令灰度直方图一visroibin表示可见光兴趣区域图像visroi的新灰度直方图，并且灰度直方图一visroibin中每个图柱表示的灰度级范围与修正后的灰度直方图bin'中每个图柱表示的灰度级范围一致，

visroibin＝{visbin'0,visbin'1,...,visbin'l,...,visbin'35}，visbin'l表示灰度直方图一visroibin中第l个灰度级范围的图柱，l的表示范围为0～35，灰度直方图一visroibin的建立过程如下：遍历可见光兴趣区域图像visroi中所有像素，若该像素的灰度值属于图柱binl的所表示灰度级范围，则图柱visbin'l拥有的像素数量加1；

b.令灰度直方图二infroikbin表示红外兴趣区域图像infroik的新灰度直方图，并且灰度直方图二infroikbin中每个图柱表示的灰度级范围与修正后的灰度直方图bin'中每个图柱表示的灰度级范围一致，

infroikbin＝{infbin'0,infbin'1,...,infbin'p,...,infbin'35}，infbin'p表示灰度直方图二infroikbin中第p个灰度级范围的图柱，p的表示范围为0～35，灰度直方图二infroikbin的建立过程如下：遍历红外兴趣区域图像infroik中所有像素，若该像素的灰度值属于图柱binp的所表示灰度级范围，则图柱infbin'p拥有的像素数量加1；

435)计算h(a)和h(b)，计算公式如下：

式中，h(a)表示可见光兴趣区域图像visroi的信息熵，h(b)表示红外兴趣区域图像infroik的信息熵，pa(a)表示灰度直方图一visroibin中第a个灰度级范围的图柱拥有的像素数量与灰度直方图一visroibin所有图柱拥有的像素数量的比例，pb(b)表示灰度直方图二infroikbin中第b个灰度级范围的图柱拥有的像素数量与灰度直方图二infroikbin所有图柱拥有的像素数量的比例；

436)计算h(a,b)，计算公式如下：

式中，h(a,b)表示可见光兴趣区域图像visroi与红外兴趣区域图像infroik的联合信息熵，pab(a,b)表示在可见光兴趣区域图像visroi中属于灰度直方图一visroibin中第a个灰度级范围，并且相同坐标下，在红外兴趣区域图像infroik中属于灰度直方图二infroikbin中第b个灰度级范围的像素数量，与灰度直方图一visroibin、灰度直方图二infroikbin所有图柱拥有的像素数量之和的比例；

437)计算互信息，计算公式如下：

式中，nmik表示根据仿射矩阵hk计算得到的互信息；

44)反馈矩阵选取

若互信息nmik是所有根据候选仿射矩阵计算出的互信息中的最大值，则仿射矩阵hk是反馈矩阵，并将hk重新记为反馈矩阵hmax。

5)基于反馈矩阵对匹配点集进行筛选，得到最优匹配点集。

从匹配点集match取出第c对匹配点match[c]，其中c的取值范围是1～n1，match[c]包含特征点infpoints[c]和特征点vispoints[c]，令表示infpoints[c]的像素坐标，令表示vispoints[c]的像素坐标，对进行如下变换：

式中，表示进行变换后的坐标；

计算与的欧式距离eucdis，公式如下：

如果eucdis小于常量阈值str5，则认为与是一对最优匹配点，并将它们加入最优匹配点集goodmatch，同时将重新记为将重新记为表示和是最优匹配点集goodmatch中第v对最优匹配点goodmatch[v]；

针对匹配点match[c]，当c将所有的值遍历完后，设形成的最优匹配点集goodmatch拥有num对最优匹配点。

6)根据最优匹配点集求解出最优仿射矩阵，并将最优仿射矩阵作用到红外图像，完成红外图像与可见光图像配准。

令goodmatch[z]表示goodmatch中第z对最优匹配点，goodmatch[z]包含像素坐标和其中z的取值范围是1～num，

根据goodmatch[z]对x矩阵和y矩阵进行填充，公式如下：

根据x矩阵和y矩阵计算出最优仿射矩阵hbest，公式如下：

hbest＝inv(inv(t(x)*x)*(t(x)*y))

式中，inv()表示括号内矩阵的逆矩阵，t()表示括号内矩阵的转置矩阵；

根据最优仿射矩阵hbest对红外滤波图像infimg进行仿射变换，方法与步骤41)一致，变换完成之后则完成红外与可见光图像配准。