一种异源图像的配准方法与流程

本发明涉及图像处理的技术领域，尤其涉及一种异源图像的配准方法。

背景技术：

电网电气设备的智能监测与自主诊断方法的研究和开发已经成为当前智能电网搭建的一个重要环节，对提高电力系统运行的安全性和可靠性具有重要意义。随着各类机器人和无人机在变电站及输电线运维中的应用和发展,以红外成像仪和可见光成像仪为核心的基于传感器图像处理的电气设备状态监测系统在高效性和自主性上展现了极大的潜力。

目前计算机视觉领域广泛应用双目视觉技术进行图像深度测量或是目标测距工作，但大多采用同源双目视觉技术，包括可见光-可见光双目和红外-红外双目视觉。可见光-可见光双目视觉具有成本低廉、测距精度高、标定简单、分辨率高等优点，但无法反映物体的温度信息，广泛用于物体三维重建和目标测距工作；红外-红外双目视觉具有能反映环境温度特征、物体轮廓特征等优点，但其成本高昂、测距精度低，用途较少。而电网运行单位既需要得到目标设备的红外信息，也需要设备的可见光信息，以便工作人员更准确地对电气设备图像进行识别和对设备温度状态的评估。

对于电网运行单位的应用需求，可见光-红外相机组成的红外和可见光双目视觉技术既可获得设备电力设备的空间位置信息，对电力设备进行准确定位，还可以通过该信息完成电力设备三维重构以及校正红外图像的温度数据等工作。

红外和可见光双目立体视觉结合可见光图像与红外图像两者的优势，弥补了同源传感器信息单一的缺点，但不同于同源图像配准的是红外和可见光图像配准难度较大，配准精度不高。此外当前的图像配准算法大多针对同源图像，且配准精度较高，而红外和可见光图像因为成像原理的不同，导致两者包含的像素差异较大，而红外和可见光双目视觉的应用必须解决这一问题。红外和可见光图像的配准不仅仅是立体视觉的关键性环节，还是图像融合、图像识别、人脸识别、医学影像诊断等领域的决定性环节。

技术实现要素：

本发明提供了一种异源图像的配准方法，解决了现有红外和可见光图像配准难度较大，配准精度不高等问题。

本发明可通过以下技术方案实现：

一种异源图像的配准方法，包括以下步骤：

步骤一、分别计算待配准的两张红外和可见光图像内的多个角点，以角点所在的对角线作为其主方向；

步骤二、以主方向作为基准方向，计算以角点为中心的邻域梯度向量，进而获得每个角点对应的尺度不变特征描述子即sift描述子；

步骤三、利用每个角点对应的sift描述子，对待配准的两张红外和可见光图像的先进行粗配准再进行精配准，获得最准确的配准点集。

进一步，利用曲率尺度空间css角点提取算法，分别对待配准的两张红外和可见光图像进行角点提取；在每个角点pc所在的轮廓曲线上，取位于角点pc左侧的一点作为左特征点pl，右侧的一点作为右特征点pr，利用其对应的像素坐标，构建左特征向量右特征向量以其和向量作为角点pc的主方向向量。

进一步，记角点pc对应的像素坐标为(xc,yc)，取角点pc所在轮廓曲线上左侧一定数量的点对应的像素坐标的平均值作为左特征点pl，记为(xl,yl)，取角点pc所在轮廓曲线上右侧一定数量的点对应的像素坐标的平均值作为右特征点pl，记为(xr,yr)，则左特征向量右特征向量以及其和向量的计算如下：

其中，ls表示轮廓曲线上的像素取样个数；lc表示整条轮廓曲线的像素个数；cp表示轮廓曲线上的像素点集合，cp(i)表示轮廓曲线上第i个像素点的坐标值；

最终角点的主方向计算公式如下：

进一步，以每个角点为中心，将其对应的邻域等分成多个子区域；以角点的主方向为基准方向，将每个子区域等分成多个梯度方向，计算每个梯度方向对应的梯度向量并对角度大于π的梯度向量的幅值累加到其反方向的梯度向量的幅值上；对所有梯度向量的幅值进行分段处理，完成所有角点对应的sift描述子的计算。

进一步，将每个子区域等分成8个梯度方向；将所有梯度向量的幅值按照降序排列，处于前20％的幅值均调整为1，20％～40％的幅值均调整为0.75，40％～60％的幅值均调整为0.5，60％～80％的幅值均调整为0.25，最后20％的幅值均调整为0。

进一步，获得最准确的配准点集的计算方法包括以下步骤：

步骤ⅰ、利用尺度大小不同的多个sift模板分别对其中一张待配准的红外和可见光图像提取sift描述子，采用最近邻优先bbf结合双边匹配算法，将其与另一张待配准的红外和可见光图像的sift描述子分别进行粗配准，获取多个粗配准点集；

步骤ⅱ、采用倾斜角一致性匹配方法，对粗配准获得的配准点集进行精配准；

步骤ⅲ，利用双阈值ransac算法对精配准后的配准点集进行筛选，再经过亚像素优化处理后，获得最准确的匹配点集。

进一步，倾斜角一致性匹配方法包括以下步骤：

步骤1)、取配准点对最多的一个点集用于精配准，分别记为并将其对应的sift模板尺度的倒数作为图像缩放比例s，对所述其中一张待配准的红外和可见光图像进行分辨率调整；

步骤2)、计算点集中各个配准点对对应的主方向的角度差值，将所有的角度差值进行等角度间隔划分，取角度间隔中角度差值个数最多对应的角度作为旋转角度，对所述另一张待配准的红外和可见光图像中的所有像素坐标进行坐标旋转；

步骤3)、将待配准的两张红外和可见光图像在x轴方向进行拼接，构建配准点对连线集合θi、di分别表示连线倾斜角和长度，其计算公式如下：

步骤4)、将所有的连线倾斜角向下取整后进行等角度间隔划分，筛选出角度间隔中连线倾斜角个数最多对应的配准点对，再计算这些配准点对连线的长度平均值，筛选出长度平均值的误差允许范围内的配准点对，获得精匹配点集合分别记为

进一步，双阈值ransac算法和亚像素优化处理方法包括以下步骤：

步骤①、在点集中随机抽取三个点对进行面积约束判定，若满足，则对点集中的三个点进行面积拟合；

步骤②、计算点集中的各点到拟合后平面的距离，若小于第一距离阈值，得到最优平面；

步骤③、计算点集中的各点到最优平面的距离，若小于第二距离阈值，其对应的点记为内点，则内点集和对应点集里的点即为像素级匹配点集

步骤④、对像素级匹配点集中的每个点构建方形区域，计算方形区域中的每个点到最优平面的距离，保留最小距离对应的点作为优化后的点，获得最准确的配准点集

本发明有益的技术效果在于：

考虑到红外图像的纹理信息缺失严重，本发明通过曲率尺度空间css角点提取算法提取的角点大部分分布在可见光图像和红外图像的轮廓上，这样获取的角点中能够用于配准的个数更多，后续的配准效果更具鲁棒性。

由于红外图像和可见光图像的分辨率差别比较大，本发明通过图像预处理、粗配准期间分别对分辨率的调整，使两者尽可能地接近，减少由于图像本身差异所导致的配准误差，同时，在计算sift描述子时，对梯度幅值进行分段处理，降低可见光图像的细节纹理比红外图像多带来的梯度差异大问题，另外，通过倾斜角一致性匹配方法进行精配准后，再利用双阈值ransac算法对精配准后的配准点集进行筛选，再经过亚像素优化处理后，获得最准确的匹配点集，提高了配准精度。

整个计算过程的简单快捷，准确率高，提高了红外和可见光图像配准的准确率，为立体视觉的应用解决了关键性的问题，扩展了其应用范围和领域。

附图说明

图1为本发明的总体流程示意图；

图2为本发明的角点的分布示意图；

图3为本发明的角点主方法的计算示意图；

图4为本发明的梯度直方图的统计示例示意图；

图5为本发明的粗配准后的结果示意图；

图6为本发明的精配准后的结果示意图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

无论是双目立体视觉技术，还是图像融合领域，图像的自动配准工作都是不可或缺的，例如医疗行业中对颅部或眼球的多张扫描图像进行配准并融合得出最清晰的诊断图像，地质测量中对无人机拍摄的遥感图像进行配准并拼接。在研究电力设备空间位置测量的过程中，必须对红外-可见光图像进行配准，以获得误差较小的测量结果。

与同源图像配准不同的是，红外-可见光图像之间色彩和分辨率差异大，并且红外图像纹理不清晰，噪声相对较大，导致两者的配准难度大，精度低。

如图1所示，本发明提供了一种异源图像的配准方法，主要是先从待配准的两张红外和可见光图像中分别提取多个角点，根据角点对应的像素坐标及轮廓曲线信息，以其所在的对角线作为角点的主方向，然后，计算每个角点对应的尺度不变特征描述子即sift描述子，最后，利用sift描述子，对待配准的两张红外和可见光图像先进行粗配准再进行精配准，在精配准时，采用倾斜角一致性匹配方法对粗配准获得的配准点集进行初步筛选，再利用双阈值ransac算法对进行再次筛选，最后经过亚像素优化处理获得最准确的匹配点集。具体包括以下步骤：

步骤一、图像预处理，并且根据图像质量的高低决定是否需要滤波操作。首先，对图像的灰度值的重新分布，先对灰度图像进行线性变换，再将灰度值拉伸到0-255之间，具体公式如下：

其次，对图像的分辨率进行调整，以待配准的两张红外和可见光图像中高度最小者的分辨率为基准分辨率，等比例缩放另一幅图像，如200*400与400*800的待配准的两张红外和可见光图像，需要将400*800缩放为200*400的比例，以便后续采用相同尺寸的模板进行sift描述子提取，为后续实现尺度不变性做准备。

步骤二、分别计算待配准的两张红外和可见光图像内的多个角点，以角点所在的对角线作为其主方向。

角点是图像中亮度发生剧烈变化或者图像边缘曲线上曲率极大值点。由于红外图像的细节纹理丢失严重，最为显著的角点极大部分分布在物体轮廓上，而可见光图像则较为清晰，包含清晰的轮廓和纹理信息，因此，基于轮廓的特征点提取使得红外-可见光的相应匹配点更多，匹配效果的鲁棒性更好。本申请采用曲率尺度空间css角点提取算法，分别对待配准的两张红外和可见光图像进行角点提取，如图2所示，以此作为配准所用的特征点，其基本做法是首先，用canny算子提取原始图像轮廓，从边缘图像中提取轮廓取消，填充轮廓曲线中的断点，找到t型交岔点，标记为t型角点；然后，用一个较高的尺度来计算轮廓曲线上任意一点处的曲率，把局部曲率最大点作为候选角点，如果某个候选点处的曲率大于阈值，并且大约是相邻局部曲率最小点处的曲率的两倍，则把该角点作为正确角点；在较低的尺度下对已提取的角点进行定位；最后，把t型角点和提取出来的角点进行比较，剔除两个相隔较近的其中一个角点。

经典的几类主方向分配方法都依赖图像的灰度相似性，而红外和可见光的灰度差异极大，采用传统的主方向分配方法显然不够鲁棒，因此，本申请采用对角线的主方向分配方法。即在每个角点pc所在的轮廓曲线上，取位于角点pc左侧的一点作为左特征点pl，右侧的一点作为右特征点pr，如图3所示，利用其对应的像素坐标，构建左特征向量右特征向量以其和向量作为角点pc的主方向向量。

记角点pc对应的像素坐标为(xc,yc)，取角点pc所在轮廓曲线上左侧一定数量的点对应的像素坐标的平均值作为左特征点pl，记为(xl,yl)，取角点pc所在轮廓曲线上右侧一定数量的点对应的像素坐标的平均值作为右特征点pr，记为(xr,yr)，其具体数量可以根据实际情况而定，则左特征向量右特征向量以及其和向量的计算如下：

其中，ls表示轮廓曲线上的像素取样个数，取样个数越少，主方向对图像旋转越敏感同时短轮廓上的特征点方向确定越准确，取样个数越多，主方向对旋转越稳定同时短轮廓上的特征点方向误差越大；lc表示整条轮廓曲线的像素个数；cp表示轮廓曲线上的像素点集合，cp(i)表示轮廓曲线上第i个像素点的坐标值。

最终角点的主方向计算公式如下：

利用该公式即可保证主方向的旋转不变性，特征点的主方向向量永远指向轮廓曲线的凹侧，由上述式子可知主方向取值范围为[0，2π)。

步骤三、以主方向作为基准方向，计算以角点为中心的邻域梯度向量，进而获得每个角点对应的尺度不变特征描述子即sift描述子。

为了保证sift描述子的旋转不变性，计算角点的邻域梯度方向的过程中，以角点主方向为基准方向，即0°方向。根据研究经验，一般取角点为中心的邻域为4*4邻域，将其划分为16个子区域，每个子区域计算8、10或16个梯度方向，即把360°以22.5°、36°或者45°为间隔进行等分，本申请优选16个梯度方向。用一个梯度直方柱代表一个梯度方向，以8个梯度方向为例。白色区域的梯度统计后得到8个梯度向量，则所有子区域组成4*4*8＝128维向量。

但是电力设备红外和可见光图像中存在大量的梯度反向的情况，而为了保证局部强度不变性，则需要对邻域梯度方向做出修改。首先，为了将梯度方向限制在(0，180°)内，把幅值相差180°的梯度幅值累加，即将180°～360°中梯度向量对应累加到反方向的0°～180°的梯度向量上，以此解决梯度反向的问题。其次，将所有梯度向量的幅值按照降序排列，处于前20％的幅值均调整为1，20％～40％的幅值均调整为0.75，40％～60％的幅值均调整为0.5，60％～80％的幅值均调整为0.25，最后20％的幅值均调整为0。这样可以降低可见光图像的细节纹理比红外图像多带来的梯度差异大问题，分段调整能更好的呈现图像边缘的梯度信息，此外，在最后的归一化过程中无需进行截断，因为css角点本身位于红外图像和可见光图像的边缘，邻域内的梯度信息丰富，进行截断会使得梯度信息丢失严重。

经过上述两步处理方法后，记第i行第j列子区域的梯度向量为hij，整个邻域的梯度向量即sift描述子记为

步骤四、利用每个角点对应的sift描述子，对待配准的两张红外和可见光图像的先进行粗配准再进行精配准，获得最准确的配准点集，具体如下：

步骤ⅰ、利用尺度大小不同的多个sift模板分别对其中一张待配准的红外和可见光图像提取sift描述子，采用最近邻优先bestbinfirst，bbf结合双边匹配算法，将其与另一张待配准的红外和可见光图像的sift描述子分别进行粗配准，获取多组粗配准点集。

为了解决有的红外图像和可见光图像视角不一致导致的视野缩放问题，本申请对可见光图像进行0.5倍到2倍邻域大小的模板提取sift描述子，而对红外图像的sift描述子提取固定为1.0倍，36*36像素邻域大小的模板，根据实际应用情况，对可见光图像提取sift描述子采用的sift模板尺度设置0.5、0.75、1.0、1.5、2.0倍，故可提取五组sift描述子，对红外图像采用的sift模板尺度设置为1.0倍，故获取一组sift描述子。

然后，利用最近邻优先best-bin-first(bbf)结合双边匹配算法，将可见光图像的五组sift描述子分别与红外图像的一组sift描述子进行粗配准，获得五组配准点集，选取配准点对最多的一组用于精配准，标记为n对红外图像i1和可见光图像i2的候选配准点集合分别为

步骤ⅱ、采用倾斜角一致性匹配方法，对粗配准获得的配准点集进行精配准，具体如下：

首先，用于精配准的一组配准点集，其对应可见光图像的sift描述子提取所用的sift模板尺度的倒数作为最佳图像缩放比例s，对可见光图像的分辨率进行调整，调整后的红外图像i1和可见光图像i2的分辨率分别标记为[m1×n1]、s[m1×n1]。

然后，计算点集中各个配准点对对应的主方向的角度差值，将所有的角度差值进行等角度间隔划分，一般取两度，取角度间隔中角度差值个数最多对应的角度δφ作为旋转角度，即可见光图像i2相对红外图像i1的旋转角，因此，利用如下公式，对待配准的红外图像中的所有像素坐标进行坐标旋转。

再次、将待配准的两张红外和可见光图像即红外图像和正确缩放后的可见光图像在x方向上进行拼接，根据图像之间的仿射变换关系，在图像没有明显畸变且δφ与真实旋转角差异较小，例如旋转角度在(–10°，10°)区间内的情况下，正确的匹配点对之间的连线彼此大致平行且长度大致相等，根据这一特性，构建配准点对连线集合θi、di分别表示连线倾斜角和长度，其计算公式如下：

最后、将所有的连线倾斜角向下取整后进行等角度间隔划分，筛选出角度间隔中连线倾斜角个数最多对应的配准点对，再计算这些配准点对连线的长度平均值筛选出长度平均值的误差允许范围内的配准点对，可设定允许误差为εd，长度允许区间为获得精匹配点集分别记为当然对于连续倾斜角的判定也可以采用长度平均值的判定方法，即设定角度间隔中连线倾斜角个数最多对应的连线倾斜角为θm，设定角度允许误差为εθ，角度允许区间为[θm–εθ,θm+εθ]，则将连线集合k中θi处于角度允许区间外的连线对应的配准点对视为明显错配点进行剔除。

步骤ⅲ，利用双阈值ransac算法对精配准后的配准点集进行筛选，再经过亚像素优化处理后，获得最准确的匹配点集，具体如下：

步骤①、在点集中随机抽取三个点对进行面积约束判定，若满足，则对点集中的三个点进行面积拟合。

面积约束判定设置为：若随机产生的三个点对在各自的图像中围成的像素面积小于所在图像总面积的1/t，则跳过该组点的拟合，因为所围面积过小的组合拟合结果误差大，进行面积约束能有效减少运行时间并增加准确率。

步骤②、计算点集中的各点到拟合后平面的距离，若小于第一距离阈值，则保留其拟合后平面，从中筛选得到最优平面，第一距离阈值可设置为2εp。

步骤③、计算点集中的各点到最优平面的距离，若小于第二距离阈值，其对应的点记为内点，则内点集和其配准的对应点集里的点即为像素级匹配点集第二距离阈值可设置为εp。

步骤④、由于红外和可见光图像分辨率差异较大，且配准点均为像素级配准点，因此，采用亚像素级优化处理能够有效减小误差。即对像素级匹配点集中的每个点构建方形区域，计算方形区域中的每个点到最优平面的距离，保留最小距离对应的点作为优化后的点，获得最准确的配准点集

利用如下方程式，建立配准点集p2pixel中每个元素p2i的方形邻域，

p'2i＝{(x'2i,y'2i)|x2i-a*dp＜x'2i＜x2i+a*dp,y2i-a*dp＜y'2i＜y2i+a*dp}

其中，a表示方形邻域边长的一半，dp表示亚像素间距。

为了验证本发明的方法的可行性，使用不同算法对自建红外-可见光图像数据库进行配准实验，实验内容包括：

(1)无明显缩放、无旋转实验；

(2)不同旋转角度实验；

(3)含缩放及旋转角度实验；

(4)含噪声测试。

实验平台：

matlab2017b，

算法参数设置：

无旋转角度实验中取ls＝2，含旋转角度测试中取ls＝6；配准点连线倾斜角允许误差εθ＝7°，配准点距离允许误差ransac算法迭代次数200次，距离阈值εp＝m1/150，面积约束比例1/t＝1/20；亚像素优化邻域边长2a＝8，dp＝0.2。

评价指标：

(1)均方根误差rootmeansquarderror(rmse)

其中(xi,yi)图像配准得到的配准点坐标，(x’i,y’i)为配准点经过理论透视变换矩阵后的理论配准点坐标。该指标能客观反映配准算法的匹配精度高，其值越小，配准精度越高。

(2)查准率precision、查全率recall、匹配得分matchingscore

查准率代表正确配准点数量占所有配准点数量的比例，其值越大，反映错配准点去除算法越准确；查全率代表正确配准点占所有对应特征点的比例，其值越大，反映配准算法越准确；配准得分代表正确配准点占特征点总数量的比例，其值越大，反映特征点和描述子提取算法的精准度越高。

配准点集p1result中与理论匹配点像素距离误差δd＝||(xi,yi)–(x’i,y’i)||<εd1的点视为正确配准点(correctmatch)，εd1<δd<εd2的点视为不准确配准点(inaccuratematch)，δd>εd2的点视为错误配准点(incorrectmatch)。

(3)信息熵entropy

为了反映配准点在空间分布上的离散程度，引入信息熵概念对其进行评估。对于配准点集中一点pi，指定其分布概率为该点与p1result中的所有点的距离的高斯函数值，即

其中1/z为归一化常数，其意义在于所有点的分布概率之和应该为1。

最终得到配准点集的信息熵

信息熵值越大，反映配准点在空间分布上的离散程度更高，则由配准点计算得到的变换参数更准确，配准算法效果更好。

本发明采用五种不同的算法，分别是sift、surf、css-sift、harris-sift、harris-si-piifd，对自建电气设备红外和可见光数据库内的六幅图像对比，各项指标见下表所示。

由本发明得到的结果和传统的四类方法结果对比可见，本发明的红外和可见光图像配准方法在保持最高查准率的情况下依然有最高的准确率，同时均方根误差最小，综合得分f1-score最高。最为显著的是，本发明方法在配准过程中得到的正确配准点对数是其它方法的两倍以上，并且配准点在图像上的分布离散程度也最为全面。由实验结果说明，本发明方法的实用性较高，较以往的方法有更为准确的结果。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。