一种基于边缘特征的红外与可见光图像的配准方法和系统与流程

本发明涉及一种基于边缘特征的红外与可见光图像的配准方法和系统，属于图像配准技术领域和计算机视觉领域。

技术背景

红外图像感受和反映的是目标及背景向外辐射能量的差异，也就是说红外图像描述的是目标和背景所保持温度的差异，属于被动成像，可以全天候工作，因此红外传感器现在的使用范围越来越广，其中长波红外传感器因为可以不受太阳辐射的影响，使用最多。但是红外波段的固有分辨率以及在传输过程中受大气吸收和散射的作用，使得红外图像缺乏较好的对比度和分辨率，很难反映出目标的纹理信息，同时也使得红外图像的像素之间具有良好的空间相关性，图像的灰度均值保持相对稳定，含有较多、较大的同质区。

大部分的图像配准都是通过图像中特征点的匹配来实现的，基于特征点的图像配准通常分为三个步骤：特征点的提取、描述符的构建与特征点的匹配。由于红外与可见光的成像差异较大，采用sift算子、surf算子和kaze算子检测图像中的特征点并匹配，对于同源图像的匹配效果较好，对于长波红外和可见光图像的匹配效果并不理想。

长波红外是距离可见光谱的最远红外波段，相较于可见光图像，主要是共享形状信息，而大多数纹理信息都被遗漏，即同一物体在长波红外图像和可见光图像中的整体外观趋于恒定，即使在梯度方向发生显著变化的情况下，也可以在不同的波段中以稳健的方式提取代表它们的特征。但是在实际的使用环境和人为干扰的情况下，长波红外图像中有大量的噪声和干扰并存在模糊退化，在目标和背景温差较低时长波红外图像的退化更为严重。

技术实现要素：

本发明针对长波红外图像与可见光图像的配准成功率不高的现状，提供一种基于边缘特征的红外与可见光图像的配准方法，进一步提高匹配的鲁棒性和准确率。

本发明采用以下技术特征，提供一种基于边缘特征的红外与可见光图像配准方法，其特征在于，包括以下步骤：

分别提取出红外与可见光图像的边缘图像；提取边缘图像的特征点；

分别根据提取的边缘图像提取红外和可见光图像的边缘特征，并利用边缘特征分别构造红外和可见光图像的主方向矩阵；

分别利用主方向矩阵从提取的边缘图像的特征点中选择方向稳定的特征点；

对于每个方向稳定的特征点，根据以各特征点为中心的选定区域，利用高斯加权方法计算该特征点的特征向量获得该特征点对应的描述符；

基于获得的特征点对应的符匹配红外和可见光边缘图像的特征点对集合。

进一步地，根据提取的边缘图像提取红外和可见光图像的边缘特征，并利用边缘特征分别构造红外和可见光图像的主方向矩阵具体步骤包括：将边缘图像和与log-gabor滤波器组进行卷积表达使如下：

其中i(x,y)表示边缘灰度图像，gs,θ表示尺度为s、方向为θ的log-gabor滤波器，表示进行卷积运算，eos,θ(x,y)为图像通过滤波器后的尺度为s的方向θ的响应值矩阵。

对于尺度s，s∈{1,2,...,m}，m表示设定尺度的数量，在尺度s的多个方向的响应值中，找出最大的响应值矩阵：

maximum-response(x,y)＝max(eos,θ(x,y))，

其中，θ∈{1,2,...,n}，n表示设定方向的个数；

对于一个像素点(x1,y1)，在设定的所有方向的响应值中找到与最大响应值对应的方向θ1，然后记录在最大响应方向矩阵maximum-response-orientation中：

maximum-response-orientation(x1,y1)＝θ1.

maximum-response-orientation(x1,y1)就是像素点(x1,y1)在尺度s的最大响应方向，记录在尺度s的最大响应方向矩阵中，对每个像素点都计算尺度s的最大响应方向，就完成了尺度s的最大响应方向矩阵的计算，同理计算出每个尺度的最大响应方向矩阵，共m个最大响应方向矩阵。

计算图像的主方向矩阵o(x,y)，如果对于一个像素点的m个尺度的最大响应方向矩阵中，有大于设定比例的最大响应方向为同样的方向，则记录这一点的主方向矩阵的值为此最大响应方向，否则这一点的值为0。

进一步地，利用主方向矩阵从提取的边缘图像的特征点中选择方向稳定的特征点的具体方法包括：

对于一个像素点，如果该点在主方向矩阵的值不为0，这个点就是方向稳定的像素点；

当各特征点自身和选定邻域像素都是方向稳定的像素点，该特征点是方向稳定的特征点将其保留，否则舍弃。

进一步地，具体的描述符构建流程如下：

确定以各特征点为中心的选定区域具体包括：将每个以各特征点为中心的选定区域划分为设定数量的一级子区域；将每个一级子区域划分为设定数目的二级子区域，所述二级子区域比一级子区域小；

根据主方向矩阵o(x,y)构造每个方向的矩阵oθ(x,y)：

其中o(x,y)为主方向矩阵，σ为高斯函数的方差；

构建高斯滤波器：

其中

每个方向矩阵分别与构建的高斯滤波器进行卷积：

将n个方向的响应值合并为n维的直方图，然后将该方向上的二级子区域合并为一个矩阵，再利用构建的高斯滤波器对获得的矩阵进行滤波；最后根据矩阵获得其特征向量就为边缘特征描述符。

进一步地，具体的特征点匹配方法包括：

通过计算两个特征点间特征向量的欧氏距离来确定匹配度，欧氏距离公式为：

其中，m＝(m1,m2,m3...mp)和n＝(n1,n2,n3...np)分别是红外图像和可见光图像为方向稳定的特征点构建的描述符，p是描述符的维度，

用表示距离比值，di表示第i个特征点间特征向量的欧式距离，只有比值小于预设阈值q时，保留当前的匹配点对将所有的匹配的特征点构成匹配特征点对集合。

进一步地，利用ransac判断匹配的特征点集结果进行筛选，步骤如下：

1)从匹配的特征点集进行筛选中随机抽选设定数量的特征点作为ransac样本；

2)根据抽选的特征点对计算得到变换矩阵h；

3)根据变换矩阵h、样本集和误差度量函数计算满足当前变换矩阵的一致集，误差度量函数中ransac算法的容错度，计算一致集中元素的数量；

4)根据当前一致集中元素个数判断是否为最优一致集，如果是则更新当前最优一致集；

5)最后更新当前错误概率p，保留错误概率满足要求的匹配的特征点集：

p＝(1-pin*m)^k

其中pin是当前最优一致集中元素个数占样本总数的百分比；m是计算变换矩阵需要的最小特征点对个数，k是迭代次数；若p比设置的最小错误概率大，则重复步骤(1)至步骤(4)，直到当前错误概率p小于最小错误概率则停止迭代。

进一步地，利用结构化随机森林边缘检测方法提取出红外与可见光图像的边缘图像。

进一步地，利用surf提取红外和可见光边缘图像的特征点。

根据本发明的第二方面，提供了一种基于边缘特征的红外与可见光图像配准系统，包括：

边缘特征提取模块，用于分别提取出红外与可见光图像的边缘图像；

特征点提取模块，用于提取边缘图像的特征点；

主方向矩阵构建模块，分别根据提取的边缘图像提取红外和可见光图像的边缘特征，并利用边缘特征分别构造红外和可见光图像的主方向矩阵；

特征点选取模块，用于分别利用主方向矩阵从提取的边缘图像的特征点中选择方向稳定的特征点；

描述符构建模块，用于对于每个方向稳定的特征点，根据以各特征点为中心的选定区域，利用高斯加权方法计算该特征点的特征向量获得该特征点对应的描述符；

匹配模块，用于基于获得的特征点对应的描述符匹配红外和可见光边缘图像的特征点对集合。

根据本发明的第二方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以上技术方案提供的所述方法的步骤。

与现有技术相比，本发明的有益效果是：

1.本发明针对长波红外与可见光图像的共同特征提出了一种改进的特征提取与匹配的方法，与普遍使用的传统方法相比，这种方法可以在长波红外图像与可见光图像之间提取出更多有效特征，能够建立更加可信的初始匹配。

2.可见光图像相对于长波红外图像物体多了内部的纹理细节，而这些纹理对于匹配是没有用的，同时长波红外图像中的噪声也会对匹配产生干扰。结构化随机森林边缘检测器不需要设置阈值，利用结构化随机森林算法提取红外图像的边缘概率图，可以把红外图像不清晰的边缘以灰度波动的形式展示，同时减少可见光图像内部纹理对于匹配的干扰。

3.利用log-gabor滤波器组提取边缘图像的特征，构建主方向矩阵，一方面可以对surf算法提取的特征点进行筛选，另一方面结合两次高斯加权方案，更好的解决了描述符的边界问题，进一步提高匹配的准确率；

4.高斯滤波器对于中间像素具有最大的加权系数，并且外围像素的加权系数随着它们与中间像素的距离增加而逐渐减小。本发明采用的高斯滤波器中心部分对于描述符的构建算影响最大，影响因子为1，而其他点的影响因子相对较弱这可以减少计算误差。

附图说明

图1为本发明具体实施例方法流程图；

图2为本发明具体实施例盒式滤波器；

图3为本发明具体实施例局部极值点示意图；

图4为本发明具体实施例四分之一子区域的描述符建立流程。

具体实施方式

本发明实施例提出的一种基于边缘特征的长波红外与可见光图像的配准方法，配准流程图如图1所示，该方法的具体实现步骤如下：

1.长波红外和可见光图像的边缘提取：

使用结构化随机森林边缘检测器来提取可见光图像与红外图像的边缘，图像边缘的概率以灰度图的形式展示。

2.主方向矩阵的构建：

log-gabor滤波器是gabor滤波器的另一种表述形式，gabor滤波器的传递函数在线性频率尺度下为高斯函数，而log-gabor函数的传递函数则为对数频率尺度下的高斯函数。与gabor函数相比，log-gabor函数有两个重要优点。第一，log-gabor函数始终没有直流分量，因此用于图像处理时不受亮度条件的影响；第二，log-gabor函数的传递函数在高频处有一个伸长的尾部，可以弥补普通gabor函数低频表示过度而高频表示不足的缺陷。

由于log-gabor函数在原点处的奇异性，我们不能直接在空域中得到函数的解析表达式，因此滤波器的构造应在频域中进行。一个二维log-gabor滤波器可以分解成径向滤波器和角度滤波器两部分，对应的极坐标表达式如下所示：

将上述两个表达式相乘构造出一个log-gabor滤波器：

g(r,θ)＝gr(r)·gθ(θ)

其中(r,θ)代表极坐标系中的点，f0是中心频率，θ0是滤波器的方向角度，σr决定了尺度的带宽，σθ决定了角度的带宽。

本实施例将边缘图像和与4个不同尺度和每个尺度6个不同方向的log-gabor滤波器组进行卷积，计算出边缘图像的特征，用i(x,y)表示边缘灰度图像，那么i(x,y)和log-gabor的卷积可以定义为：

式中gs,θ表示尺度为s，方向为θ的log-gabor滤波器，本实施例s＝4，θ＝6；表示进行卷积运算，eos,θ(x,y)为图像通过滤波器后的结果。

对于尺度s，s∈{1,2,...,m}，m表示设定的尺度数量，在尺度s的多个方向的响应值中，找出最大的响应值：

maximum-response(x,y)＝max(eos,θ(x,y)),

其中，θ∈{1,2,...,n}，n表示设定方向的个数。

对于一个像素点(x1,y1)，在设定的所有方向的响应值中找到与最大响应值对应的方向θ1，然后记录在最大响应方向矩阵maximum-response-orientation中：

maximum-response-orientation(x1,y1)＝θ1.

maximum-response-orientation(x1,y1)就是像素点(x1,y1)在尺度s的最大响应方向，记录在尺度s的最大响应方向矩阵中，对每个像素点都计算尺度s的最大响应方向，就完成了尺度s的最大响应方向矩阵的计算，同理计算出每个尺度的最大响应方向矩阵，共m个最大响应方向矩阵。

然后计算图像的主方向矩阵o(x,y)，如果对于一个像素点的m个尺度的最大响应方向矩阵中，有大于设定比例(本实施例设定比例为50％)的最大响应方向为同样的方向，则记录这一点的主方向矩阵的值为此最大响应方向，否则这一点的值为0。

3.特征点的提取和筛选：

使用surf算子提取长波红外边缘图像和可见光边缘图像中的特征点，再利用主方向矩阵筛选出方向稳定的特征点，具体步骤如下：

1)尺度空间的极值检测：

搜索所有尺度空间上的图像，通过hessian矩阵来识别潜在的对尺度和选择不变的兴趣点。对于一个图像i(x,y)，其hessian矩阵如下：

hessian矩阵的行列式为：

在构建hessian矩阵前需要对图像进行高斯滤波，经过滤波后的hessian矩阵表达式为：

其中(x,y)为像素位置，l(x,y,σ)＝g(σ)*i(x,y)，代表着图像的高斯尺度空间，是由图像和不同的高斯卷积得到。在图像中，一阶导数是相邻像素的灰度差：

lx＝l(x+1,y)-l(x,y)

二阶导数是对一阶导数的再次求导：

lxx＝[l(x+1,y)-l(x,y)]-[l(x,y)-l(x-1,y)]

lxx＝l(x+1,y)+l(x-1,y)-2l(x,y)

反过来看hessian矩阵的行列式，其实就是当前点对水平方向二阶偏导数乘以垂直方向二阶偏导数再减去当前水平、垂直二阶偏导的二次方：

det(h)＝lxx*lyy-lxy*lxy

通过这种方法可以计算出图像中每个像素的hession行列式的值，并用这个值来判别图像局部特征点。hession矩阵判别式中的lxy是原始图像的高斯卷积，由于高斯核服从正太分布，从中心点往外，系数越来越小。为了提高运算速度，surf算法使用了盒式滤波器来替代高斯滤波器，如图2所示，从左到右依次为lyy、lxx和lxy。所以在lxy上乘了一个加权系数0.9，目的是为了平衡因使用盒式滤波器近似所带来的误差，则hession矩阵判别式可表示为：

det(h)＝lxx*lyy-(0.9*lxy)²

2)特征点的筛选：

在surf算法中，不同尺度的图像大小是一样的，但是不同尺度使用的盒式滤波器的模板尺寸不同。将经过hessian矩阵处理的每个像素点(即获得每个像素点hessian矩阵的判别式值)与其图像域(相同大小的图像)和尺度域(相邻的尺度空间)的所有相邻点进行比较，当其大于(或者小于)所有相邻点时，该点就是极值点。如图3所示，中间的检测点(图中黑色点)要和其所在图像的3×3邻域8个像素点，以及其相邻的上下两层3×3邻域18个像素点，共26个像素点(图3中白点)进行比较。

然后再使用主方向矩阵对特征点进行筛选，当一个像素点的主方向在四个尺度的数量大于50％，认为该点是方向稳定的点，对于surf提取出的特征点，当该特征点自身和8邻域像素都是方向稳定的点，就认为该特征点是方向稳定的特征点，则保留下来进行下一步，否则舍弃。

4.特征点描述符的构建:

首先，获得以给定特征点为中心的s×s像素区域，本实施例s＝200。所得区域分为4个小的子区域。如图4所示，每一个四分之一子区域由一个特征向量表示，该特征向量使用两阶段高斯加权方案构造所得。

根据主方向矩阵o(x,y)构造每个方向的矩阵o(x,y)：

子区域分为4×4个区域，每个区域的大小为s/8×s/8。选择高斯滤波器是因为相邻像素的权重将随着点和中心点之间的距离单调减少。接着，构建大小为s/8×s/8的高斯滤波器：

高斯滤波器对于中间像素具有最大的加权系数，并且外围像素的加权系数随着它们与中间像素的距离增加而逐渐减小。由于高斯滤波器的尺寸可能很大，为了减少计算误差，对高斯滤波器进行归一化处理：

滤波器更改后，中心部分对于描述符的构建影响最大，而其他点的影响因子相对较弱。将每个方向矩阵分别与经过处理的高斯滤波器进行卷积：

当卷积完成时，获得一个大小为1×1的矩阵，这个值为一个方向的响应值。将六个方向的响应值合并为6维的直方图，并将该方向上的16个子区域合并为一个矩阵。

接着，从16个直方图中选择相同方向的响应值，组成一个4×4大小的矩阵，构建4×4大小的高斯滤波器来对这个矩阵进行滤波。最后，将每个四分之一子区域的96维的特征向量组合成384维的边缘特征描述符。

5.特征点的匹配：

从红外图像和可见光的构建了描述符的特征点中找出匹配的特征点对，通过计算红外图像特征点和可见光图像的特征点的描述符(特征向量)的欧氏距离来确定匹配度，欧式距离越短，代表这两个特征点匹配度越好。在计算出匹配结果后，使用ransac对匹配结果进行筛选。

从红外图像构建了描述符的特征点中抽取一个点，从可见光图像的所有的构建了描述符的特征点中查寻与该点欧氏距离最近的前两个特征点，获得距离最近的与次近的比值，若比值小于给定的阀值，则认为距离最近的点为匹配点。欧氏距离公式为：

其中，m＝(m1,m2,m3...mp)和n＝(n1,n2,n3...np)分别是长波红外图像和可见光图像的描述符，p等于384，是描述符向量的维度。用表示距离比值，本发明设置q＝0.8。

基于以上实施例，在其它实施例中可以利用ransac对匹配的结果进行筛选，步骤如下：

(1)从样本集中随机抽选一个ransac样本，本文取4个特征点对作为样本。

(2)根据这4个特征点对计算得到变换矩阵h，h是一个3×3矩阵。

(3)根据变换矩阵h、样本集和误差度量函数计算满足当前变换矩阵的一致集，误差度量函数中ransac算法的容错度设置为3个像素，计算一致集中的像素个数。

(4)根据当前一致集中元素个数判断是否为最优一致集，如果是则更新当前最优一致集。

(5)最后更新当前错误概率p：

p＝(1-pin*m)^k

pin为当前最优一致集中元素(内点)个数占样本总数的百分比，表征了当前最优一致集的优劣；m为计算变换矩阵需要的最小特征点对个数，是固定值，本发明取m＝4；k是迭代次数。若p比设置的最小错误概率大，则重复步骤(1)至步骤(4)，直到当前错误概率p小于最小错误概率则停止迭代，本发明中最小错误概率取0.01。利用ransac对匹配的结果进行筛选能够获得更加精确的匹配的特征点集。

实施例：一种基于边缘特征的红外与可见光图像配准系统，包括：

边缘特征提取模块，用于分别提取出红外与可见光图像的边缘图像；

特征点提取模块，用于提取边缘图像的特征点；

主方向矩阵构建模块，分别根据提取的边缘图像提取红外和可见光图像的边缘特征，并利用边缘特征分别构造红外和可见光图像的主方向矩阵；

特征点选取模块，用于分别利用主方向矩阵从提取的边缘图像的特征点中选择方向稳定的特征点；

描述符构建模块，用于对于每个方向稳定的特征点，根据以各特征点为中心的选定区域，利用高斯加权方法计算该特征点的特征向量获得该特征点对应的描述符；

匹配模块，用于基于获得的特征点对应的描述符匹配红外和可见光边缘图像的特征点对集合。

需要说明的是，本实施例中各个模块的实现方法如上述实施例所述，这里不赘述。

本发明针对长波红外与可见光图像的共同特征提出了一种改进的特征提取与匹配的方法，与普遍使用的传统方法相比，这种方法可以在长波红外图像与可见光图像之间提取出更多有效特征，能够建立更加可信的初始匹配。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。