一种图像配准方法及装置与流程

本发明涉及智能识别、图像处理领域，具体涉及一种图像配准方法及装置。

背景技术：

在视频图像领域，对于模糊的图像处理，常常需要多幅相同场景的图像来进行重建达到提高分辨率的目的。而要实现这个目的，需要进行两幅甚至是多幅图像之间的配准。图像配准是将同一场景在不同时间、不同视角或者是不同传感器拍摄的两幅或多幅具有重叠区域的图像进行处理的过程，它在计算机视觉、遥感技术、医学图像处理、图像融合、图像超分辨率重建等领域有着广泛的应用。

图像配准的现有常用方法包括灰度信息法、基于变换域法、基于特征的方法。

1)基于灰度信息法对异源图像配准效果较好，但是计算量大，要求图像有较大的重叠区域，容易出现局部极值；

2)基于变换域的方法是采用频域的方法，利用傅里叶变换，通过对比、平移、旋转、缩放在时域和频域的对应关系，求得变换关系；

3)而基于特征的图像配准方法是目前最常用的方法，因为这种方法只需要针对图像特征进行分析，减少了图像处理过程的运算量，并且对于亮度变化，图像变形和遮挡都有较好的适应能力。这种方法首先通过提取图像的特征，然后构造描述子，再进行两幅图像之间特征的匹配，最后进行融合变换，达到配准的效果。

但是现存的图像特征提取方法，比如sift、surf等，都是基于线性的高斯金字塔进行多尺度分解来消除噪声和提取图像特征点。高斯分解牺牲了局部精度作为代价，容易造成边界模糊和细节丢失。非线性的尺度分解可以解决这个问题，但非线性扩散方程并没有解析解，只能使用数值分析的方法来求解。传统的基于正向欧拉法求解时迭代收敛的步长太短、耗时长、计算复杂度高。

现有的比较理想的特征提取方法kaza也存在一些缺陷。kaza方法中采用加性算子分裂方法(additiveoperatorsplitting，aos)来求解非线性扩散方程，可以采用任意步长来构造稳定的非线性尺度空间，但实现复杂。加速版本的kaze方法(akaza)采用快速显示扩散(fastexplicitdiffusion，fed)数值分析框架来求解非线性扩散滤波方程，相比aos方法在精度方面得到了较好的提升，并且降低了实现的复杂度。但是akaze方法采用的m-surf特征描述子构建的特征向量在进行特征匹配过程中耗时长且匹配精度不够高。

技术实现要素：

为了解决上述技术问题，进一步提高图像配准过程中的速度和精度，本发明提出一种改进的图像配准方法及装置，并且采用汉明距离度量图像特征之间的相似度，减少计算量，提高配准速度。

为了达到上述目的，本发明的技术方案如下：

一种图像配准方法具体包括以下步骤：

1)进行图像特征提取；

2)将灰度矩引入ldb描述子，构建特征点的主方向，在对特征点描述时，将特征点的邻域图像块旋转到主方向，构建描述子；

3)进行图像之间的特征匹配；

4)查找最佳匹配点。

本发明发明了一种改进ldb(localdifferencebinary)描述子的方法，提高匹配的精度，实现特征描述子的鲁棒性。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，步骤1)具体包括以下步骤：

1.1)构建图像的非线性尺度空间；

1.2)进行特征点检测，提取出特征点；

1.3)找到特征点后，进行亚像素的精确定位。

采用上述优选的方案，有效进行特征提取，提取精度高，速度快。

作为优选的方案，步骤1.1)利用非线性扩散方法和fed求解隐性差分方程的原理来构建图像的非线性尺度空间。

采用上述优选的方案，非线性扩散滤波是一种用流动函数的散度来描述图像亮度在不同尺度空间变化的方法。采用快速显示扩散(fed)来求解方程，因为它结合了显示和半隐式的优点。

作为优选的方案步骤1.2)使用非极大值抑制方法，计算图像金字塔中每个像素点的hessian矩阵，步骤1.2)检测中的这些特征点在非线性尺度空间上，是经过尺度归一化之后的hessian矩阵行列式值在局部的极大值。

采用上述优选的方案，效果好。

作为优选的方案，步骤1.2)中hessian矩阵的窗口大小为3*3。

采用上述优选的方案，加快搜索速度。

作为优选的方案，步骤3)利用汉明距离的方法来度量两个描述子之间的相似度。

采用上述优选的方案，采用汉明距离度量图像特征之间的相似度，减少计算量，提高配准速度。

作为优选的方案，步骤4)利用knn方法来查找最佳匹配点。

采用上述优选的方案，精度高，速度快。

作为优选的方案，步骤4)中knn方法的k值取为2；

这样对于每个特征点都有两个待匹配点，将两个距离记为dist1和dist2；

其中，前者为最近邻距离，后者为次近邻距离，如果两者比值小于设定的阈值ratio则接受这个最近邻的匹配点。

采用上述优选的方案，精度高，速度快。

作为优选的方案，还包括步骤5)，采用ransac方法来拟合出最优的匹配对，去除误匹配对。

采用上述优选的方案，有效去除误配对。

一种图像配准装置包括：存储器或采集器，用于存储或采集图像样本；处理器，利用图像配准方法对图像进行特征提取和配准。

本发明一种图像配准装置结构简单，可以有效对图像进行有效配准，效率高，精确度好。

附图说明

图1为本发明实施例提供的一种图像配准方法的流程图。

图2为三个不同灰度分布的图像块(a)、(b)和(c)。

图3为图像对1-3。

图4为graf组匹配正确率比对结果图。

图5为leuven组匹配正确率比对结果图。

图6为btree组匹配正确率比对结果图。

图7为compa组匹配正确率比对结果图。

图8为graf组中的图像对1-3配准之后的效果图。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

为了达到本发明的目的，一种图像配准方法及装置中一些实施例中，

如图1所示，一种图像配准方法具体包括以下步骤：

1)进行图像特征提取；

2)将灰度矩引入ldb描述子，构建特征点的主方向，在对特征点描述时，将特征点的邻域图像块旋转到主方向，构建描述子；

3)进行图像之间的特征匹配；

4)查找最佳匹配点。

步骤1)具体包括以下步骤：

1.1)利用非线性扩散方法和fed求解隐性差分方程的原理来构建图像的非线性尺度空间；

1.2)进行特征点检测，提取出特征点，这些特征点在非线性尺度空间上，是经过尺度归一化之后的hessian矩阵行列式值在局部的极大值；

1.3)找到特征点后，进行亚像素的精确定位。

步骤3)利用汉明距离的方法来度量两个描述子之间的相似度，采用汉明距离度量图像特征之间的相似度，减少计算量，提高配准速度。

步骤4)利用knn方法来查找最佳匹配点，k值取为2；这样对于每个特征点都有两个待匹配点，将两个距离记为dist1和dist2；

其中，前者为最近邻距离，后者为次近邻距离，如果两者比值小于设定的阈值ratio则接受这个最近邻的匹配点。

一种图像配准装置包括：存储器或采集器，用于存储或采集图像样本；处理器，利用图像配准方法对图像进行特征提取和配准。本发明一种图像配准装置结构简单，可以有效对图像进行有效配准，效率高，精确度好。

本发明提出一种图像配准方法及装置，具有以下有益效果：

1)将灰度矩引入到ldb描述子中，作为图像特征的方向信息，并将其应用到图像配准中，提高了配准的准确度。

2)本发明使用汉明距离代替欧式距离计算图像特征向量之间的距离，提高了图像配准的速度。

以下对本发明的方法进行具体详细的描述。

传统的akaze方法在提取图像特征的时候分为三个主要的步骤：

1)利用非线性扩散方法和fed求解隐性差分方程的原理来构建非线性尺度空间；

2)检测感兴趣的特征点，这些特征点在非线性尺度空间上，是经过尺度归一化之后的hessian矩阵行列式值在局部(3×3邻域)的极大值；

3)构造特征向量，计算特征点的主方向，并基于一阶微分图像提取具有尺度和旋转不变性的特征描述向量。

首先进行非线性尺度空间的构造。非线性扩散滤波是一种用流动函数的散度来描述图像亮度在不同尺度空间变化的方法。用非线性偏微分方程来描述：

式中，div和分别代表散度和梯度；l代表图像的亮度；c是传导扩散函数，使得扩散自适应于图像的局部结构，保留图像的局部精度，其中t是尺度参数，值越大代表图像尺度越大。

函数c定义如下：

式中函数g的定义可以根据不同的要求进行设计。在实验中为了优先保留宽度较大的区域将g定义为：

式中，表示将原始图像做参数为σ的高斯平滑；λ是对比度因子，控制扩散的程度，它决定图像平滑过程中被加强或被削弱的边缘。λ一般取经验值，通过计算平滑图像的梯度直方图，取其70％以上的经验值；一般的，值越大，保留的边缘信息越少。

采用快速显示扩散(fed)来求解方程(1)，因为它结合了显示和半隐式的优点。采用盒子滤波来近似高斯内核。易于实现且计算复杂度低。fed的主要思想进行m次循环，m是图像金字塔中组数o与层数s的积，即得到的滤波后的图像总数；每次循环都是一个n次的迭代过程，第j次迭代步长τj的定义为：

式中，τmax是不破坏迭代过程稳定性的最大迭代步长。利用显示扩散可以将偏微分方程(1)表示为显示模式：

式中τ是一个常量的迭代步长；a(lⁱ)是图像的传导矩阵。进行迭代之后求解出的图像亮度表示为：

l^i+1，j+1＝(i+τja(lⁱ))l^i+1，j，j＝0，...，n-1(6)

式中，i是单位阵。而l^i+1，0＝lⁱ作为初始化的先验信息。

而每一次迭代的时间由空间滤波参数决定。对每一层的图像进行高斯滤波的参数定义为σi：

在传导扩散方程中以时间为单位进行迭代，所以需要将空间滤波参数转化为时间单位，而在高斯尺度空间下，使用标准差为σ的高斯核对图像进行卷积，相当于对图像进行持续时间为t＝σ²/2的滤波。所以尺度参数σi转化为时间单位的映射公式为：

当结束某一层(oi)的滤波之后，在图像金字塔的下一层进行降采样操作；然后修改对比度因子λ。这样就可以得到一个o组每组s层的图像金子塔。

然后进行特征点的检测，提取出特征。特征点的检测与sift方法类似。使用非极大值抑制方法，计算图像金字塔中每个像素点的hessian矩阵，为了加快搜索速度，窗口大小固定为3*3。即在上一层和下一层及周围共26个像素点中寻找归一化后不同尺度的hessian矩阵行列式的局部极大值.hessian矩阵行列式的值计算如下：

式中σ是这一层的尺度参数σi的整数值。(lxx，lyy)分别是图像水平和垂直方向的二阶偏导，而lxy是交叉偏导数。

找到特征点后，再进行亚像素的精确定位.利用空间尺度的泰勒展开式：

式中，l(x)是空间尺度函数，x是特征点所在的坐标。亚像素坐标的解为：

得到亚像素的坐标后，就可以进行特征描述子的构造。本发明采用的方案是引入灰度矩到ldb中，实现特征描述子的鲁棒性。ldb描述子是一种二值描述子，相比于传统的数值描述子sift、m-sufr等，具有计算机量小，实时性强的优点。判断一个描述子是否具良好的特性，主要有三个方面：

1)差异性，即对于不同的特征具有强区分度；

2)低计算复杂度，易于计算，匹配时消耗时间少，具有实时性；

3)鲁棒性，对于光照变化，旋转等具有不变性。

ldb描述子由于引入了图像的一阶梯度，而不仅仅是基于图像的灰度信息，所以具有很高的差异性。如图2所示，如果仅仅考虑平均灰度信息，那么三个图像(a)、(b)、(c)的平均灰度是一样的。ldb使用两个网格内的平均灰度和水平以及垂直方向的一阶梯度信息来区分三个图像块。

加入梯度信息虽然使描述子增强了差异性，但是没有加入方向信息和尺度信息导致这种描述子对于图像的旋转和尺度变化比较敏感，降低了鲁棒性。

本发明将灰度矩添加到ldb中，用它来描述特征子的方向。图像块的灰度矩定义为：

式中，(x，y)是像素点的坐标，p，q分别取0和1。i(x，y)代表像素点的灰度.利用灰度矩将灰度的重心定义为：

假设特征点的位置为f，则将主方向定义为向量的方向：

通过以上方法构建描述子的主方向，在对特征点进行描述时，首先将特征点的邻域图像块旋转到主方向，然后构建出描述子。

另外，为了提高的匹配的速度，在对特征点进行匹配时，首先需要度量两个描述子之间的相似度，本发明中采用汉明距离。它对两个相同长度的二进制字符串进行异或操作，结果中为1的字符个数即两个字符串的汉明距离。这对于ildb二值描述子来说计算量非常小，匹配效率非常高。

在查找最佳匹配点时，采用knn方法，其中k值取为2。这样对于每个特征点都有两个待匹配点。不妨将两个距离记为distl和dist2；其中前者为最近邻距离，后者为次近邻距离。如果两者比值小于某个阈值ratio则接受这个最近邻的匹配点。实验表明，ratio的值在0.65到0.8之间为最佳。

上述的操作虽然有助于找到一些最佳的匹配点，去除一些不必要的匹配对。但是在匹配的结果中仍然会有误匹配对。所以在实验中再次采用ransac方法来拟合出最优的匹配对，去除误匹配对。

以下对本发明所提出的方法进行实验验证。

为了验证本发明在配准速度和精度上相比于现存方法的优势，本发明分别使用surf、m-surf以及ildb三种描述子构建图像特征向量，对应三种方法的实验对比分别是surf、a-kaze和akaze-ildb。实验中从配准正确率和配准时间两个指标对方法做出评价分析。实验平台为windows7系统，cpu2.6ghz，8g内存的个人电脑。编程环境为qt4.7以及opencv3.1。实验采用katholieke大学公开的4组图像进行测试。

每组四幅图像，其中一幅作为参考图像，其余三幅作为待配准图像。根据图片的现实场景，每组图像分别属于四种类别：

1)不同视点，图像组命名为graf；

2)不同亮度，图像组命名为leuven；

3)不同模糊，图像组命名为btree；

4)压缩失真，图像组命名为compa；

并且每组图像中的每一对图像1-2，1-3，1-4的配准难度是逐渐上升的。选取每组图像中配准难度适中的图像对1-3描述如图3所示。

实验分为两部分，首先从配准时间的角度分析三种方法的效率；其次从图像特征向量匹配正确率的角度分析三种方法所提取特征点的精确度。

方法时间上的开销主要包括三个部分：

1)尺度空间的构造；

2)特征描述向量的构造；

3)特征向量的匹配；

为了保证实验的一致性，三种方法采用的都是k近邻匹配，其中k值为2。获取最佳匹配点的阈值设置为0.8。取每组图像3次匹配的平均时间作为结果，如表1所示：

表1三种方法针对每组图像的平均配准时间

从表1中可以看出akaze-ildb方法除了在亮度变化的图像组中与原始的a-kaze方法持平，其他图像组中都具有优势，平均配准的时间减少了约300ms。虽然surf方法在时间上具有优势，但在下面的匹配正确率的分析中表现并不理想。

采用匹配正确率来衡量配准方法是否匹配了两幅图像中正确的特征点.实际方法中检测的匹配对数量记为#matches；将这些匹配对作为输入，使用已知输入的单应性矩阵验证其是否是另一幅图中相应的正确特征点，采用欧式距离进行判断，如果距离小于设定的阈值2.5，则将其记为正确的匹配对，总数量记为#correct，则匹配正确率的计算公式为：

如图4-7所示，匹配正确率的值越大，表示方法提取出的特征点精确度越高。从图3中可以看出本发明方法在图像亮度变换、不同模糊程度以及压缩失真的图像匹配中比另外两种方法有明显优势，这是因为akaze-ildb利用非线性尺度空间构造图像金字塔来保持图像局部精度和边缘细节，所以在配准精度上保持了原始akaze方法的优势。

通过仿射变换将参考图像标定在待配准图像上。图8是graf组中的图像对1-3配准之后的效果，左边是参考图像，右边是是视点变化之后的待配准图像，两幅图中的小圆圈代表的是检测到的特征点，实线连接的是两幅图像中对应的特征点。最后在待配准图像中，用实线框将左边的参考图像标定出来。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，还包括步骤5)，采用ransac方法来拟合出最优的匹配对，去除误匹配对。

以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。