基于图像相似约束的图像拼接优化方法

本发明涉及图像处理领域，尤其涉及一种基于图像相似约束的图像拼接优化方法

背景技术：

图像拼接是将多幅图像的公共区域结合起来，形成全景图像的一种技术。在汽车领域，医学图像领域，图像遥感领域，军事，农业，计算机视觉等领域有着广泛的应用。图像拼接的主要目的是增大图像视角，有助于掌握更全面更直观的信息。

完整的图像拼接算法包括特征点的检测、特征匹配、图像投影、图像融合这四个步骤。图像拼接可分为基于景象和基于特征两类拼接方法。基于景象的拼接方法容易产生图像的形变且计算难度高。基于特征的拼接方法计算量小，且不易受亮度、平移、缩放等变换影响。

sift(scale-invariantfeaturetransform)特征检测算法是lowe在1999年提出并在2004年完善的，该算法对光照，平移，尺度，旋转等具有较强的鲁棒性。是目前最常用的图像特征提取算法。传统图像拼接方法存在实时性低，拼接精度低，对曝光和视差较敏感等问题，是图像拼接领域主要的研究方向。

技术实现要素：

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于图像相似约束的图像拼接优化方法，该方法能够满足不同条件下的图像拼接需求，是一种耗时短，精度高，拼接效果良好的图像拼接方法。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种基于图像相似约束的图像拼接优化方法，包括以下步骤：

s101：根据参考图像指定区域采用图像归一化互信息量搜索目标图像的相似区域，确定两幅图像的公共区域；

s102：针对参考图像和目标图像的公共区域分别进行sift特征点的提取，并利用距离聚类法初步筛选出特征匹配点对；

s103：根据空间相似约束信息约束初步筛选出的特征匹配点对，筛选出更加精确的特征匹配点对，然后再利用ransac(随机抽样一致性算法)剔除误匹配点对；

s104：采用全局dlt(直接线性变换)法，对剔除误匹配点对的精确特征匹配点对进行精确的全局单应性矩阵的求解，以改善参考图像和目标图像因视差问题产生的融合图像重影问题；

s105：利用精确特征匹配点对的灰度差异信息归一化目标图像，以解决因摄像设备的曝光差异而产生的融合图像拼接缝问题，再利用最优拼接缝图像拼接方法对两幅图像进行图像拼接操作，获得最终的融合图像；

进一步地，s101具体如下：首先，需要确定参考图像的模板。本文获得模板区域的方法是采取参考图像沿竖直方向切出前六分之一作为模板图像；然后以模板的信息为标准，从左往右遍历目标图像，并对应求取归一化互信息量mi；当mi最大时停止遍历，说明此时模板配准成功，继而找到两图的相似区域；图像对应区域的归一化互信息量mi为：

mi(i1,i2)＝e(i1)+e(i2)-e(i1,i2)(1)

其中：

e(i)＝-∑gpi(g)log(pi(g))(2)

公式(2)、(3)中的g,h分别是图像i1和i2各自区域对应位置的灰度值；公式(3)中的是图像i1和i2对应区域的相似性分布函数；

进一步地，步骤s102的特征点提取仅针对权力要求2所述的相似区域，其中，相似区域即本发明所述的公共区域；

进一步地，步骤s103具体如下：在所述公共区域中，从所提取出的弱匹配点对获得强匹配点对，运用如下公式：

其中：

对{si}进行从大到小的排列，并获得中位数，作为空间相似约束因子，当{si}在空间相似约束因子上下0.05(可依实验图像进行调整)区间内，视为强匹配正确。如图中的s7经过上述步骤后将会被筛除，即剔除特征点p17与p27的特征匹配点对，其余将被视为强匹配。随后，再利用随机抽样一致性算法(ransac)提取出正确的匹配点对；

式(6)中的(x1',y1')是弱匹配特征点的形心c1在图像1中的坐标，c2同理；式中(x1i,y1i)是p1i在图像中的坐标；式中m的是弱匹配特征点对的个数；式中的|p1ic1|是p1i到形心c1的距离，|p2ic2|同理；

进一步地，步骤s105具体如下：在得到权利要求4所述更精确的特征匹配点对的前提下，利用方差特性对图像融合进行自适应归一化处理；归一化处理过程如下：先用如下计算公式分别计算出两幅图像精确匹配点对的灰度方差；

其中：

通过计算得出两幅图像强匹配特征点对的灰度方差后，便可利用两幅图像的方差比值来归一化处理其中一张图像，以达到消除曝光差异的效果；

式(7)到(10)中的n为正确匹配特征点对的个数；式(7)、(9)中的idst1(i,j)为参考图像i1正确匹配特征点的灰度值；式(8)、(10)中的idst2(i,j)同理；式(9)中的mdst1为参考图像i1正确匹配特征点的灰度均值；式(10)中的mdst2同理。式(7)中的var1为参考图像i1正确匹配特征点的灰度方差；式(8)中的var2同理；式(11)中的il(i,j,k)为搜索出的最优拼接缝的左图il在通道k、位置为(i,j)的像素值；ir(i,j,k)同理；式(11)中的i(i,j,k)为经过融合优化后的图像。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)改进的算法通过限制特征点区域来减少图像特征点提取时间，减少特征点匹配时间；同时也提高了特征点匹配效率；

(2)改进的算法加入公共区域空间相似分布因子来限制特征点的匹配，明显提高特征点匹配精度，减少了因局部相似而造成的误匹配问题；

(3)应用本发明的方法进行图像拼接相较于传统的拼接方法，特征提取时间更快，稳定性强，受环境因素干扰的影响较小，拼接效果良好，拼接结果更加自然。

附图说明

图1为本发明所述的一种基于图像相似约束的图像拼接优化方法的流程图；

图2为本发明所述实验的输入图像；

图3为本发明所述相似区域搜索流程图；

图4为本发明所述空间相似约束示例图；

图5为本发明所述特征匹配对比图

图6为本发明所述实验结果对比图

具体实施方式

为了使发明的目的，技术方案和优点更加清楚，下面结合附图及具体实施对本发明进行详细描述。

如图1，本发明首先对图像进行相似区域搜索；然后采用sift特征提取算法分别对参考图像和目标图像的公共区域进行特征点的提取；采用所述的空间相似约束匹配，即先利用距离聚类法对提取出的特征点对匹配，然后利用公共区域特征点空间分布一致特性约束匹配，以提高特征点匹配精度，并采用ransac算法剔除误匹配对；再对匹配的特征点对进行投影矩阵计算操作；最后利用灰度差异改善最优拼接缝融合算法因曝光差异产生的过渡不平滑问题，得到融合图像。

实验硬件使用的是联想笔记本电脑，硬件配置为intel(r)core(tm)(r)，2.6ghz，内存为8.0gb，操作系统为windows10的pc机为实验工具，仿真平台为matlab2016a。

(1)如图2所示，首先输入图2a,图2b所示的两幅原始图像，对两幅图像进行公共区域的搜索：本文采用归一化互信息量来寻找相似区域作为理想公共区域。相似区域搜索流程图如图3所示。

如图3所示，首先，需要确定b图的模板；本文获得模板区域的方法是采取b图沿竖直方向切出前六分之一作为模板图像，其结果如图2的模板c图所示。然后以模板的信息量为标准，从左往右遍历a图并对应求取归一化互信息量mi。当mi最大时停止遍历，说明此时模板配准成功，即在e图找到与d图绿色框选区域相对应地红色框选区域，继而找到两图的相似区域。e图理想公共区域即mi配准e图中蓝色虚线框选区域；d图理想公共区域为mi配准d图中紫色虚线框选区域，两区域大小一致。图像对应区域的归一化互信息量mi为：

mi(i1,i2)＝e(i1)+e(i2)-e(i1,i2)(12)

其中：

e(i)＝-∑gpi(g)log(pi(g))(13)

公式(2)、(3)中的g,h分别是图像i1和i2各自区域对应位置的灰度值；公式(3)中的pi1,i2(g,h)是图像i1和i2对应区域的相似性分布函数。

(2)分别对(1)中的图3f，图3g进行特征点的提取操作，因为仅对部分图像进行特征点的提取工作，所以明显降低了特征提取的时间。

(3)采用空间相似约束匹配，具体步骤如下：

首先，根据(2)在各自图像上获得特征点描述子，然后经过距离聚类法获得弱匹配点对。假设特征点匹配点对分布如图4所示。

最后，在理想公共区域中，从所提取出的弱匹配点对获得强匹配点对，运用如下

公式：

其中：

对{si}进行从大到小的排列，并获得中位数，作为空间相似约束因子，当{si}在空间相似约束因子上下0.05(可依实验图像进行调整)区间内，视为强匹配正确。如图中的s7经过上述步骤后将会被筛除，即剔除特征点p17与p27的特征匹配点对，其余将被视为强匹配。随后，再利用随机抽样一致性算法(ransac)提取出正确的匹配点对；

式(6)中的(x1',y1')是弱匹配特征点的形心c1在图像1中的坐标，c2同理；式中(x1i,y1i)是p1i在图像中的坐标；式中m的是弱匹配特征点对的个数；式中的|p1ic1|是p1i到形心c1的距离，|p2ic2|同理；

(4)投影矩阵计算利用dlt(直接线性变换)法获得；

(5)图像融合采用加入最优拼接缝融合法，并加入灰度差异信息优化融合图像，具体步骤如下：

在得到更精确的特征匹配点对的前提下，利用方差特性对图像融合进行自适应归一化处理。归一化处理过程如下：先用如下计算公式分别计算出两幅图像精确匹配点对的灰度方差。

其中：

通过计算得出两幅图像强匹配特征点对的灰度方差后，便可利用两幅图像的方差比值来归一化处理其中一张图像，以达到消除曝光差异的效果；

式(7)到(10)中的n为正确匹配特征点对的个数；式(7)、(9)中的idst1(i,j)为参考图像i1正确匹配特征点的灰度值；式(8)、(10)中的idst2(i,j)同理；式(9)中的mdst1为参考图像i1正确匹配特征点的灰度均值；式(10)中的mdst2同理。式(7)中的var1为参考图像i1正确匹配特征点的灰度方差；式(8)中的var2同理；式(11)中的il(i,j,k)为搜索出的最优拼接缝的左图il在通道k、位置为(i,j)的像素值；ir(i,j,k)同理；式(11)中的i(i,j,k)为经过融合优化后的图像；

(6)输出融合图像；

表1为各方法对输入图像进行的图像拼接结果的ssim值对比：

表4拼接质量对比

请参考图5，图5是本发明实施案例一种基于图像相似约束的图像拼接优化方法和apap算法的特征匹配对比图。图中红色圈圈标注的是剔除的误匹配点对图，绿色圈圈标注的是正确匹配的特征点对。从图中可以看出，本发明算法的在特征匹配阶段的表现更加良好。

请参考图6，图6是本发明实施案例一种基于图像相似约束的图像拼接优化方法和apap算法的图像拼接结果图，图2(b)为本发明图像拼接结果图，其效果更加自然，在曝光差异，视差问题上表现出较强的稳定性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本范明的保护范围内。