基于混合变换的图像拼接方法与流程

本发明属于数字图像处理领域，具体讲,涉及基于混合变换的图像拼接方法。

背景技术：

图像涉及到人们生活工作的各个领域。随着计算机相关领域的飞速发展,数字图像处理的应用价值被许多专家学者发现,其应用领域也在不断的壮大。数字图像处理作为一门富有前景的交叉性学科,吸引了很多来自其他科学领域的研究者参与其中,并在基础研究和工程实践中应用广泛。图像拼接技术是数字图像处理中不可或缺的一个关键分支,近年来,伴随着计算机视觉和计算机图形学的发展,图像拼接技术与其他相关技术相结合开拓了不少新兴领域,并成为研究热点。图像拼接技术的主要目的是将含有重叠区域的图像序列映射到同一坐标系下合成为一幅大尺度和宽视角的全景图像。全景图像拼接技术作用领域广泛,目前已普遍应用于虚拟现实、智能交通、灾害预警、军事作战、医疗等多个领域。虚拟现实是一种由计算机系统生成动态的三维立体图像的技术,是近几年来图像处理的热点,图像拼接技术可以用在虚拟现实技术三维立体场景的绘制和重建中,是虚拟现实中一项必不可少的基本技术,利用拼接技术可以生成全方位的三维全景图像,用全景图表示实景可代替三维场景建模。在数字图像拼接技术出现之前,人们通过专业全景照相机旋转拍摄或者手动拼接获取全景图像,这些方法不仅实施困难而且获得的全景图效果不佳。而如今仅仅一台数码相机和计算机图像拼接技术,任何人都可以制作出视角惊人的全景照片。

图像拼接技术主要包括图像配准和图像融合两个关键环节。图像配准是图像拼接的核心部分，由于视角、拍摄时间、分辨率、光照强度、传感器类型等的差异,待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲、运动目标遮挡等差别,配准的目的就是找出一种最能描述待拼接图像之间映射关系的变换模型即找出对齐的两幅或多幅重叠图像之间的运动情况。图像配准直接关系到图像拼接算法的成功率和运行速度。目前常用的一些空间变换模型有平移变换、刚性变换、仿射变换以及投影变换等。

如图1所示，为图像拼接流程。

早期的图像配准技术主要采用点匹配法，这类方法速度慢、精度低，而且常常需要人工选取初始匹配点，无法适应大数据量图像的融合。近十几年来，许多图像自动拼接技术被提出并实现。例如brown等人(提出了名为“全景图像识别”的方法，用于图像拼接技术中)[1]将sift(scale-invariantfeaturetransform，尺度不变一致性特征)特征引入到图像拼接中。通过特征点的提取、匹配得到特征点对，通过特征点对所对应的相关信息估计得到单应性变换模型。该方法由于使用的变换模型的局限性，当不满足单应性假设条件时，拼接结果会出现伪影或模糊现象，同时由于投影变换的特性，会导致在非重叠区域产生过度形变。因此，该方法将图像先投影到圆柱平面，这样可以一定程度减缓最后拼接结果的过度形变问题，但是由于投影到圆柱平面会使图像本身一些直线结构变弯曲，从而导致视觉效果不佳。而且根本的问题没有得到解决，即使用一个单应性矩阵来进行对齐的效果有限，在不符合单应性假设的情况下产生的拼接结果会存在错误对齐或者伪影或者模糊现象的存在。针对上述全局单应性方法存在的问题，后续提出了基于局部变换的方法。该类方法使用更多的单应性矩阵对图像的各部分分别进行对齐，相较于经典的单应性模型具有更好的自由度。zaragoza等人(提出了名为“移动的直接线性变换”方法，用于图像拼接技术)[2]提出的apap(as-projective-as-possible，尽可能多的投影方法)方法使用m-dlt(moving-directlineartransform，移动的直接线性变换)估计得到各个位置的最佳变换矩阵，结合网格划分方法达到更好对齐图像的目的。

考虑到拼接后的图像非重叠区域出现变形严重的问题，杨波等人[3]提出针对广角图像透视畸变现象的校正方法，本质上与图像拼接中图像的重叠区域产生的透视扭曲现象相同。杨基于最小二乘优化方法提出了校正透视畸变的方法，但是计算量很大。chang等人(提出了名为“形状保护的半投影图像拼接方法”，用于图像拼接技术)[4]提出了sphp(shape-preservinghalf-projective，基于形状保护的半投影方法)方法来保护非重叠区域的过度形变以及缓解透视失真的现象，当该方法结合apap(as-projective-as-possible，尽可能多的投影方法)方法使用时，拼接的效果已经很好。lin等人(提出了名为“尽可能自然的图像拼接”方法，用于图像拼接技术)[5]提出，sphp(shape-preservinghalf-projective，基于形状保护的半投影方法)方法中对于参数选择的依赖较大，而且sphp(shape-preservinghalf-projective，基于形状保护的半投影方法)方法中使用的全局相似变换是由所有匹配特征点估计得到，如果重叠区域内的物体存在多个不同的平面，则得到的相似变换不是最优的。

参考文献：

[1]brownm,lowedg.recognisingpanoramas.[c]//ieeeinternationalconferenceoncomputervision.ieeecomputersociety,2003:1218.

[2]zaragozaj,chintj,brownms,etal.as-projective-as-possibleimagestitchingwithmovingdlt[c]//ieeeconferenceoncomputervisionandpatternrecognition.ieeecomputersociety,2013:2339-2346.(2013cvpr,2014pami).

[3]杨波.广角图像透视畸变校正方法研究[d].浙江大学,2016.

[4]changch,satoy,chuangyy.shape-preservinghalf-projectivewarpsforimagestitching[c]//computervisionandpatternrecognition.ieee,2014:3254-3261.

[5]lincc,pankantisu,ramamurthykn,etal.adaptiveas-natural-as-possibleimagestitching[c]//computervisionandpatternrecognition.ieee,2015:1155-1163。

技术实现要素：

为克服现有技术的不足，本发明旨在提出解决非重叠区域过度形变问题的技术方案，使得到的拼接图像在整体形状上有更好的效果。为此，本发明采取的技术方案是，基于混合变换的图像拼接方法，首先针对n幅无序的输入图像，分别提取sift(scale-invariantfeaturetransform，尺度不变一致性特征)特征点并匹配，对每一幅图像选取所有与之有重叠区域的待拼接图像，然后使用移动的直接线性变换moving-dlt(moving-directlineartransform)结合网格划分估计每个网格的局部投影变换矩阵，然后筛选得到最优的全局相似变换矩阵，接下来将全局相似变换矩阵与局部投影变换矩阵相结合进行混合变换，最后进行多频段融合，最终实现全景图像的自动拼接。

具体步骤细化如下：

步骤s1：对输入的n幅图像分别提取尺度不变特征变换sift(scale-invariantfeaturetransform)特征点；

步骤s2：为每个特征点搜寻k个最近匹配点；

步骤s3：使用随机抽样一致ransac方法进行筛选匹配的特征点，根据特征点的匹配情况，为每幅图像选取其对应的m幅候选匹配图像；

步骤s4：记录每幅图像对应的m幅候选匹配图像；

步骤s5：对所有图像进行网格划分；

步骤s6：使用筛选过的特征点的信息求解尽可能多的投影apap(as-projective-as-possible)方法中的变换矩阵；

步骤s7：继续筛选特征点，得到最接近投影平面的对象平面中的特征点，使用选取的特征点的信息求解最优的相似变换矩阵；

步骤s8：计算重叠区域和非重叠区域的特征点所对应的权重，使用权重系数进行结合；

步骤s9：根据特征点所在的包括重叠区域或非重叠区域的位置求取apap变换和相似变换所对应的权重系数，以此为约束使用相似变换来减缓由于投影变换所带来的过度形变，降低由于局部区域产生过度形变引起的图像扭曲效果；

步骤s10：使用得到的变换模型对待拼接图像进行配准；

步骤s11：基于多频段融合方法来实现对待拼接图像的自动拼接。

求解apap变换矩阵具体方法为：

得益于一对匹配特征点：y＝[x,y,1]^t和y′＝[x′,y′,1]^t分别在目标图像和参考图像中，x,y,x′,y′分别为特征点y，y′在齐次坐标系下的坐标值，此时存在一个投影变换h将特征点y映射到特征点y′(：y,y′)，则存在以下关系：

h代表变换矩阵中的值，公式(1)改写为：03×1＝y′×hy，03×1代表3×1的零矩阵，即：

在(2)式中，此时投影变换矩阵h表示为一个9×1的向量，而剩余的3×9的矩阵其实只有两行是线性独立的，当给定n个匹配特征点和此时变换矩阵h估计得到：

代表h的估计值，ai是中相互线性独立的两行，a是2n×9的矩阵；

首先将两幅图像进行网格化划分，即在横纵方向上均分，然后求每个网格内所有特征点所使用的变换矩阵即局部变换矩阵：

h*代表每个网格中心点所对应的变换矩阵，表示权重，大小取决于特征点所在第i个网格中的位置，权重系数由下式计算得到：

x*是第i个网格的中心点，σ是尺度参数，η∈[0,1]是为了避免产生数值问题而引入的参数。

求解最优相似变换具体方法为：

使用随机抽样一致性ransac方法给定不同的阈值d去筛选匹配的特征点，然后将每次筛选出的特征点删除，循环此步骤直到剩余的特征点数小于某个阈值；然后对每次筛选出的特征点对求相应的相似变换，找到最小的旋转角度所对应的相似变换，则该相似变换即为最优。

使用权重系数将apap变换和相似变换结合的方法具体为：

h′i＝αhi+βs,5.t.α+β＝1(6)

上式中hi是第i个网格中的局部变换矩阵，s是求得的最优全局相似变换矩阵，h′i是最终的混合变换矩阵，α,β是两个权重系数；

以参考图像中的中心特征点为原点建立坐标系，则：

表示的是在方向上的投影长度，pmin表示的是目标图像中的特征点在横坐标方向上的最短投影距离的位置；pmax表示的是目标图像中的特征点在横坐标方向上的最长投影距离的位置。

本发明的特点及有益效果是：

能够自动完成多图像的拼接任务，在重叠区域达到很好的对齐精度的同时还能够保持图像整体的形状和图像的细节，减弱了投影变换产生的透视畸变。在计算局部投影变换矩阵的时候结合网格划分进行使用，节省了大量的计算量。由此产生的全景图片在虚拟现实、智能交通、灾害预警、军事作战、医疗等多个领域的应用中能够更好地应用于研究中。

附图说明：

图1：图像拼接流程图；展示了传统图像拼接技术的整个流程。

图2：提取待拼接图像的匹配特征点；展示了两张待拼接图像提取和匹配特征点，不同的颜色对应的ransac方法(随机抽样一致性算法)使用不同阈值所筛选出的特征点对。

图3：网格划分以及apap(as-projective-as-possible，尽可能多的投影方法)变换；展示了网格划分的方法以及简单使用apap(as-projective-as-possible，尽可能多的投影方法)变换方法进行图像对齐的效果。

图4：目标图像的权重图；展示了目标图像的权重系数分布，权重系数是结合apap(as-projective-as-possible，尽可能多的投影方法)变换和全局相似变换的重点，上图展示的是α(投影变换对应的权重系数)值，下图展示的是β(相似变换对应的权重系数)值。

图5：拼接结果样图；展示的是使用该发明进行图像拼接的样图，与使用简单apap(as-projective-as-possible，尽可能多的投影方法)变换方法进行拼接的图像进行对比可以发现该发明的有益效果。

具体实施方式

本发明属于数字图像处理领域。具体来说，是基于一种混合变换模型的图像拼接方法。由于广角镜头和扫描式相机的价格昂贵，提出了图像拼接技术来保证全景图中视野和分辨率的兼顾。而且利用多幅局部图像的拼接来得到某些场景或物体的整体图像，进而能够从整体进行深入研究。

近些年科学技术的发展突飞猛进，图像拼接技术目前已普遍应用于虚拟现实、智能交通、灾害预警、军事作战、医疗等多个领域。目前的图像拼接技术主要解决重叠区域的配准精度这个问题上，但是随之带来的非重叠区域过度形变现象是不希望出现的，现有技术在解决这个问题上效果还有待提升。本技术提出了新的方法来解决该问题，使得到的拼接图像在整体形状上有更好的效果。

一种基于混合变换的图像拼接方法，用于对具有重叠区域的拍摄图像进行拼接。该方法包括以下步骤：

步骤s1：对输入的n幅图像分别提取尺度不变特征变换sift(scale-invariantfeaturetransform，尺度不变一致性特征)特征点；

步骤s2：为每个特征点搜寻k(默认值为4)个最近匹配点；

步骤s3：使用随机抽样一致ransac方法(随机抽样一致性算法)进行筛选匹配的特征点，根据特征点的匹配情况，为每幅图像选取其对应的m幅候选匹配图像；

步骤s4：记录每幅图像对应的m幅候选匹配图像；

步骤s5：对所有图像进行网格划分；

步骤s6：使用筛选过的特征点的信息求解apap(as-projective-as-possible，尽可能多的投影方法)方法中的变换矩阵；

步骤s7：继续筛选特征点，得到最接近投影平面的对象平面中的特征点，使用选取的特征点的信息求解最优的相似变换矩阵；

步骤s8：计算重叠区域和非重叠区域的特征点所对应的权重，使用权重系数进行结合；

步骤s9：根据特征点所在的包括重叠区域或非重叠区域的位置求取apap(as-projective-as-possible，尽可能多的投影方法)变换和相似变换所对应的权重系数，以此为约束使用相似变换来减缓由于投影变换所带来的过度形变，降低由于局部区域产生过度形变引起的图像扭曲效果；

步骤s10：使用得到的变换模型对待拼接图像进行配准；

步骤s11：基于多频段融合方法来实现对待拼接图像的自动拼接。

求解apap变换矩阵具体方法为：

得益于一对匹配特征点：y＝[x,y,1]^t和y′＝[x′,y′,1]^t(x,y,x′,y′分别为特征点y，y′在齐次坐标系下的坐标值)分别在目标图像和参考图像中，此时存在一个投影变换h(投影变换矩阵)可以将y映射到y′(特征点：y,y′)，则存在以下关系：

h代表变换矩阵中的值，公式(1)改写为：03×1＝y′×hy，03×1代表3×1的零矩阵，即：

在(2)式中，此时投影变换矩阵h表示为一个9×1的向量，而剩余的3×9的矩阵其实只有两行是线性独立的，当给定n个匹配特征点和此时变换矩阵h估计得到：

代表h的估计值，ai是(2)式中相互线性独立的两行，a是2n×9的矩阵；

首先将两幅图像进行网格化划分，即在横纵方向上均分，然后求每个网格内所有特征点所使用的变换矩阵即局部变换矩阵：

h*代表每个网格中心点所对应的变换矩阵，表示权重，大小取决于特征点所在第i个网格中的位置，权重系数由下式计算得到：

x*是第i个网格的中心点，σ是尺度参数，η∈[0,1]是为了避免产生数值问题而引入的参数。

求解最优相似变换具体方法为：

使用ransac方法(随机抽样一致性算法)给定不同的阈值d去筛选匹配的特征点，然后将每次筛选出的特征点删除，循环此步骤直到剩余的特征点数小于某个阈值；然后对每次筛选出的特征点对求相应的相似变换，找到最小的旋转角度所对应的相似变换，则该相似变换即为最优。

使用权重系数将apap变换和相似变换结合的方法具体为：

h′i＝αhi+βs,5.t.α+β＝1(6)

上式中hi是第i个网格中的局部变换矩阵，s是求得的最优全局相似变换矩阵，h′i是最终的混合变换矩阵，α,β是两个权重系数；

以参考图像中的中心特征点为原点建立坐标系，则：

表示的是在方向上的投影长度，pmin表示的是目标图像中的特征点在横坐标方向上的最短投影距离的位置；pmax表示的是目标图像中的特征点在横坐标方向上的最长投影距离的位置。

本发明的目的在于提出一种基于混合变换的全自动的图像拼接方法。首先针对n幅无序的输入图像，分别提取sift特征点并匹配，对每一幅图像选取所有与之有重叠区域的待拼接图像，然后使用moving-dlt方法结合网格划分估计每个网格的局部投影变换矩阵，然后筛选得到最优的全局相似变换矩阵，接下来将全局相似变换矩阵与局部投影变换矩阵相结合得到提出的混合变换方法，最后使用多频段融合方法，最终实现全景图像的自动拼接。

1)输入多张待拼接图像，然后自动提取并匹配特征点，为每张图像搜索待拼接图像；

2)根据匹配特征点信息使用求取每个网格对应的apap变换矩阵和最优的全局相似矩阵；

3)求取每个特征点位置所对应的权重系数将局部apap变换和全局相似变换结合起来构成新的混合变换方法；

4)使用多频段融合方法对待拼接图像进行融合。