一种基于网格变形的图像拼接方法与流程
本发明属于计算机视觉技术领域，涉及图像拼接技术领域，尤其涉及一种基于网格优化图像实时拼接方法。
背景技术：
图像拼接是利用多个摄像机获取不同角度的图像并进行拼接形成宽视野图像的技术，图像拼接主要分为三个主要步骤：图像预处理、图形配准、图像融合。
为了降低拼接中视差引起的拼接重影、模糊问题，目前已有的相关算法可以归纳为spatially-varyingwarping方法，即是在配准阶段采用局部参数变换模型代替全局变换模型以适用于深度大小不一的场景。
zaragoza等人提出as-projective-as-possible(apap)方法，将图像划分为多个密集矩形网格，对每一矩形网格，利用匹配的特征点对，估计局部射影变换矩阵，并引入了距离权重因子，近距离的特征点权重大，远距离的特征点权重小，距离权重因子自适应地调整射影模型参数，以适应不同深度大小的场景。apap方法引入了网格的概念，配准精度得到很大提高，但是形状保持欠佳，而且计算复杂度比较高，实时性不好。
shape-preserving-half-projective(sphp)方法从形状矫正的角度出发，将图像划分为三大区域，从重叠区域到非重叠区域，逐渐由射影变换过渡到相似变换，减小了形状失真，但是配准精度不高，重叠区域有比较明显的重影和模糊。
naturalimagestitchingwiththeglobalsimilarityprior方法，采用直线对齐约束确定全局相似矩阵的角度选择，用apap方法初始化网格，同时使用局部相似约束和全局相似约束，多图拼接性能和观感自然度提升。
技术实现要素：
本发明在高配准精度和形状保持的前提下，为了提高拼接的实时性，提出了一种基于网格变形的实时图像拼接方法。
一种基于网格变形的图像拼接方法，包括如下步骤：
s1：对空间相邻两幅图像，分别提取sift特征，匹配特征；
s2：采用ransac算法迭代计算，筛选特征点对；
s3：估计全局射影矩阵并进行全局射影变换；
s4：运用delaunay三角剖分，对重叠区域构造稠密三角网格，非重叠区域构造稀疏网格；
所述三角剖分的具体定义：设v是三角网格的顶点，v是图像平面上所有网格顶点的集合，e是三角网格的边，e为e的集合，t为某个三角形网格，t为三角形网格的集合，那么该点集v的一个三角剖分t＝(v，e)为一个平面图，该平面图需满足如下条件：1、除了端点，平面图中的边不包含点集中的任何点；2、没有相交边；3、平面图中所有的面都是三角面，且所有三角面的合集是散点集v的凸包；
delaunay边的具体定义：假设e中的一条边e(两个端点为a，b)，e若满足下列条件，则称之为delaunay边：存在一个圆经过a，b两点，圆内不含点集v中任何其他的点，这一特性又称空圆特性；
所述delaunay三角剖分的具体定义：如果点集v的一个三角剖分只包含delaunay边，那么该三角剖分称为delaunay三角剖分；
自适应三角网格在图像的重叠区域采用加密的网格，而在图像非重叠区域使用稀疏的网格，设定稠密网格边长间距为lmin，稀疏网格边长间距为lmax，lmax＝3lmin；以筛选后得到的sift特征点和图像边界点为优先选择，以lmin为半径采集重叠区域三角网格的顶点，以lmax半径采集非重叠区域三角网格的顶点；在得到网格顶点后，使用delaunay三角剖分构造三角网格；
s5：建立网格变形能量函数，优化全局射影配准；
s6：图像融合生成宽视野图像。
进一步的，所述s1步骤具体为：首先对输入图像对(i，i′)，分别采用sift(scaleinvariantfeaturetransform)算法提取sift特征，得到sift特征点集f＝{x＝[xiyi]t|i＝1，2，...，m}，f′＝{x′＝[x′iy′i]t|i＝1，2，...，n},x和x′是图像对(i，i′)重叠区域的特征点对，对每个sift特征生成128维特征向量，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量，得到sift特征点对集f′match。
进一步的，所述s2步骤具体为：ransac算法通过反复选择特征点对集f′match的一组随机子集，被选取的子集被假设为局内点，并用下述方法进行验证：
s201：选择射影模型适应于假设的局内点，利用随机选择的特征点对子集估计射影模型的参数；
s202：用s201中得到的模型测试所有的其它特征点，如果某个点适用于估计的模型，则认为它也是局内点；如果有足够多的点被归类为假设的局内点，估计的模型就足够合理；
s203：用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过；
s204：最后，通过估计局内点与模型的错误率来评估模型；
以上过程被重复执行，最后选出所有的局内点记为fmatch。
进一步的，其特征在于，所述s5步骤具体为：估计目标网格顶点，使得能量函数最小化，利用原目标网格顶点和目标网格顶点估计局部相似变换模型，并用来优化全局射影矩阵参数；
设定原图像网格的顶点坐标为
s501：构造尺度缩放误差项
尺度变换误差项构建如下：
其中，at是三角网格tp的面积，||.||f表示frobenius范数，jt(q)为一个2×2的jacobian矩阵，三角形tp变换到tq发生仿射变换，jt(q)是仿射变换的旋转和缩放部分；
最小化尺度缩放误差es使得仿射变换的线性部分尽可能接近尺度变换gt；
s502：构造平滑误差项
引入平滑误差项：
其中att′＝(at+at′)/2；
s503：构造形状相似项
假设原始网格上三个连续点
引入长度比和边的角度来表征形状相似项
s504：构建能量函数并求解，求出目标网格顶点
综合步骤s501、s502和s503，引入权重因子ε和μ，得到能量函数如下：
e＝es+εem+μef
以上网格变形能量函数是关于mq的顶点和三角形的尺度因子的二次方程；网格变形能量函数的最小化可以通过求解稀疏线性方程组来实现，通过能量函数最小化，可以得到目标网格顶点坐标和各个三角网格的尺度因子；
s505：估计局部刚性变换模型参数
根据s504步骤求出的目标网格顶点坐标，结合原网格顶点坐标，分别计算每个三角网格的刚性变换矩阵s；
s506：优化全局射影模型参数
利用局部的刚性变换矩阵，对全局射影变换后的图像作进一步变换。
本发明使用稠密的三角网格表征重叠区域，使用稀疏的三角网格表示图像的非重叠区域，所以相对apap方法整幅图像采用密集的同等的矩阵网格，大大提高了算法效率。同时网格变形可以充分利用gpu的并行、高速运算性能，可以大大提高拼接速度。本发明将图像划分为多个三角网格，单独计算每个网格的局部刚性变换参数，可以降低视差引起的拼接重影和模糊；考虑了三角网格变形的连续性和形状相似项，所以变换后的目标图像比较自然，可以更好地保持图像的形状特征。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例全景图像实时拼接方法的系统流程图；
图2是本发明实施例中三角网格的示意图；
图3是本发明实施例中网格变形算法的流程图；
图4是本发明实施例中图像经过两次变换后的几何关系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于网格变形的图像实时拼接方法，将图像表示为基于图像特征的自适应三角网格，建立网格变形能量函数，并添加约束项，由此将图像变换转换为在相关约束下的网格变形问题。图1是本发明实施例全景图像实时拼接方法的系统流程图。如图1所示，本发明一种基于网格变形的实时图像拼接方法包括以下步骤：
s1：对空间相邻两幅图像，分别提取sift特征，匹配特征
首先对输入图像对(i，i′)，分别采用sift(scaleinvariantfeaturetransform)算法提取sift特征，得到sift特征点集f＝{x＝[xiyi]t|i＝1，2，...，m}，f′＝{x′＝[x′iy′i]t|i＝1，2，...，n},x和x′是图像对(i，i′)重叠区域的特征点对。对每个sift特征生成128维特征向量。采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量，得到sift特征点对集f′match。
s2：采用ransac算法迭代计算，筛选特征点对
ransac通过反复选择特征点对集f′match的一组随机子集，被选取的子集被假设为局内点，并用下述方法进行验证：
s201：选择射影模型适应于假设的局内点，利用随机选择的特征点对子集估计射影模型的参数。
s202：用s201中得到的模型测试所有的其它特征点，如果某个点适用于估计的模型，则认为它也是局内点。如果有足够多的点被归类为假设的局内点，估计的模型就足够合理。
s203：用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。
s204：最后，通过估计局内点与模型的错误率来评估模型。
以上过程被重复执行，最后选出所有的局内点记为fmatch。
s3：估计全局射影矩阵并进行全局射影变换
利用s2步骤中选择出的所有局内点，用来重新估计射影模型参数，然后对原图像进行射影变换，若以左图像为参考图像，则右图像根据h进行射影变换。
s4：运用delaunay三角剖分，对重叠区域构造稠密三角网格，非重叠区域构造稀疏网格
三角剖分的定义：设v是三角网格的顶点，v是图像平面上所有网格顶点的集合，e是三角网格的边，e为e的集合，t为某个三角形网格，t为三角形网格的集合，那么该点集v的一个三角剖分t＝(v，e)为一个平面图，该平面图满足条件：1)除了端点，平面图中的边不包含点集中的任何点。2)没有相交边。3)平面图中所有的面都是三角面，且所有三角面的合集是散点集v的凸包。
在实际中运用的最多的三角剖分是delaunay三角剖分，它是一种特殊的三角剖分。先从delaunay边说起：
delaunay边：假设e中的一条边e(两个端点为a，b)，e若满足下列条件，则称之为delaunay边：存在一个圆经过a，b两点，圆内不含点集v中任何其他的点，这一特性又称空圆特性。
delaunay三角剖分：如果点集v的一个三角剖分只包含delaunay边，那么该三角剖分称为delaunay三角剖分。
自适应三角网格在图像的重叠区域采用加密的网格，而在图像非重叠区域使用稀疏的网格，设定稠密网格边长间距为lmin，稀疏网格边长间距为lmax，通常lmax＝3lmin。以筛选后得到的sift特征点和图像边界点为优先选择，以lmin为半径采集重叠区域三角网格的顶点，以lmax半径采集非重叠区域三角网格的顶点。在得到网格顶点后，使用delaunay三角剖分构造三角网格。如图2所示，(a)为原图像，(b)为原图像的网格图像。若图像的贝壳为图像的sift特征点分布区域，则该贝壳区域构建密集的三角网格，而其余区域构建稀疏的三角网格。
该步骤中使用稠密的三角网格表征重叠区域，使用稀疏的三角网格表示图像的非重叠区域，所以相对apap方法整幅图像采用密集的同等的矩阵网格，大大提高了算法效率。同时网格变形可以充分利用gpu的并行、高速运算性能，可以大大提高拼接速度。
s5：建立网格变形能量函数，优化全局射影配准
特征三角网格只发生刚性变换，相邻网格变形尽可能平滑，由此建立网格变形能量函数。估计目标网格顶点，使得能量函数最小化，利用原目标网格顶点和目标网格顶点估计局部相似变换模型，并用来优化全局射影矩阵参数。
设定原图像网格的顶点坐标为
s501：构造尺度缩放误差项
本文方法希望特征三角网格在网格变形过程中没有旋转，只发生尺度变换
其中，at是三角网格tp的面积，||.||f表示frobenius范数，jt(q)为一个2×2的jacobian矩阵，三角形tp变换到tq发生仿射变换，jt(q)是仿射变换的旋转和缩放部分。
最小化尺度缩放误差es使得仿射变换的线性部分尽可能接近尺度变换gt，即所有三角形都倾向于以不旋转方式均匀地缩放。
s502：构造平滑误差项
为了得到更自然的目标图像，保持目标图像的连续性，要求相邻网格在变形过程中发生的尺度变换应尽可能地相似。引入平滑误差项：
其中att′＝(at+at′)/2。
s503：构造形状相似项
假设原始网格上三个连续点
为了保持三角网格的形状相似性，我们引入长度比和边的角度来表征形状相似项：
s504：构建能量函数并求解，求出目标网格顶点
综合步骤s501～s503，引入权重因子ε和μ，得到能量函数如下：
e＝es+εem+μef
以上网格变形能量函数是关于mq的顶点和三角形的尺度因子的二次方程。网格变形能量函数的最小化可以通过求解稀疏线性方程组来实现，通过能量函数最小化，可以得到目标网格顶点坐标和各个三角网格的尺度因子。
s505：估计局部刚性变换模型参数
根据s504步骤求出的目标网格顶点坐标，结合原网格顶点坐标，分别计算每个三角网格的刚性变换矩阵s。
s506：优化全局射影模型参数
利用局部的刚性变换矩阵，对全局射影变换后的图像作进一步变换。为了更好地表明两次图像变换的关系，图像经过两次变换后的几何关系如图4表示。首先原图像经过h全局射影变换得到i，然后对图像进行二次变换wh-1，其中w为局部三角网格的刚性变换矩阵，h-1为h为全局射影矩阵的逆矩阵。
s5步骤中，将图像划分为多个三角网格，单独计算每个网格的局部刚性变换参数，可以降低视差引起的拼接重影和模糊；考虑了三角网格变形的连续性和形状相似项，所以变换后的目标图像比较自然，可以更好地保持图像的形状特征。
s6：图像融合生成宽视野图像
原图像经过两次变换后，采用featherblending融合方法，对变换后的左右图像进行融合，融合生成最后的全景图像。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
- 还没有人留言评论。精彩留言会获得点赞！