一种鲁棒的双目立体图像拼接方法与流程

本发明涉及计算机视觉技术和图像处理领域，尤其涉及一种鲁棒的双目立体图像拼接方法。

背景技术：

图像拼接技术应用十分广泛，在医疗、航空航天、娱乐直播等方面都发挥着重要作用，丰富了人们的生活；尤其随着vr和ar的发展，人们不再满足于现有相机视角拍摄的图像，追求更高分辨率甚至360度全景的高质量图像，这给传统单目图像拼接技术带来挑战。传统的单目图像拼接技术利用图像间的透视变换将图像变换到统一的坐标系下进行融合，是一种二维平面变换。而现实中场景是具有深度信息的，仅二维变换无法很好地拼接图像，会使得图像间未配准导致拼接结果出现模糊甚至鬼影等问题。

随着双目相机和立体图像的兴起，人们开始研究立体图像拼接技术。对于立体图像拼接而言，不仅需要得到有立体效果的拼接图，还能够带给参看者一个舒适的3d体验，因此在拼接过程中需要尽可能减少投影失真、畸变和垂直视差。除此之外，拼接算法要能够适应各种场景，尤其当提取的特征点稀少时仍然能够进行拼接，这就需要算法具备一定的鲁棒性。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

技术实现要素：

为解决上述技术问题，本发明提出一种鲁棒的双目立体图像拼接方法，不仅可以实现无缝拼接，而且算法具有一定的鲁棒性。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种鲁棒的双目立体图像拼接方法，包括以下步骤：

s1：采用双目相机采集两组图像，其中第一组图像包括第一幅左视图和第一幅右视图，第二组图像包括第二幅左视图和第二幅右视图，并分别计算第一幅左视图和第一幅右视图之间的视图差以及第二幅左视图和第二幅右视图之间的视图差；

s2：提取每组图像的特征点，并对所述特征点进行描述；

s3：将步骤s2中每组图像的特征点进行gms特征点匹配，筛选出错误的匹配以得到准确的特征点对集合；

s4：根据步骤s1中的视图差以及步骤s3中匹配的特征点对集合设定新的特征约束条件，得到使所述特征约束条件最优的单应性变换，利用该单应性变换对第二组图像进行全局变换，并对第二组图像中相对于第一组图像的非重叠区域采用局部形状保持变换；

s5：分别融合第一幅左视图与变换后的第二幅左视图、以及第一幅右视图与变换后的第二幅右视图，得到拼接后的左视图和右视图，再对拼接后的左视图和右视图进行合成，得到最终的立体图。

优选地，步骤s2具体包括：采用orb算法提取每组图像的3000～8000个特征点，利用brief算法对特征点进行描述，生成多维的描述子。

优选地，步骤s3具体包括：根据步骤s2中提取的每组图像的特征点，首先采用暴力匹配的方式分别对两幅左视图和两幅右视图进行特征点匹配，然后用gms的方法筛选出错误的匹配，并作为ransac的输入，得到准确的特征点对集合。

优选地，步骤s4中具体包括：

s41：采用步骤s3筛选得到的特征点对集合，根据步骤s1中的视差图，设计新的特征约束条件ef，迭代计算出最优的单应性变换hg，根据该单应性变换hg分别将第二幅左视图和第二幅右视图变换到第一幅左视图和第一幅右视图的坐标系下；

s42：利用半投影变换中的形状保持变换hs对第二幅左视图和第二幅右视图的非重叠区域进行形状保持；

s43：对变换后的第二幅左视图和第二幅右视图进行网格优化，限制垂直视差与水平视差。

优选地，步骤s41具体包括：

采用步骤s3筛选的特征点对集合和根据步骤s1中的第一幅左视图和第一幅右视图之间的视差图d1以及第二幅左视图和第二幅右视图之间的视图差d2，设计新的特征约束条件ef：

ef＝γlel+γrer+el_r

其中el为左视图约束条件，er为右视图约束条件，el_r为左右视图约束条件；γl和γr是二进制数，当拼接两幅左视图时，γl值为1，否则为0，当拼接两幅右视图时，γr值为1，否则为0；

通过这些约束条件迭代计算出最优的单应性变换hg，根据该单应性变换hg分别将第二幅左视图和第二幅右视图变换到第一幅左视图和第一幅右视图的坐标系下。

优选地，其中左视图约束条件el、右视图约束条件er分别如下：

左视图约束条件el如下所示：

式中，n1是特征点对集合中特征点的个数，n2是特征点对集合中特征点的个数，hl是迭代过程中左视图的单应性矩阵；wm和wk是权重值，分别与当前特征点到相应的图像上所有特征点的高斯距离相关；

右视图约束条件er的表达式：

式中，n3是特征点对集合中特征点的个数，n4是特征点对集合中特征点的个数，hr是迭代过程中右视图的单应性矩阵；wi和wj是权重值，分别与当前特征点到相应的图像上所有特征点的高斯距离相关；

优选地，其中：

表示第二幅左视图中第m个特征点的权重值；表示第二幅左视图中第k个特征点的权重值；

表示第二幅右视图中第i个特征点的权重值；表示第二幅右视图中第j个特征点的权重值。

优选地，左右视图约束条件el_r表达式如下所示：

式中，n5是特征点对集合中特征点的个数，hl_r是迭代过程中左或右视图的单应性矩阵；ws是权重值，与当前特征点到相应的图像上所有特征点的高斯距离相关。

优选地，其中：表示第二幅左视图中第s个特征点的权重值。

优选地，步骤s43具体包括：分别对变换后的第二幅左视图和第二幅右视图进行网格优化，限制垂直视差与水平视差，使得对应的左视图总能量el和右视图总能量er最小。

与现有技术相比，本发明的有益效果在于：根据本发明的双目立体图像拼接方法，不仅可以实现无缝拼接、减少重影，而且能够鲁棒的匹配特征点筛选出错误特征点对，使得后续拼接更加准确。

附图说明

图1是本发明优选实施例的鲁棒的双目立体图像拼接方法的流程示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例提出一种鲁棒的双目立体图像拼接方法，包括以下步骤：

s1：采用双目相机采集两组图像，其中每组图像分别包括左侧相机采集到的左视图和右侧相机采集到的右视图，并分别计算每组图像的左右视图之间的视差图；

具体地，将采集到的两组图像记为i1和i2，其中第一组图像i1包括左侧相机采集到的第一幅左视图和右侧相机采集到的第一幅右视图第二组图像i2包括左侧相机采集到的第二幅左视图和右侧相机采集到的第二幅右视图并分别计算每组图像中左右视图的视差图，其中第一组图像的第一幅左视图和第一幅右视图之间的视图差记为d1，第二组图像的第二幅左视图和第二幅右视图之间的视图差记为d2。

s2：利用特征提取算法(如sift、surf、orb等)提取每组图像的特征点，并对特征点进行描述；

具体地，在本实施例中采用orb算法提取每组图像3000-8000个特征点，利用brief算法并对特征点进行方向等描述，生成128维的描述子。

s3：将步骤s2中每组图像的特征点进行gms特征点匹配，筛选出错误匹配以得到鲁棒且准确的特征点对集合；

具体步骤为：根据步骤s2中提取的每组图像的特征点，首先采用暴力匹配的方式分别对两幅左视图和两幅右视图进行特征点匹配，然后用gms的方法代替之前的ratiotest筛选出错误的匹配，使得某个匹配的特征点对周围的特征点对都是正确的匹配，均对该特征点对的匹配有着积极的作用；并作为ransac的输入，使其能够快速收敛；最终得到鲁棒且准确的特征点对集合和其中为第一幅左视图与第二幅左视图的特征点对集合，为第一幅右视图与第二幅右视图的特征点对集合，为第二幅左视图与第一幅右视图的特征点对集合，为第二幅右视图与第一幅左视图的特征点对集合，为第二幅左视图与第二幅右视图的特征点对集合。

s4：根据步骤s1中的视差图以及步骤s3中匹配的特征点对集合设定新的特征约束条件ef，得到使特征约束条件最优的单应性变换hg，并利用该单应性变换对第二组图像进行全局变换，并对第二组图像中相对于第一组图像的非重叠区域采用局部形状保持变换hs，继而利用网格优化校正相应的畸变；

步骤s4具体包括：

s41：采用步骤s3筛选的特征点对集合和根据步骤s1中的视差图d1和d2，设计新的特征约束条件ef：

ef＝γlel+γrer+el_r

其中γl和γr是二进制数，当拼接两幅左视图时，γl值为1，否则为0，同理当拼接两幅右视图时，γr值为1，否则为0；特征约束条件由三部分构成，左视图约束条件el、右视图约束条件er及左右视图约束条件el_r；左视图约束条件如下所示：

式中，n1是特征点对集合中特征点的个数，n2是特征点对集合中特征点的个数，hl是迭代过程中左视图的单应性矩阵；wm和wk是权重值，与根据当前特征点到该图像上所有特征点的高斯距离相关；

其中，表示第二幅左视图中第m个特征点的权重值；表示第二幅左视图中第k个特征点的权重值。

同理可以得到右视图约束条件er的表达式：

式中，n3是特征点对集合中特征点的个数，n4是特征点对集合中特征点的个数，hr是迭代过程中右视图的单应性矩阵；wi和wj是权重值，与根据当前特征点到该图像上所有特征点的高斯距离相关；

其中，表示第二幅右视图中第i个特征点的权重值；表示第二幅右视图中第j个特征点的权重值。

左右视图约束条件el_r表达式如下所示：

式中，n5是特征点对集合中特征点的个数，hl_r是迭代过程中左或右视图的单应性矩阵；ws是权重值，与根据当前特征点到该图像上所有特征点的高斯距离相关；表示第二幅左视图中第s个特征点的权重值；

通过这些约束条件迭代计算出最优的单应性变换hg，根据hg分别将第二幅左视图和第二幅右视图变换到第一幅左视图和第一幅右视图的坐标系下；

s42：在第二幅左视图和第二幅右视图的局部(非重叠区域)，利用半投影变换中的形状保持变换hs对两幅图的局部进行形状保持，改善局部畸变；

s43：分别对变换后的第二幅左视图和第二幅右视图进行网格优化，限制垂直视差与水平视差，使得对应的左视图总能量el和右视图总能量er最小：

左视图总能量项el的表达式如下：

el＝αegl+βesl+eyl+edl

式中，egl代表左视图的全局配准项，esl代表左视图的形状保留项，eyl代表左视图的垂直视差限制项，edl代表左视图的水平视差限制项，α、β是权重项，α、β分别取值为0～1；

左视图的全局配准项egl具体表示第二幅左视图变换后的特征点与参考图(第一幅左视图)中特征点的位置应尽可能一致，表达如下：

式中，代表第二幅左视图变换后的第m个特征点；

左视图的形状保留项esl的具体表达如下：

式中，分别是网格单元变换后的三个顶点，ωi表示网格的显著性，u＝0，其中vi、vj、vk分别是网格单元变换前的三个顶点，

左视图的垂直视差限制项eyl表示第二幅左视图和第二幅右视图中对应特征点的纵坐标应尽可能接近，具体表达如下：

式中，表示变换后第二幅左视图的y坐标，表示变换后第二幅右视图的y坐标；

左视图的水平视差限制项edl表示变换后的第二幅左视图和第二幅右视图中的特征点的横坐标之差与变换前的第二幅左视图和第二幅右视图中的特征点的横坐标之差应尽可能接近，具体表达如下：

式中，表示变换后第二幅左视图的x坐标，表示变换后第二幅右视图的x坐标，表示变换前第二幅左视图的x坐标，表示变换前第二幅右视图的x坐标。

同理可以推导右视图总能量项er如下：

er＝αegr+βesr+eyr+edr

式中，egr代表右视图的全局配准项，esr代表右视图的形状保留项，eyr代表右视图的垂直视差限制项，edr代表右视图的水平视差限制项，α、β是权重项，α、β分别取值为0～1；

右视图的全局配准项egl具体表示第二幅右视图变换后的特征点与参考图(第一幅右视图)中特征点的位置应尽可能一致，表达如下：

式中，代表第二幅右视图变换后的第m个特征点；

右视图的形状保留项esr的具体表达如下：

式中，分别是网格单元变换后的三个顶点，ωi表示网格的显著性，u＝0，其中vi、vj、vk分别是网格单元变换前的三个顶点，

右视图的垂直视差限制项eyr表示第二幅左视图和第二幅右视图中对应特征点的纵坐标应尽可能接近，具体表达如下：

式中，表示变换后第二幅左视图的y坐标，表示变换后第二幅右视图的y坐标；

右视图的水平视差限制项edr表示变换后的第二幅左视图和第二幅右视图中的特征点的横坐标之差与变换前的第二幅左视图和第二幅右视图中的特征点的横坐标之差应尽可能接近，具体表达如下：

式中，表示变换后第二幅左视图的x坐标，表示变换后第二幅右视图的x坐标，表示变换前第二幅左视图的x坐标，表示变换前第二幅右视图的x坐标。

s5：分别融合第一幅左视图与步骤s4中变换后的第二幅左视图、第一幅右视图与步骤s4中变换后的第二幅右视图，得到拼接后的左右视图，再对左右拼接图进行合成，得到最终的立体图。

根据本发明的双目立体图像拼接方法，在非重叠区域采用半投影变换可以实现无缝拼接、减少重影；gms算法代替传统ratiotest能够鲁棒的匹配特征点筛选出错误特征点对，利用视差图辅助拼接使得后续拼接更加准确。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。