一种矩形边界保持的立体图像拼接方法与流程

本发明属于图像处理技术领域，具体涉及一种矩形边界保持的立体图像拼接方法。

背景技术：

随着ar/vr技术的快速发展，越来越多的用户喜欢观看立体图像和视频，以享受更好的视觉体验。当前，立体媒体数据来源广泛且容易获取，因此对立体图像和视频进行编辑和处理变得越来越迫切。对不同视角拍摄的立体内容进行拼接以实现全景立体内容生成是当前非常重要的应用。

与传统的2d图像和视频不同，立体拼接方法需要同时考虑左右视图的深度一致性。尽管传统的2d拼接方法已经非常成熟，并且应用于智能手机、数码相机等移动设备，但是这法无法直接应用于立体图像拼接。因为分别对左右视图进行2d拼接会造成视差的不一致，从而引起不舒适的视觉体验。因此研究者们努力地研究一种立体图像拼接方法能够同时保持特征对应和视差一致性。

立体拼接的主要目标是生成具有更加宽广视野的立体全景图。因此，在拼接过程中，除了要保持特征和视差一致性对应，还希望在普通矩形屏幕上观看立体内容时，能够观看到更多的立体内容。通常立体拼接会产生不规则边界，我们在矩形屏幕上看到通常是经过切割的内容。为了得到更加宽广的视野，需要生成尽可能接近矩形的拼接结果。

技术实现要素：

本发明要解决的技术问题是提供一种矩形边界保持的立体图像拼接方法，该方法根据立体全景图的特征和视差定义目标矩形边界，通过全局能量优化实现矩形边界保持的立体图像拼接。

为解决上述技术问题，本发明采用如下技术方案：

一种矩形边界保持的立体图像拼接方法，包括以下步骤：

s1，全局优化的立体图像拼接，具体包括：以多个包含部分重叠的双目立体图像为输入，建立以立体图像每个视图间的特征对应、局部和全局网格特征保持、立体图像的视差一致性保持约束的能量优化，通过网格变形和颜色融合得到立体图像的全局拼接结果；

s2，立体全景图的不规则边界提取，具体包括：以立体图像全局拼接后左右视图的网格顶点为输入，分别在立体全景图的左右视图中提取变形后多个图像网格的边界，将其构造成多边形，通过多边形布尔运算的集合操作得到左右全景图的不规则边界，该边界由部分网格顶点和网格间的交点组成；

s3，基于矩形边界约束的立体图像拼接，具体包括：以左右全景视图的不规则边界为输入，分析得到最优目标矩形边界保持约束条件，进一步构造基于s1中的图像全局拼接约束、直接保持约束和矩形边界保持约束的能量优化，然后求解能量优化并通过变形得到矩形边界保持的立体全景图拼接结果。

一优选实施例中，步骤s3进一步包括，立体图像拼接的能量约束包括特征一致对应{ea}、局部和全局特征保持{es}、直线保持{el}、矩形边界保持{er}，将以上能量按照下述公式进行线性组合，然后求解能量优化得到最小化的e(v)，最后通过网格变形得到立体全景拼接结果，公式为：

e(v)＝wa(ea)+ws(es)+wr(er)+wl(el)。

一优选实施例中，步骤s3还包括：以迭代优化的方式实现内容注意的立体图像拼接，使得立体全景图的形状接近矩形且避免过大的畸形。

采用本发明具有如下的有益效果：

(1)本发明实施例所述的一种矩形边界保持的立体图像拼接方法能够生成高质量的立体全景图，在保持特征和视差一致性的同时，生成规则矩形边界的全景图，并产生较小的畸变。

(2)本发明实施例所述的一种矩形边界保持的立体图像拼接方法具有高效性和实用性，能够高效计算并渲染出立体全景图，有效地保证全景拍摄结果的内容完整性和边界规则性。

(3)本发明实施例所述的矩形边界保持的立体图像拼接方法提出了在立体图像拼接的全局优化框架中加入目标矩形边界约束，通过全局优化实现高质量的立体图像拼接，并能够以迭代优化方式避免矩形边界带来的过多的畸变，从而解决了下述问题：当不规则边界上包含较多结构和纹理信息时，能够生成尽可能接近矩形的边界，最大程度地保证切割后全景拼接的内容完整性。

附图说明

图1为本发明实施例一种矩形边界保持的立体图像拼接方法的处理流程示意图；

图2为基于图1所示处理方法的立体图像拼接系统。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明实施例公开了一种矩形边界保持的立体图像拼接方法，该方法包括：

s1，全局优化的立体图像拼接：以多个包含部分重叠的双目立体图像为输入，建立以立体图像每个视图间的特征对应、局部和全局网格特征保持、立体图像的视差一致性保持约束的能量优化，通过网格变形和颜色融合得到立体图像的全局拼接结果。

即建立全局能量优化实现立体图像左右视图的一致性拼接。以多个包含部分重叠的立体图像为输入，在每个立体图像的左右视图上分别放置一个四边形网格，根据能量优化后的网格点位置通过网格变形得到立体拼接的结果。以上能量优化约束包括：立体图像左右视图间的特征对应{ea}、局部和全局特征保持{es}、视差一致性保持{ed}，其中：

1)左右视图特征对应采用zaragoza等人于2014年提出的apap方法实现特征点的准确对应。

2)局部特征保持通过约束每个网格的形变来实现，首先将每个四边网格分割成两个三角形，然后利用共形能量保持方法实现每个直角三角形的形状特征保持。全局特征通过保持拼接图像的尺度和旋转一致性，实现全局相似性变换。

3)对于视差一致性保持约束，需要解决重叠区域中视差一致性和特征对应之间的矛盾。首先计算重叠区域各立体图像视差直方图分布的相似性，如果相似度较高，则在重叠区域注重保持视差的一致性，否则忽略视差保持的约束。

s2，立体全景图的不规则边界提取，以立体图像全局拼接后左右视图的网格顶点为输入，分别在立体全景图的左右视图中提取变形后多个图像网格的边界，将其构造成多边形，通过多边形布尔运算的集合操作得到左右全景图的不规则边界，该边界由部分网格顶点和网格间的交点组成。

即根据s1，以立体图像的全局拼接全景图的左右视图的网格为输入，提取每个视图中各网格的边界，并将其构造成对应的多边形，然后对多个多边形进行布尔的并集运算，从而分别得到立体全景图的左右视图不规则边界。然后通过构造外接矩形，将距离外接矩形最近的四个顶点作为不规则边界的四个角点。通过约束相邻角点间所有顶点的位置，建立起目标矩形边界的约束条件。对于网格边界的交点，将其转化为相交网格边上四个顶点的双线性插值。

s3，基于矩形边界约束的立体图像拼接，以左右全景视图的不规则边界为输入，分析得到最优目标矩形边界保持约束条件，进一步构造基于s1中的图像全局拼接约束、直接保持约束和矩形边界保持约束的能量优化，然后求解能量优化并通过变形得到矩形边界保持的立体全景图拼接结果。

即根据步骤s3的矩形边界保持的约束条件，按照以下方式实现立体图像拼接，根据s3的矩形边界约束条件，结合s1的全局立体图像拼接约束，建立全局能量优化实现矩形边界保持的图像拼接，其能量约束包括特征一致对应{ea}、局部和全局特征保持{es}、直线保持{el}、矩形边界保持{er}，将以上能量按照下述公式进行线性组合，得到总的能量方程e(v)，通过最小化e(v)得到变形后的网格，其中，一具体实施例中，各能量项的权值分别为wa＝1，ws＝2，wd＝6，wr＝100，wl＝15。最后，根据变形后的网格位置进行纹理映射，得到图像拼接的结果，并通过无缝融合进一步消除拼接处的缝。公式为：

e(v)＝wa(ea)+ws(es)+wd(ed)+wr(er)+wl(el)

一实施例中，为了立体全景图边界尽可能接近矩形并避免不必要的畸变，通过迭代的方式，将矩形四条边界的约束逐一加入到立体图像拼接的约束条件中，若矩形四条边约束的加入都没有引入明显的形变，则生成具有矩形边界全景图，若某条边约束的加入引起了明显形变，则放弃对这条边的约束，最终生尽可能接近矩形的全景图像边界。

参见图2，本发明的矩形边界保持的立体图像拼接方法能够有效解决先前立体拼接方的全局性优化和边界的规则性的问题。通过基于迭代优化的方法，能够得到尽可能拼接矩形的全景图像边界，从而有效提升全景拼接的视觉效果。

通过本发明实施例能够将用户通过手持移动设备随意拍摄的立体图像进行高质量拼接，并通过矩形边界约束来保证立体全景图具有较规则的边界，有效避免由于矩形窗口切割造成的内容丢失，从而能够提供更好的广角观看体验。本发明实施例的成果能够进一步应用于立体图像和视频拼接，以及全景立体图像和视频的编辑处理。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。