一种全景视频拼接方法与流程

本发明属于视频处理技术领域，涉及一种全景视频拼接方法。

背景技术：

视频拼接技术是指将若干个摄像机采集到的视频图像拼接形成一幅全景图像的技术，目前常用的视频拼接技术大多是基于图像拼接算法上找出相邻视频图像中的重合部分进行转换拼接，但这类方法受摄像场景的变化、拍摄角度的不同和拼接算法等因素的影响。并且全景摄像机是鱼眼镜头，获取得到的图像是鱼眼图像，存在畸变，如果直接进行特征点提取，则提取到的特征点匹配程度很低，且误匹配率较高。

技术实现要素：

为解决上述问题，本发明的目的在于提供一种全景视频拼接方法。

为实现上述目的，本发明提供了一种全景视频拼接方法，包括以下步骤：

获取一组图像并生成模板；

使用模板将视频每一帧进行空间映射；

将映射后的视频帧渲染成全景视频，

其中，生成模板包括以下步骤：

对图像进行畸变校正；

对校正后的图像进行特征点提取及特征点匹配；

使用优化算法以及特征点匹配结果估计空间映射参数，将映射参数保存成模板。

优选地，所述对图像进行畸变校正，采用经纬度校正法，在一条确定的经度上，图像上一点的椭圆方程为：

经纬度校正后的坐标为(x1,y1)，校正关系为：

优选地，所述特征点提取包括以下步骤：

用高斯金字塔方法构建尺度空间，对校正后的图像进行若干次的卷积和下采样，得到尺度空间图像；

对构建好的尺度空间图像进行搜索，找到局部极大值点作为初步关键点，然后通过极大值抑制，确定最终的关键点，即特征点；

通过对特征点周围图像区域分块，计算每块内梯度直方图，再用这些直方图生成一个128维向量，即进行特征点描述。

优选地，所述卷积，利用如下公式得到卷积后图像：

L(x,y,σ)＝I(x,y)*G(x,y,σ)，

其中I(x,y)为原图像，G(x,y,σ)为高斯函数，L(x,y,σ)为卷积后图像。

优选地，所述特征点匹配，首先从一张图像中选择一个特征点，根据其特征点描述，从另一张图像中搜索出与该特征点描述最相似的特征点描述，即形成一对匹配的特征点。

优选地，所述使用优化算法以及特征点匹配结果估计空间映射参数，已有若干对匹配的特征点，通过优化算法估计空间映射参数，包括旋转量、平移量、及畸变量，将这些参数保存成模板。

优选地，所述优化算法为最小二乘法或LevenBerg-Marquardt算法。

优选地，所述使用模板将视频每一帧进行空间映射，为根据所生成的模板中的空间映射参数，将视频的每一帧图像投影到全景平面上。

优选地，所述将映射后的视频帧渲染成全景视频，是通过图像的线性融合，生成全景视频。

优选地，所述线性融合，是对若干图像进行线性加权，包括以下步骤：

将图像映射到全景图像时，生成每个有效像素点的权重系数w，无效区的权重系数为0；

不同镜头间存在重合区域，即存在不同幅图像映射到全景图像中的同一个点，全景图像的像素值由如下公式得到：

其中，N为有N个图像映射到全景图像中的同一个点，I_n(x,y)为第n个图像的像素值，w_n(x,y)为第n个图像在点(x,y)的权重。

优选地，所述将映射后的视频帧渲染成全景视频，是通过图像的多重融合或无缝融合或泊松融合，生成全景视频。

本发明的有益效果如下：由于全景摄像机是鱼眼镜头，获取得到的图像是鱼眼图像，存在畸变，如果直接进行特征点提取，则提取到的特征点匹配程度很低，且误匹配率较高。本发明为了提取更多的特征点，获取更准确的特征点匹配对，先将鱼眼图像进行畸变校正，消除鱼眼的畸变现象；然后进行特征点提取和匹配；以估计空间映射参数，来生成模板。后续视频图像可以直接使用保存好的模板进行拼接，提升拼接效率。

附图说明

图1为本发明一具体实施例的全景视频拼接方法的步骤流程图；

图2为本发明又一具体实施例的全景视频拼接方法的步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

实施例1

参见图1，为本发明一具体实施例的全景视频拼接方法的步骤流程图，包括以下步骤：

S10，获取一组图像并生成模板；

S20，使用模板将视频每一帧进行空间映射；

S30，将映射后的视频帧渲染成全景视频。

通过上述步骤，可将一组待拼接的图像生成模板，生成的模板是一组参数，是圆周鱼眼图像映射到最终等距圆柱图像(即全景图像)的映射参数。使用模板可以将视频的每一帧图像进行空间映射，而后渲染成全景视频。生成的模板可对后续全景摄像机拍摄的视频图像直接进行拼接，大大提高了效率。

实施例2

参见图2，为本发明一具体实施例的全景视频拼接方法的步骤流程图，包括以下步骤：

S101，对图像进行畸变校正；

S102，对校正后的图像进行特征点提取及特征点匹配；

S103，使用优化算法以及特征点匹配结果估计空间映射参数，将映射参数保存成模板；

S20，使用模板将视频每一帧进行空间映射；

S30，将映射后的视频帧渲染成全景视频。

上述步骤中，S101对图像进行畸变校正，采用经纬度校正法，在一条确定的经度上，图像上一点的椭圆方程为：

经纬度校正后的坐标为(x1,y1)，校正关系为：

图像畸变校正后，进行S102中的特征点提取。特征点提取的方法有很多，例如边缘点，harris角点，SURF特征点，ORB特征等，本发明采用尺度不变特征变换，包括以下步骤：

用高斯金字塔方法构建尺度空间，对校正后的图像进行若干次的卷积和下采样，得到尺度空间图像；

利用如下公式得到卷积后图像：

L(x,y,σ)＝I(x,y)*G(x,y,σ)，

其中I(x,y)为原图像，G(x,y,σ)为高斯函数，L(x,y,σ)为卷积后图像；

对构建好的尺度空间图像进行搜索，找到局部极大值点作为初步关键点，然后通过极大值抑制，确定最终的关键点，即特征点；

通过对特征点周围图像区域分块，计算每块内梯度直方图，再用这些直方图生成一个128维向量，即进行特征点描述，这个向量是该区域图像信息的一种抽象，具有唯一性。

上述特征点提取能够保证在图像旋转、图像缩放、图像亮度均匀变化时都不会影响特征点提取的结果，是一种十分稳定的特征点提取算法。

完成图像的特征点提取后，进行S102中的特征点匹配，从而建立起不同图像间的对应关系。首先从一张图像中选择一个特征点，根据其特征点描述，从另一张图像中搜索出与该特征点描述最相似的特征点描述，即形成一对匹配的特征点。在具体实施例中，如一张图像的一个特征点坐标是(x₁,y₁)，它的描述值为向量另一张图像中与向量最相似的特征点描述为该特征点描述对应的特征点坐标为(x₂,y₂)，那么(x₁,y₁)和(x₂,y₂)就是一对特征点匹配对，可以记为((x₁,y₁),(x₂,y₂))。一对匹配的特征点认为是一个场景中的同一个点，只是该场景被不同的摄像机所拍摄。

而后进行S103，用若干对匹配的特征点，通过优化算法估计空间映射参数，空间映射参数包括旋转量、平移量、及畸变量，将这些参数保存成模板。

具体实施例中优化算法为最小二乘法或LevenBerg-Marquardt算法，采用最小二乘法时，令p＝(x,y)，表示一个坐标点，则匹配对可重新表示成(p₁,p₂)，空间映射模型函数可以表示为y＝f(p,β)。其中β＝(β₁,β₂,...β_m)是空间映射参数，包括旋转参数，平移参数以及畸变参数。最小二乘法的优化策略是使误差的平方和最小，即找到一个解β使下式最小：

它的最优解为：

其中

使用优化算法得到空间映射参数后，将这些参数保存成模板，后续摄像机拍摄图像后，不需要再进行复杂的生成模板过程，直接使用保存好的模板进行拼接，提升拼接效率。

生成模板后，进行S20，使用模板将视频每一帧进行空间映射，为根据所生成的模板中的空间映射参数，将视频的每一帧图像投影到全景平面上。如果一台摄像机有4个镜头，即要对4个图像进行全景拼接，那么经过空间映射会得到4张全景图像，然后进行S30，通过图像的线性融合，对这些全景图像进行渲染，融合成一帧最终全景图像。

所述线性融合，是对若干图像进行线性加权，包括以下步骤：

将图像映射到全景图像时，生成每个有效像素点的权重系数w，无效区的权重系数为0；

不同镜头间存在重合区域，即存在不同幅图像映射到全景图像中的同一个点，全景图像的像素值由如下公式得到：

其中，N为有N个图像映射到全景图像中的同一个点，I_n(x,y)为第n个图像的像素值，w_n(x,y)为第n个图像在点(x,y)的权重。

具体实施例中，还可以通过图像的多重融合或无缝融合或泊松融合，生成全景视频。需要说明的是，对视频进行渲染时，数据量很大，尤其是分辨率高的视频。此时CPU的计算能力已经远远不能满足需求。为了提高效率，必须使用计算能力强的平台，本发明使用GPU对视频进行渲染，GPU具有十分强大的并行计算能力，适用于图像渲染，大大提升效率，GPU渲染可以使用CUDA或者OpenGL来实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。