一种2D转为3D视频的方法与流程

本发明涉及视频处理技术领域，具体地说是一种2d转为3d视频的方法。

背景技术：

随着科技的不断进步，人们对电影的要求越来越高，3d电影的视觉效果得到了观众极高的赞许。因此，为了取得更大的效益，很多2d电影的投资方和制片方都想经过相应后期制作处理成为3d电影。

然而，目前的电影领域里，2d转3d的技术难度大，效率低，制作过程复杂。现今通用的2d转3d技术首先是利用跟踪软件进行摄像机跟踪，把跟踪得到的摄像机信息以及相应视频序列导入三维制作软件中；再次，根据图像中模型在场景中所处的位置进行模型以及动画制作，相当于重建场景及动画，其中模型与动画的制作耗时巨大；然后把已有的图像映射至新制作的动画场景中，在对整个场景重新渲染，渲染同样需要消耗大量的时间，整个流程耗时长，效率低。

技术实现要素：

本发明的目的是克服现有技术的不足，提供一种高效、精准、快速的2d视频转3d视频的方法。

为实现上述目的，设计一种2d转为3d视频的方法，其特征在于，采用如下处理步骤：

a、引入单个镜头图像序列，利用平面图像序列中高识别度的特征区域从首帧到尾帧的位移，得到图像序列众多特征区域块的运动轨迹，反求摄像机的空间位置和运动轨迹，获得多个图像特征点：假设图像的分辨率尺寸为m，n，定义源图像任意点sourcepoint的空间坐标为其中z＝0，x∈[-m/2，m/2]，y∈[-n/2，n/2]，源图像的中心点满足|f(x)|+|f(y)|＝0；设任意特征点在空间中的位置分别为其中z＝0，x∈(-m/2，m/2)，y∈(-n/2，n/2)，过特征点且与源图像平面平行的平面中心点满足|g(x)|+|g(y)|＝0；其中，摄像机像平面到源图像平面的中心轴距离恒值为h1，到过特征点平面的中心轴距离为h2；设任意特征点到源图像平面的线段与中心轴的夹角为θ，都有等式[f(x)-g(x)]/(h1-h2)＝tanθ恒成立；

b、对得到的全部图像特征点进行误差校正：

b1、将特征点携带的信息与摄像机携带的信息进行匹配，设匹配系数为r，计算出误差阈p，特征点的误差值为q，并进行一次误差校正；

b2、全部特征点携带的信息汇成一组曲线表，设x轴为时间，y轴为振幅，所有曲线振幅的平均变量为△w，单个特征点singlepoint的振幅变量为△a，当△a＜△w时，为正确特征点；当△a＞△w时，为错误特征点，正确特征点的振幅波动平稳，错误的特征点的振幅波动强烈，把错误的特征点进行手动修剪，校正误差；

b3、进入误差阈判定：当特征点误差值q小于误差阈p时，进入步骤e；当特征点误差值q大于误差阈p时，说明序列图像中存在运动物体，并进行运动物体分离步骤，所述的运动物体分离步骤为：选取图像序列中识别度较高的一单帧图像，对超出误差阈的误差特征点局部区域进行手动分离，并且进入二次误差校正；设x1轴为时间，y1轴为振幅，所有曲线振幅的平均变量为△w1，单个特征点singlepoint的振幅变量为△a1，当△a1＜△w1时，为正确特征点，当△a1＞△w1时，为错误特征点；

c、利用步骤b中分离出来的一个或多个连续运动物体形状信息与步骤a反求得到的摄像机运动轨迹信息进行前后连接，得到运动物体片在图像序列中的大小变化以及运动物体邻近的特征点位置变化信息；

d、利用步骤c中得到的图像序列中的一个或多个连续运动物体片到摄像机像平面的距离变化，计算得到运动物体片在全部图像序列中的黑白序列信息变化，定义黑白序列信息depthoffield为λ，λ∈[0，100]，则g(x)＝u/λ，其中，λ＝0为纯黑，λ＝100为纯白，u为比例常数；

e、获取全序列图像的黑白景深序列：

e1、选取图像序列中识别度较高的一单帧图像；

e2、利用该单帧图像相对摄像机视图区域片的静态特征点与摄像机像平面的距离关系，计算得到图像序列中单帧摄像机视图黑白信息图像，定义黑白序列信息depthoffield为λ，λ∈[0，100]，则g(x)＝u/λ，其中，λ＝0为纯黑，λ＝100为纯白，u为比例常数；

e3、利用图像序列中的单帧黑白景深信息图像与摄像机运动轨迹信息，跟踪解算出全序列图像的黑白景深序列；

f、如果步骤b中特征点误差值q低于误差阈p时，则直接进入步骤g；如果特征点误差值q超出误差阈p时，则把步骤d得到的运动物体黑白景深序列与步骤e得到的相对摄像机视图区域片的黑白景深全序列相连接，得到源图像全序列的黑白景深信息图像；

g、基于上述得到的全序列的黑白景深信息图像，黑白景深图像与源图像的特征点互相对应，利用黑白景深图像的亮度信息，对单帧图像进行有序的拉伸与分离，黑白景深图像的亮度与特征点到摄像机像平面的距离成反比，景深图像越白，该图像上相对应的特征点离摄像机像平面越近，即g(x)＝(h1-h2)/λ；

h、对步骤g中所获得的三维空间图像，经过立体摄像机stereocamera偏移处理，根据所呈现的效果需要，手动调整立体两眼间距interocular以及零平面convergence的具体位置，得到最终的立体效果。

所述的三维软件采用3dsmax。

本发明的技术优势在于，大大缩短转换时间；且特征点具有唯一性，转换精准、高效，处理方法简单。

附图说明

图1为本发明中景深与特征点的距离关系示意图。

图2为黑白景深信息图。

具体实施方式

现结合附图及实施例对本发明作进一步地说明。

本发明的设计原理是：利用平面图像序列中具有高识别度的特征区域的运动轨迹，反求摄像机的空间位置和运动轨迹，得到图像序列在空间中的特征点；根据摄像机运动轨迹的数据和三维空间的特征点的位移数据进行匹配识别出误差特征点并进行校正，得到精确的图像序列特征点；利用不同特征点到摄像机距离的差异，计算出单帧图像的黑白深度信息；利用单帧图像的黑白深度信息与源图像序列的连续信息，计算出全部图像序列的黑白深度信息；使源图像序列相应的区域与黑白信息序列图进行相对应的立体分离，实现摄像机视图的真实三维空间，大大缩短转换时间；且特征点具有唯一性，转换精准、高效，处理方法简单。

实施例1

参见图1和图2，一种2d转为3d视频的方法，其特征在于，采用如下处理步骤：

a、引入单个镜头图像序列，利用平面图像序列中高识别度的特征区域从首帧到尾帧的位移，得到图像序列众多特征区域块的运动轨迹，反求摄像机的空间位置和运动轨迹，获得多个图像特征点：假设图像的分辨率尺寸为m，n，定义源图像任意点sourcepoint的空间坐标为其中z＝0，x∈[-m/2，m/2]，y∈[-n/2，n/2]，源图像的中心点满足|f(x)|+|f(y)|＝0；设任意特征点在空间中的位置分别为其中z＝0，x∈(-m/2，m/2)，y∈(-n/2，n/2)，过特征点且与源图像平面平行的平面中心点满足|g(x)|+|g(y)|＝0；其中，摄像机像平面到源图像平面的中心轴距离恒值为h1，到过特征点平面的中心轴距离为h2；设任意特征点到源图像平面的线段与中心轴的夹角为θ，都有等式[f(x)-g(x)]/(h1-h2)＝tanθ恒成立；

b、对得到的全部特征点进行误差校正：

b1、将特征点携带的信息与摄像机携带的信息进行匹配，设匹配系数为r，计算出误差阈p，特征点的误差值为q，并进行一次误差校正；

b2、全部特征点携带的信息汇成一组曲线表，设x轴为时间，y轴为振幅，所有曲线振幅的平均变量为△w，单个特征点singlepoint的振幅变量为△a，当△a＜△w时，为正确特征点；当△a＞△w时，为错误特征点，正确特征点的振幅波动平稳，错误的特征点的振幅波动强烈，把错误的特征点进行手动修剪，校正误差；

b3、进入误差阈判定：当特征点误差值q小于误差阈p时，进入步骤e；当特征点误差值q大于误差阈p时，说明序列图像中存在运动物体，并进行运动物体分离步骤，所述的运动物体分离步骤为：选取图像序列中识别度较高的一单帧图像，对超出误差阈的误差特征点局部区域进行手动分离，并且进入二次误差校正；设x1轴为时间，y1轴为振幅，所有曲线振幅的平均变量为△w1，单个特征点singlepoint的振幅变量为△a1，当△a1＜△w1时，为正确特征点，当△a1＞△w1时，为错误特征点；

c、利用步骤b中分离出来的一个或多个连续运动物体形状信息与步骤a反求得到的摄像机运动轨迹信息进行前后连接，得到运动物体片在图像序列中的大小变化以及运动物体邻近的特征点位置变化信息；

d、利用步骤c中得到的图像序列中的一个或多个连续运动物体片到摄像机像平面的距离变化，计算得到运动物体片在全部图像序列中的黑白序列信息变化，定义黑白序列信息depthoffield为λ，λ∈[0，100]，则g(x)＝u/λ，其中，λ＝0为纯黑，λ＝100为纯白，u为比例常数；

e、获取全序列图像的黑白景深序列：

e1、选取图像序列中识别度较高的一单帧图像；

e2、利用该单帧图像相对摄像机视图区域片的静态特征点与摄像机像平面的距离关系，计算得到图像序列中单帧摄像机视图黑白信息图像，定义黑白序列信息depthoffield为λ，λ∈[0，100]，则g(x)＝u/λ，其中，λ＝0为纯黑，λ＝100为纯白，u为比例常数；

e3、利用图像序列中的单帧黑白景深信息图像与摄像机运动轨迹信息，跟踪解算出全序列图像的黑白景深序列；

f、如果步骤b中特征点误差值q低于误差阈p时，则直接进入步骤g；如果特征点误差值q超出误差阈p时，则把步骤d得到的运动物体黑白景深序列与步骤e得到的相对摄像机视图区域片的黑白景深全序列相连接，得到源图像全序列的黑白景深信息图像；

g、基于上述得到的全序列的黑白景深信息图像，黑白景深图像与源图像的特征点互相对应，利用黑白景深图像的亮度信息，对单帧图像进行有序的拉伸与分离，黑白景深图像的亮度与特征点到摄像机像平面的距离成反比，景深图像越白，该图像上相对应的特征点离摄像机像平面越近，即g(x)＝(h1-h2)/λ；

h、对步骤g中所获得的三维空间图像，经过立体摄像机stereocamera偏移处理，根据所呈现的效果需要，手动调整立体两眼间距interocular以及零平面convergence的具体位置，得到最终的立体效果。

进一步的，所述的三维软件采用3dsmax。