一种基于图像错切变换的全自动2d转3d视频方法
【技术领域】
[0001] 本发明涉及一种基于图像错切变换的全自动2D转3D视频方法，是一种平面视频 立体转化的方法，属于计算机视觉技术领域。
【背景技术】
[0002] 客观现实世界中，观察者可以对某一特定场景从不同视点观看，也可以感受场景 中每一个景象的错落层次、远近深度，即景象本身的立体感，而这正是二维视频技术所不能 表示的。同二维视频相比，三维立体视频增加了景物深度信息。所谓深度，是针对于人眼的， 是指观察点离目标的距离。人体获取深度线索可以利用单眼从静态图像，运动或生理上获 取，也可以利用双目视差线索获取。人眼观看立体图像的必要条件是双眼视差，从视差感受 到深度，从而获取立体感受。
[0003] 在立体素材上的获取上，主要有三种方式，第一种是通过基于模型渲染的方式的 借助专业建模软件直接生成3D素材，主要应用于计算机图形学领域。第二种是采用摄像机 直接拍摄，一台摄像机记录场景中物体的信息，另一台摄像机记录场景中物体的深度信息， 再经过一系列的图像配准以及后期制作，但是受到制作周期和高昂的制作成本制约。第三 种方式是将原有的平面视频素材转制为立体视频，即2D转3D视频技术，它利用计算机图形 学和图像处理领域的相关知识，能自动、快速、有效的将现有的2D转3D视频转为3D视频， 降低了 3D视频制作的难度和成本，同时也解决了 3D片源不足的问题，因此越来越受到人们 的关注。
[0004] 按照人工参与程度，2D视频转化为3D视频主要分为三种方式：全人工，半人工半 自动，全自动。第一种方法以完全人工的方式并结合特定的制作软件逐帧图像进行制作，将 每一帧图像中所包含的各个物体按照深度逐层分割，这种方法得到的立体效果最好，但是 效率低，主要应用于对精度要求很高的特定素材。第二种方法需要人工部分参与，只需要在 某些特定场景下人工处理场景的深度信息，这种方式即能增强深度信息的准确性，又能够 有效的控制人工成本，是一种主流的选择。以上两种方法，人工参与的部分中，其主要工作 就是恢复场景的深度信息，即根据一系列的算法(如DFC，SFC，运动估计等算法）计算二维 图像所对应的深度图，通过深度图和原图进行虚拟视点绘制，最后合成三维图像。由于加入 了人工的参与，导致市场推广性很差。第三种方法则是通过软件直接完成视频转制，操作简 单，具有较强的市场应用价值，而如今市面上也已经出现具备2D转3D功能的视频软件。但 是大多数软件虽然在实时性方面达到了要求，但转化后立体效果不尽人意，主要表现为，前 景清晰而背景信息轮廓模糊，场景中景致的层次感不强烈等。
[0005] 在国际上，美国高通公司的WangHaohong提出了一种实时的2D转3D视频的方法， 提出先对原始的高清2D视频进行欠采样处理，获得欠采样后的深度视频，并根据此深度视 频与原始的高清2D视频生成高清的深度视频，最后再生成实时的可欣赏的3D视频，该方案 使计算量大大降低，从而增强了实时性。接着SanJoes等相关专家又对高质量快速的生成 深度视频领域做出了研究，提出"快速的由2D视频生成深度视频"的方法，通过此方法，最 后能够生成的效果很好的实时3D视频。
[0006] 在我国已经取得了一些阶段性的重要成果，这些成果主要有：无锡景象数字技术 公司发明了一种"单幅2D图像转3D图像的方法"并申请获得了专利，该方法利用了单幅 图像的灰度信息，先通过高斯滤波方法出去灰度图像中的噪声，然后再通过拉普拉斯滤波 法获得与之对应的深度图像，最后结合原始图像与深度图像生成最终的3D图像。同年该公 司再一次针对3D立体视频领域提出一种"基于光流特征的2D转3D视频方法"并获得了专 利，方法通过对视频帧进行光流运动的分析，获得像素点的中的光流向量，从而计算得到视 差图。
[0007] 清华大学和数码视讯合作研制的立体数字电视广播系统是首家采用深度图对视 频进行2D-3D实时转换的系统。清华大学在3D视频研究方面在国内领先。
【发明内容】
[0008] 本发明的目的在于提供一种基于图像错切变换的全自动2D转3D视频方法，其通 过图像的错切变换后合成双目立体视频图像，提高了 2D转3D视频的实时性和效率。
[0009] 本发明的技术方案是这样实现的：一种基于图像错切变换的全自动2D转3D视频 方法，其特征在于具体步骤如下： 步骤1、获取视频的帧图像，依次对其中的每一帧图像变换，进行下述步骤； 步骤2、获取原始视频图像的高度和宽度，即存储图像矩阵的行数和列数； 步骤3、设定左眼视图的变换因子a; 步骤4、设定右眼视图的变换因子-a; 步骤5、根据公式（1)通过左眼视图的变换因子a，计算出沿x轴正方向错切后的矩阵R2，即为错切后的初步左眼视图；
【主权项】
1. 一种基于图像错切变换的全自动2D转3D视频方法，其特征在于具体步骤如下： 步骤1、获取视频的帧图像，依次对其中的每一帧图像变换，进行下述步骤； 步骤2、获取原始视频图像的高度和宽度，即存储图像矩阵的行数和列数； 步骤3、设定左眼视图的变换因子α ; 步骤4、设定右眼视图的变换因子-α ; 步骤5、根据公式（1)通过左眼视图的变换因子α，计算出沿X轴正方向错切后的矩阵 R2，即为错切后的初步左眼视图；
步骤6、根据公式（2)通过右眼视图的变换因子-α，计算出沿X轴负方向错切后的矩 阵R3，即为错切后的初步右眼视图；
步骤7、获取错切后的左眼视图的四个顶点Ap Cn D1，图像的四个顶点，心为左下顶 点，B1为右下顶点，C i为右上顶点，D i为左上顶点,将存储该图像的矩阵记为R2; 步骤8、在左眼视图A1B1C1D1的存储矩阵R 2中寻找与A i同行，与D凋列的点，按行和列 都相同的点记为P，再寻找与C1同行与B 1同列的点，按行和列都相同的点记为Q ; 步骤9、获取错切后的右眼视图的四个顶点A2、B2、C2、D2，并将存储该视图的矩阵记为 R3; 步骤10、在右眼视图A2B2C2D2的存储矩阵R 3中寻找与A 2同行D 2同列的点记为M，在寻 找与C2同行B 2同列的点，记为N; 步骤11、将错切后的左路视图A1B1C1D1裁成以P，B i，Q，D1为顶点的矩形图像； 步骤12、将错切后的右路视图A2B2C2D2裁成以M，B 2, N，D2为顶点的矩形图像； 步骤13、将存储PB1QD1的矩阵R 3与存储MB 2ND2的矩阵R 5合并成一个新的矩阵R 6，所输 出的视图即为转化完成的双目立体视图。
【专利摘要】本发明涉及一种基于图像错切变换的全自动2D转3D视频方法，其特征在于具体步骤如下：获取视频的帧图像，依次对其中的每一帧图像变换，存储图像矩阵的行数和列数;设定左眼视图的变换因子α;设定右眼视图的变换因子-α;计算出错切后的初步左眼视图;计算出错切后的初步右眼视图;获取错切后的左眼视图的四个顶点A1、B1、C1、D1，存储该视图的矩阵;其通过图像的错切变换后合成双目立体视频图像，提高了2D转3D视频的实时性和效率。
【IPC分类】H04N13-00
【公开号】CN104683784
【申请号】CN201510057543
【发明人】陈占芳, 杨帆, 薛耀红, 张超, 权巍, 韩成, 姜珊
【申请人】长春理工大学
【公开日】2015年6月3日
【申请日】2015年2月4日