专利名称：一种二维视频到三维视频的自动转换方法
技术领域：
本发明涉及用于二维视频到三维视频的自动转换技术，属于视频、多媒体信号处理技术领域。
背景技术：
三维视频可以使用户享受到真实的三维感觉，近年来成为研究热点。但是在现阶段的应用中，三维视频片源短缺，现在主要的三维片源仅仅是三维电影，且三维片源的制作周期长、花费大，这限制了三维电视产业的发展。考虑到现存的大量的二维视频资源，将二维视频转换为三维视频一方面能够弥补三维片源的短缺，另一方面也使人们能够以三维的形式重温以前的经典的二维视频，因此将二维视频转换为三维视频对三维电视产业的发展有重要的意义。现有的二维视频转三维视频方法广泛采用了基于图像-深度的渲染技术，这种技术根据原始的单视场图像以及相应的图像深度信息，能够渲染出虚拟视点的图像。基于深度-图像渲染技术的关键问题是深度信息的恢复和虚拟的右视图的合成。对于不同的场景，根据场景中的深度线索，有不同的深度恢复算法。其中，带运动物体的静止场景因为其普遍性而成为一个重点研究的场景。为了恢复这种场景的深度信息，获得静止背景的深度层次，精确分割出前景以及前景物体的深度分配是三个关键的问题。虽然现在已有针对这种场景的深度恢复算法，但是这些算法没有完全解决上述的三个问题，使恢复的深度信息不能完全反映场景的层次结构。因此，研究带运动物体的静止场景的深度恢复有重要的意义。同时，右视图的合成的技术集中在补洞算法上，补洞算法是处理由于遮挡、错误投影等原因引起的鬼影，补洞算法的好坏直接影响观众的3D(三维)感受，因此快速、实用的补洞算法对新视点视频的合成至关重要。现有的算法主要采用视频中的色差分量作为深度图灰度值，即对于YUV格式的视频，将U分量直接作为深度图的灰度值(YUV是被欧洲电视系统所采用的一种颜色编码方法 (属于PAL)，是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中， 通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y (即 U)、B-Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的)。该算法虽然简单，但是估计的深度值并不够准确，合成的右视图的质量也不高。除了上述算法外，也有采用人工抠取图像目标，然后对图像中的各个目标进行深度的分配，进而得到3D效果，这种算法虽然深度分配准确，但是人工参与使得算法难以实现自动化
发明内容
本发明针对现有二维视频到三维视频转换算法的存在的缺点，提供一种能自动的将2D (二维)视频转换为3D (三维)视频，无需人工参与，而且生成的右视图质量较高的二维视频到三维视频的自动转换方法。本发明的二维视频到三维视频的自动转换方法，是针对带运动物体的静止场景，首先对背景进行高斯建模，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，针对背景图像，利用单目几何信息和分类学习算法对每个像素进行几何分类，根据分类结果得到深度图；针对前景区域，采用均值移位(meanshift)算法对图像进行分割，然后对图像进行边缘检测、 边缘连接和端点消除得到精确的前景区域，与背景深度图融合之后得到每一帧的深度图； 右视图的合成算法采用先重建右视图中的背景，然后用该右视背景来进行补洞；具体步骤如下(1)背景深度估计采用高斯背景建模恢复背景，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，然后采用单目深度线索和学习训练算法对背景进行几何分类，根据分类结果给背景分配深度，得到静止背景的深度图；(2)运动前景精确提取对高斯背景建模得到的前景的大致区域进行均值移位 (meanshift)分割、边缘检测和边缘连接得到物体的精确轮廓；(3)融合深度图根据运动物体在静止场景中的位置和步骤(1)得到的静止背景的深度图给每个前景物体分配固定的深度值，并将前景和背景的深度融合为一幅完整的深度图；(4)右视图的合成采用简单的补洞算法先对右眼背景进行重建，然后利用已重建的背景信息对前景遮挡出现的空洞进行补洞，得到最终的右视图。所述步骤(1)的具体实现步骤如下a.将背景像素灰度建模成多个(本发明中采用3个)混合高斯分布的随机信号， 然后根据整个视频估计出背景模型；b.对背景的单眼深度线索(颜色、纹理、位置、形状、几何等)进行有监督的学习， 将像素分成地面、天空和垂直面三类；c.对三类区域分别进行深度分配，得到背景的深度图；具体方法如下令S，G和V分别表示天空的像素集合，地面的像素集合和垂直面的像素集合；像素 (i，j)的深度用d印th(i，j)来表示，三类的深度分配方法分别如下式①、②、③
权利要求
1.一种二维视频到三维视频的自动转换方法，其特征是针对带运动物体的静止场景，首先对背景进行高斯建模，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，针对背景图像，利用单目几何信息和分类学习算法对每个像素进行几何分类，根据分类结果得到深度图；针对前景区域，采用均值移位算法对图像进行分割，然后对图像进行边缘检测、边缘连接和端点消除得到精确的前景区域，与背景深度图融合之后得到每一帧的深度图；右视图的合成算法采用先重建右视图中的背景，然后用该右视背景来进行补洞；具体步骤如下(1)背景深度估计采用高斯背景建模恢复背景，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，然后采用单目深度线索和学习训练算法对背景进行几何分类，根据分类结果给背景分配深度，得到静止背景的深度图；(2)运动前景精确提取对高斯背景建模得到的前景的大致区域进行均值移位分割、 边缘检测和边缘连接得到物体的精确轮廓；(3)融合深度图根据运动物体在静止场景中的位置和步骤(1)得到的静止背景的深度图给每个前景物体分配固定的深度值，并将前景和背景的深度融合为一幅完整的深度图；(4)右视图的合成采用简单的补洞算法先对右眼背景进行重建，然后利用已重建的背景信息对前景遮挡出现的空洞进行补洞，得到最终的右视图。
2.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是所述步骤(1)的具体实现步骤如下a.将背景像素灰度建模成三个混合高斯分布的随机信号，然后根据整个视频估计出背景模型；b.对背景的单眼深度线索进行有监督的学习，将像素分成地面、天空和垂直面三类；c.对三类区域分别进行深度分配，得到背景的深度图；具体方法如下令S，G和V分别表示天空的像素集合，地面的像素集合和垂直面的像素集合；像素(i， j)的深度用d印th(i，j)来表示，三类的深度分配方法分别如下式①、②、③ depth(i, j) = 0, (i, j) e S①
3.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是所述步骤(2)的具体实现步骤如下a.先对高斯背景建模得到前景的大致区域进行扩张合适尺寸，然后用均值移位算法对这个扩张后的区域进行分割；b.对分割结果采用边缘检测算法检测边缘，去除步骤(1)中得到的前景大致区域外的边缘像素；c.采用形态学处理中常用的3*3和4*4的结构元素对边缘进行连接，使物体的边缘闭I=I οd.将闭合区域内的像素填满，并采用端点消除技术去除线条状边缘噪声。
4.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是所述步骤(3)的具体实现步骤为对于每一个前景物体，设定垂直于地面的前景物体具有单一深度值，找出与该前景物体接触的地面像素坐标，将背景深度图中该像素的深度值赋给前景物体，融合得到整个图像的深度图。
5.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是所述步骤(4)的具体实现步骤为a.先根据深度与视差的线性关系，利用背景深度将右眼的背景视图重建起来，其中的空洞采用水平向右的像素颜色值进行补洞；深度和视差是线性的关系，如下式
全文摘要
本发明提供一种二维视频到三维视频的自动转换方法，针对带运动物体的静止场景，首先对背景进行高斯建模，重建出静止的背景和分割出前景的大致区域，针对背景图像，利用单目几何信息和分类学习算法对每个像素进行几何分类，根据分类结果得到深度图；针对前景区域，采用均值移位算法对图像进行分割，然后对图像进行边缘检测、边缘连接和端点消除得到精确的前景区域，与背景深度图融合之后得到每一帧的深度图；右视图的合成算法采用先重建右视图中的背景，然后用该右视背景来进行补洞；本发明将得到左右视图投放在三维显示设备上可以自动获得良好的3D效果，无需人工参与。
文档编号G06T7/20GK102223553SQ201110140389
公开日2011年10月19日 申请日期2011年5月27日 优先权日2011年5月27日
发明者任艳楠, 元辉, 刘琚, 孙建德, 王地长生 申请人:山东大学