专利名称：一种二维视频深度图的生成方法
技术领域：
本发明属于视频图像处理技术领域，具体涉及一种二维视频深度图的生成方法。
背景技术：
三维视频已经成为不可阻挡的技术热潮，因其带来的视觉冲击力，场景的真实感， 受到大量的电影、电视和广告等行业技术人员和销售人员青睐。但目前三维视频内容依旧缺乏，将现有的众多二维视频转换为三维视频受到越来越多的重视。其中最主要的方法是首先计算得到原有二维视频的深度信息，再通过DIBR(Depth Image Based Rendering)技术获得虚拟视点视频图像，合成相应的三维视频。目前用于生成二维视频图像深度图的方法主要有两类(I)利用视频或图像编辑软件，人工对视频中的每帧图像进行分割，逐一手动确定该帧图像中每个物体的前后关系，赋以相应的深度值。这种方法得到的深度图具有较高的精度，质量较好，但由于需要逐帧进行视频图像分割与深度赋值，需要耗费大量的人工，效
率不高。(2)与全人工赋值相反的二维视频到三维视频的全自动转换技术，对接收到的二维视频信息进行分析并计算出深度图，再采用DIBR的方法合成三维视频。目前很多三维电视都在电视机里都内置了基于这种转换技术的装置，可以方便的将电视中接收到的二维视频信号实时的转换为三维视频信号来观看，但这种实时计算出来的深度图相对于方法(I) 中得到的深度图效果较差，有些时候会发生前后景混乱的情况，造成视觉困扰。公开号为CN101271578A中国发明专利公开了一种平面视频转立体视频技术中的深度序列生成方法，该方法包括基于光流算法提取原二维视频序列中每一帧的像素二维运动，获得该帧的运动强度图；利用最小鉴别信息原理将原二维视频序列中每一帧图像的颜色信息与所述运动强度图融合，获得用于对视频图像进行分割的运动颜色区分图；根据运动颜色区分图的亮度对该图进行分割，并对分割后的每个区域赋予不同的深度值，得到每一帧图像的深度图；将所有帧图像的深度图组成深度序列。该方法对每一帧图像进行处理，过程复杂，工作量大，效率较低。
发明内容
针对现有技术所存在的上述技术缺陷，本发明提供了一种二维视频深度图的生成方法，能够在保证深度图较佳质量效果的同时，提高生成的速度和效率。一种二维视频深度图的生成方法，包括如下步骤(I)获取二维视频，对二维视频每帧图像进行切换检测，将图像标记为关键帧图像或非关键帧图像；(2)对二维视频每帧图像进行分割，并对关键帧图像分割产生的每个区域的深度值进行人工赋值，得到关键帧图像的深度信息，进而生成关键帧图像的深度图；其中同一区域内的各像素点的深度值均相等；
(3)根据关键帧图像的深度信息，通过颜色纹理匹配法计算得到非关键帧图像的深度信息，并生成非关键帧图像的深度图；进而根据关键帧图像和非关键帧图像的深度图合成整个二维视频的深度图。优选地，对图像进行切换检测的过程为首先，标记二维视频的第一帧图像为关键帧图像，并计算二维视频每帧图像的颜色直方图；然后，根据以下算式依次计算每帧图像与前一关键帧图像的颜色直方图距离，若颜色直方图距离小于距离阈值，则标记当前帧图像为非关键帧图像；若否，则标记当前帧图像为关键帧图像。
255Δ(Ζ1 - Ζ2) = Σ (K (k) - Hf ⑷I + \hzg1 (k) - Hzg2 (k)\ + \hzb1 (k) - Hf ⑷|)
k=Q其中Z1和Z2分别对应当前帧图像和前一关键帧图像，Λ (Ζ1-Ζ2)为Zl与Ζ2的颜色直方图距离，Hf(A)、Hzg1 (k)、分别为Zl的红、绿、蓝分量的颜色直方图， Hzr2 [k)、Hzg2 (k)、i/f⑷分别为Z2的红、绿、蓝分量的颜色直方图，k为像素值。此切换检测方法过程简单，具有较高的检测效率。优选地，对图像进行分割采用k-means (硬聚类)算法或超像素算法。该两种算法可以产生较小的分割区域，保证每个区域里的颜色比较单一，纹理比较平滑。优选地，所述的颜色纹理匹配法的具体过程为I)计算二维视频每帧图像分割产生的每个区域的颜色直方图和纹理直方图；2)对于非关键帧图像的任一区域，根据以下算式计算该区域与前一关键帧图像的每一区域的直方图距离；
255Ζ)(Ω1 - Ω2) = Σ(Κ (k) - Hf (k)\ + \Hf (k) - Hf (k)\ +1把1 (k) - Hf ⑷ |)
k=QH^2 (m)\
w=0其中Ω I和Ω 2分别对应关键帧图像的区域和非关键帧图像的区域，D (Ω I-Ω 2) 为Ω1与Ω2两区域的直方图距离，把1⑷、Hf(k),把1⑷分别为Ω I区域的红、绿、 蓝分量的颜色直方图，丑f(A)、Hf(k), /Zf(A)分别为Ω2区域的红、绿、蓝分量的颜色直方图，和21 (O知丑f (O分别为Ω1和Ω2两区域的纹理直方图，λ为纹理匹配系数； k为像素值，m为梯度方向值；3)取直方图距离最小值对应的关键帧图像的区域作为匹配结果，并将该区域的深度值赋值给非关键帧图像的区域；4)根据步骤2)和3)，遍历非关键帧图像的所有区域，得到非关键帧图像的深度信
肩、O采用该匹配法对深度图进行推理，具有较高的推理效率，且能保证深度图较好的质量和效果。优选地，所述的步骤⑶中，生成非关键帧图像的深度图后，对非关键帧图像的深度图进行人工修复；进而根据关键帧图像的深度图和非关键帧图像修复后的深度图合成整个二维视频的深度图；能够提高改善二维视频深度图的质量和效果。所述的人工修复是指对于非关键帧图像的深度图中不符合物体前后对应关系的
区域，重新对该区域的深度值进行人工赋值，从而获得非关键帧图像修复后的深度图。
本发明仅对关键帧图像进行人工深度赋值，其余图像采用基于区域分割的深度图推理算法，大大降低了整个视频深度图制作的人工成本，提高了相应的速率和效率，得到的深度图符合真实的深度信息，有效保证了视频深度图的质量和效果，整个方法能够在普通 PC机或工作站等硬件系统上实现。
图I为本发明方法的步骤流程图。图2(a)为一非关键帧图像。图2(b)为图2(a)分割后的图像。0 2(c)为图2 (a)的深度图。图2 (d)为图2 (C)修复后的深度图。
具体实施例方式为了更为具体地描述本发明，下面结合附图及具体实施方式
对本发明的深度图生成方法进行详细说明。如图I所示，一种二维视频深度图的生成方法，包括如下步骤(I)获取二维视频，对二维视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像。首先，标记二维视频的第一帧图像为关键帧图像，并计算二维视频每帧图像的颜色直方图；然后，根据以下公式依次计算当前帧图像与前一关键帧图像的颜色直方图距离；
权利要求
1.一种二维视频深度图的生成方法，包括如下步骤(1)获取二维视频，对二维视频每帧图像进行切换检测，将图像标记为关键帧图像或非关键巾贞图像；(2)对二维视频每帧图像进行分割，并对关键帧图像分割产生的每个区域的深度值进行人工赋值，得到关键帧图像的深度信息，进而生成关键帧图像的深度图；(3)根据关键帧图像的深度信息，通过颜色纹理匹配法计算得到非关键帧图像的深度信息，并生成非关键帧图像的深度图；进而根据关键帧图像和非关键帧图像的深度图合成整个二维视频的深度图。
2.根据权利要求I所述的二维视频深度图的生成方法，其特征在于所述的步骤(I) 中，对图像进行切换检测的过程为首先，标记二维视频的第一帧图像为关键帧图像，并计算二维视频每帧图像的颜色直方图；然后，依次计算每帧图像与前一关键帧图像的颜色直方图距离，若颜色直方图距离小于距离阈值，则标记当前帧图像为非关键帧图像；若否，则标记当前帧图像为关键帧图像。
3.根据权利要求2所述的二维视频深度图的生成方法，其特征在于通过以下算式计算每帧图像与前一关键帧图像的颜色直方图距离； 其中Z1和Z2分别对应当前帧图像和前一关键帧图像，Λ(Ζ1-Ζ2)为Zl与Ζ2的颜色直方图距离，Hf(A)、Hzg1 (k)、分别为Zl的红、绿、蓝分量的颜色直方图， Hzr2 [k)、Hzg2 (k)、i/f⑷分别为Z2的红、绿、蓝分量的颜色直方图，k为像素值。
4.根据权利要求I所述的二维视频深度图的生成方法，其特征在于所述的步骤(2) 中，采用k-means算法或超像素算法对二维视频每帧图像进行分割。
5.根据权利要求I所述的二维视频深度图的生成方法，其特征在于所述的颜色纹理匹配法的具体过程为1)计算二维视频每帧图像分割产生的每个区域的颜色直方图和纹理直方图；2)对于非关键帧图像的任一区域，计算该区域与前一关键帧图像的每一区域的直方图距离；3)取直方图距离最小值对应的关键帧图像的区域作为匹配结果，并将该区域的深度值赋值给非关键帧图像的区域；4)根据步骤2)和3)，遍历非关键帧图像的所有区域，得到非关键帧图像的深度信息。
6.根据权利要求5所述的二维视频深度图的生成方法，其特征在于通过以下算式计算非关键帧图像的任一区域与前一关键帧图像的每一区域的直方图距离； 其中Ω1和Ω 2分别对应关键帧图像的区域和非关键帧图像的区域， (Ω1-Ω2)为 Ω1与Ω2两区域的直方图距离，把1⑷、Hf(k),把1⑷分别为Ω I区域的红、绿、蓝分量的颜色直方图，丑f(A)、HS2(k)、/Zf(A)分别为Ω2区域的红、绿、蓝分量的颜色直方图，丑知丑分别为Ω1和Ω2两区域的纹理直方图，λ为纹理匹配系数；k 为像素值，m为梯度方向值。
7.根据权利要求I所述的二维视频深度图的生成方法，其特征在于所述的步骤(3) 中，生成非关键帧图像的深度图后，对非关键帧图像的深度图进行人工修复；进而根据关键帧图像的深度图和非关键帧图像修复后的深度图合成整个二维视频的深度图。
8.根据权利要求7所述的二维视频深度图的生成方法，其特征在于所述的人工修复是指对于非关键帧图像的深度图中不符合物体前后对应关系的区域，重新对该区域的深度值进行人工赋值，从而获得非关键帧图像修复后的深度图。
全文摘要
本发明公开了一种二维视频深度图的生成方法，包括(1)获取二维视频，标记关键帧和非关键帧；(2)分割图像，对关键帧进行人工深度赋值；(3)根据关键帧的深度信息计算出非关键帧的深度信息；(4)对非关键帧深度图进行修复，合成整个视频的深度图。本发明仅对关键帧图像进行人工深度赋值，其余图像采用基于区域分割的深度图推理算法，大大降低了整个视频深度图制作的人工成本，提高了相应的速率和效率，得到的深度图符合真实的深度信息，有效保证了视频深度图的质量和效果，整个方法能够在普通PC机或工作站等硬件系统上实现。
文档编号H04N13/02GK102609950SQ20121006714
公开日2012年7月25日 申请日期2012年3月14日 优先权日2012年3月14日
发明者冯杰, 蔡霞, 顾小卫, 马汉杰, 黄炯 申请人:浙江理工大学