专利名称：平面图像序列的深度图序列生成方法及装置的制作方法
技术领域：
本发明属于多媒体图像处理技术领域，特别涉及一种平面图像序列转立体图像序列的深度图序列生成方法及装置。
背景技术：
在日常生活中，人们能够感受到立体视觉。这是因为人类的眼睛是双向并排，两眼瞳孔有着几厘米左右的间距，使得左眼和右眼看到的影像有着些许差异，这个差异被称作视差。通过影像在两眼间形成的视差，大脑就能够判断物体的远近并产生立体视觉。为了能在显示设备上重现这样的立体视觉，需要设法重现视差，让双眼接收到不同的影像。在这个基础上，立体显示设备正在逐渐推广。但是，一个阻碍立体显示设备推广的关键问题是立体视频的缺乏。如果只有立体显示终端而缺乏对应的立体视频片源，那么立体显示终端就很难得到推广普及，这会限制立体显示技术的发展，也会阻碍立体视频的拍摄制作，从而延缓立体显示取代传统平面显示的进程。解决立体视频片源缺乏问题有两个途径。第一个途径是直接采用立体摄像机拍摄视频。这种方法需要一套专业的立体视频拍摄设备和完整的生产流水线，成本高昂，这是很多企业难以承受的。此外，立体摄像机对校准有着严格的要求，对拍摄环境及摄像机的运动也有一定的限制，这些都在很大程度上限制了直接采用立体摄像机拍摄视频这种方式的普及。第二个途径是利用现有平面视频的丰富资源，然后在后期制作时将平面视频转换为立体视频。这种方法的成本比直接用立体摄像机拍摄低很多，而且可以将现有的任何一组平面视频转换为对应的立体视频。考虑到现有平面视频的大量资源，如能将其转换为立体视频，不仅可以获得更好的观赏体验，还可以推进以立体电视、立体影院为代表的立体显示技术的推广普及。平面视频转换为立体视频的关键在于怎样得到平面视频中物体的深度值。深度是物体距离观察者位置的直观描述，一般用8位二进制数表示，对应十进制数的范围是 0-255。其中，深度值越大表示物体越接近观察者，深度值为0则表示当前物体是背景。由于平面视频中深度信息的缺乏，直接计算深度图像难度很大。目前获取平面图像序列深度的一般方法是通过人机交互，利用图形分割算法，人工的给图像中的物体赋予深度值。然而，通过人工赋值的方法获得每一帧图像的深度，工作量较大，成本较高。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的一个目的在于提出一种平面图像序列的深度图序列生成方法，该方法可以大大降低深度图序列生成的工作量和成本，而且深度图序列的精度高，进而达到提高立体视频合成效果的目的。本发明的另一目的在于提出一种平面图像序列的深度图序列生成装置，该装置结构简单，成本低。为了实现上述目的，本发明第一方面实施例的平面图像序列的深度图序列生成方法，包括以下步骤:A 从所述平面图像序列中选择第一图像和第二图像；B 分别获得所述第一图像的第一深度图像和所述第二图像的第二深度图像；C 分别从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；D 根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；以及E 根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。根据本发明实施例的平面图像序列的深度图序列生成方法，只需通过图像分割算法或是深度相机采集等办法在少数关键帧上，如第一图像和第二图像上进行深度赋值，得到少量关键帧(第一图像和第二图像)的深度图像(第一深度图像和第二深度图像)，接着该方法将关键帧的深度值通过匹配点集逐一扩展给全部非关键帧(位于第一图像和第二图像之间的图像序列)，进而得到完整的深度图像序列。这样，不仅可以大大降低平面图像序列转立体视频序列的深度图序列生成的工作量和成本，而且通过该方法得到的深度图序列的精度高，进而提高立体视频的合成效果。另外，根据本发明的平面图像序列的深度图序列生成方法还可以具有如下附加的技术特征在本发明的一个实施例中，分别从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。根据本发明的一个实施例，所述步骤C进一步包括C1 在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列；C2 从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合；和C3 从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。根据本发明的一个实施例，所述步骤D进一步包括D1 获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合； D2:根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标；D3 根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量；D4 根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标；D5 判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点；和D6 重复执行步骤D2至D5直至确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点，以得到所述匹配点^^ ο在本发明的一个实施例中，所述步骤E进一步包括E1 根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值；E2 以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点；和E3 根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。根据本发明的一个实施例，根据所述第一深度图像和所述匹配点集得到第一深度图序列以及根据所述第二深度图像和所述匹配点集得到第二深度图序列。根据本发明的一个实施例，通过公式对所述第一深度图像序列和所述第二深度图
像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下
权利要求
1.一种平面图像序列的深度图序列生成方法，其特征在于，包括以下步骤 A 从所述平面图像序列中选择第一图像和第二图像；B 分别获得所述第一图像的第一深度图像和所述第二图像的第二深度图像； C:分别从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；D 根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；以及E 根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
2.根据权利要求1所述的深度图序列生成方法，其特征在于，分别从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。
3.根据权利要求2所述的深度图序列生成方法，其特征在于，所述步骤C进一步包括 Cl 在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列；C2:从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计， 以得到所述第一运动估计结果集合；和C3 从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计， 以得到所述第二运动估计结果集合。
4.根据权利要求2所述的深度图序列生成方法，其特征在于，所述步骤D进一步包括 Dl 获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合；D2 根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标；D3:根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量；D4:根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标；D5 判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点；和D6 重复执行步骤D2至D5直至确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点，以得到所述匹配点集。
5.根据权利要求1所述的深度图序列生成方法，其特征在于，所述步骤E进一步包括 El 根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值；E2:以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点；和E3 根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
6.根据权利要求5所述的深度图序列生成方法，其特征在于，根据所述第一深度图像和所述匹配点集得到第一深度图序列以及根据所述第二深度图像和所述匹配点集得到第二深度图序列。
7.根据权利要求6所述的深度图序列生成方法，其特征在于，通过公式对所述第一深度图像序列和所述第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下
8.根据权利要求4所述的深度图序列生成方法，其特征在于，所述步骤D5中如果判断所述第三坐标未处于所述第一坐标的预设邻域内，则通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下
9.根据权利要求1-8任一项所述的深度图序列生成方法，其特征在于，还包括对所述深度图序列的每一深度图进行运动补偿。
10.一种平面图像序列的深度图序列生成装置，其特征在于，包括选择模块，所述选择模块用于从所述平面图像序列中选择第一图像和第二图像；深度获取模块，所述深度获取模块用于获得所述第一图像的第一深度图像和所述第二图像的第二深度图像；运动估计模块，所述运动估计模块用于从所述第一图像开始并朝向所述第二图像的图像序列方向获取所述平面图像序列的第一运动估计结果集合，及从所述第二图像开始并朝向所述第一图像的图像序列方向获取所述平面图像序列的第二运动估计结果集合；匹配点获取模块，所述匹配点获取模块用于根据所述第一运动估计结果集合和所述第二运动估计结果集合确定位于所述第一图像和所述第二图像之间的图像序列的每一相邻两帧图像之间的匹配点集；和深度图生成模块，所述深度图生成模块用于根据所述第一深度图像或所述第二深度图像、以及所述匹配点集得到所述深度图序列。
11.根据权利要求10所述的深度图序列生成装置，其特征在于，所述深度获取模块用于从所述平面图像序列中选择第一时刻的第一图像和第二时刻的第二图像，其中，所述第一时刻早于所述第二时刻。
12.根据权利要求11所述的深度图序列生成装置，其特征在于，所述运动估计模块用于在所述平面图像序列中选择位于所述第一时刻和第二时刻之间的部分平面图像序列，接着从所述第一时刻的第一图像开始在所述部分平面图像序列中进行向前运动估计，以得到所述第一运动估计结果集合，然后从所述第二时刻的第二图像开始在所述部分平面图像序列中进行向后运动估计，以得到所述第二运动估计结果集合。
13.根据权利要求11所述的深度图序列生成装置，其特征在于，所述匹配点获取模块用于获得所述第一运动估计结果集合中的第一运动矢量集合，获取所述第二运动估计结果集合中的第二运动矢量集合，接着根据所述第一运动矢量集合中的第一运动矢量确定所述第一运动矢量对应的前一帧图像的像素点的第一坐标在当前帧图像上的匹配点的第二坐标，并根据所述第一运动矢量对应的相邻两帧图像在所述第二运动矢量集合中确定与所述相邻两帧图像对应的第二运动矢量，然后根据所述第二运动矢量确定所述匹配点的第二坐标在所述前一帧图像上的匹配点的第三坐标，判断所述第三坐标是否处于所述第一坐标的预设邻域内，如果判断所述第三坐标处于所述第一坐标的预设邻域内，则确定所述第二坐标对应的像素点与所述第一坐标对应的像素点形成匹配点。
14.根据权利要求10所述的深度图序列生成装置，其特征在于，所述深度图生成模块用于根据所述第一深度图像或所述第二深度图像确定所述第一图像上或所述第二图像上每一像素点的深度值，以所述第一图像或所述第二图像为起始图像，从所述匹配点集中选择当前图像与所述当前图像相邻的图像之间的匹配点，然后根据所述匹配点将所述当前图像上每一像素点的深度值赋给与所述当前图像相邻的图像上对应点的深度值，以得到所述深度图序列。
15.根据权利要求14所述的深度图序列生成装置，其特征在于，根据所述第一深度图像和所述匹配点集得到第一深度图序列以及根据所述第二深度图像和所述匹配点集得到第二深度图序列。
16.根据权利要求15所述的深度图序列生成方法，其特征在于，通过公式对所述第一深度图像序列和所述第二深度图像序列进行深度双向扩展，以得到所述深度图序列，其中，所述公式如下
17.根据权利要求13所述的深度图序列生成装置，其特征在于，所述匹配点获取模块还用于在判断所述第三坐标未处于所述第一坐标的预设邻域内时，通过基于运动矢量的双边滤波方式对相应图形上错误匹配点进行深度赋值，所述基于运动矢量的双边滤波公式如下
18.根据权利要求10-17任一项所述的深度图序列生成装置，其特征在于，还包括运动补偿模块，所述运动补偿模块用于对所述深度图生成模块所确定的深度图序列的每一深度图进行运动补偿。
全文摘要
本发明提出一种平面图像序列的深度图序列生成方法及装置，该方法包括以下步骤A选择第一图像和第二图像；B获得第一图像的第一深度图像和第二图像的第二深度图像；C获取平面图像序列的第一运动估计结果集合和第二运动估计结果集合；D根据第一运动估计结果集合和第二运动估计结果集合确定图像序列的每一相邻两帧图像之间的匹配点集；和E根据第一深度图像或第二深度图像、以及匹配点集得到深度图序列。根据本发明的深度图序列生成方法，可以大大降低深度图序列生成的工作量和成本，而且深度图序列的精度高，进而达到提高立体视频合成效果的目的。该装置结构简单，易于实现。
文档编号H04N13/00GK102223554SQ20111015436
公开日2011年10月19日 申请日期2011年6月9日 优先权日2011年6月9日
发明者戴琼海, 曹汛, 李振尧 申请人:清华大学