专利名称：一种图像深度图生成方法
一种图像深度图生成方法
技术领域：
本发明涉及计算机视觉立体视频领域，具体涉及一种图像深度图生成方法。
背景技术：
立体视频利用人的立体视觉机理，能给人提供如同身临其境般的三维立体观感，极大地丰富了人们的生活。近年来3D电影和3D电视飞速发展，技术水平不断提高，市场逐步扩大。平面转立体视频的研究具有巨大市场潜力，而且这项技术本身也将大力推动立体显示产业的发展。目前立体显示产业面临的最大问题就是片源、素材的问题。一方面片源、素材的数量比传统的平面媒体要少很多，立体视频面 临的一个重大问题就是片源稀缺，而现有的平面视频片源又十分庞大可以充分利用，另一方面制作新的立体显示素材成本过于昂贵，直接由3D摄像机拍摄操作复杂且成本高居不下。因此将部分平面视频转换为立体视频是一种经济有效的途径。研究方便快速的方法使原有的大量平面片源素材转换成可以立体显示的素材，可以大大推动立体显示技术的普及。对于基于深度图的平面视频转立体视频技术，获取视频所有帧的深度图是关键所在。一帧彩色图像的深度图可以由人工进行抠图并赋值得到，也可利用计算机根据一定的算法自动生成，前者生成的深度图质量较高但需要大量的时间和人力，而相对来说后者虽然更为快速但不能保证生成的深度图质量。一种半自动的转换技术结合了上述两种方式的优点，深度图的获取包括了人工绘制和计算机自动生成两种方式。即先由人工绘制视频中少数关键帧的精细深度图，然后利用计算机根据深度传播算法生成其他帧的深度图。深度传播技术在保证较好的深度图质量的同时，大大减少了了人工逐帧绘制深度图的转换时间和经济成本。深度传播实际上是一个深度插值的过程，即通过关键帧的精细深度信息去插值其余帧的深度图。深度传播算法需要保证生成的深度图有较好的质量，深度图序列要保持连续性，且误差要控制在一定范围内。由于深度信息是由关键帧向其余非关键帧传播，沿着传播方向误差的逐渐累积造成深度图质量下降是一个急需解决的问题。
发明内容为了克服现有技术的不足，本发明提供了一种图像深度图生成方法，以提高待插值的当前帧图像的深度图的精度。一种图像深度图生成方法，包括如下步骤I)对当前帧图像的当前块，在参考帧图像中相应的区域选取若干个参考块；2)计算当前块与每个参考块之间的深度块匹配误差和彩色块匹配误差，其中，深度块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的深度值差的绝对值之和；彩色块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的彩色像素值差的绝对值之和；3)对当前块与某个参考块，将相应的深度块匹配误差与彩色块匹配误差进行加权，得到综合匹配误差；4)选取综合匹配误差最小时对应的某个参考块，将该参考块的深度图作为当前块的深度图。优选地，所述步骤3)中，深度块匹配误差的加权系数与彩色块匹配误差的加权系数之和为I。优选地，深度块匹配误差的加权系数的取值为O. 90至O. 85，彩色块匹配误差的加权系数的取值为O. 10至O. 15。优选地，在对视频图像帧进行处理过程中，还包括如下步骤5)在当前帧图像的前后分别选取第一参考帧图像和第二参考帧图像，分别按照步骤I)至步骤4)，计算得到当前块的依据第一参考帧图像获得的第一深度图、以及依据第二参考帧图像获得的第二深度图；6)将第一深度图与第二深度图进行加权的结果作为当前块的最终深度图。优选地，通过如下步骤获取步骤2)中当前块的当前像素点的深度值
权利要求
1.一种图像深度图生成方法，其特征是，包括如下步骤 1)对当前帧图像的当前块，在参考帧图像中相应的区域选取若干个参考块； 2)计算当前块与每个参考块之间的深度块匹配误差和彩色块匹配误差，其中，深度块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的深度值差的绝对值之和；彩色块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的彩色像素值差的绝对值之和； 3)对当前块与某个参考块，将相应的深度块匹配误差与彩色块匹配误差进行加权，得到综合匹配误差； 4)选取综合匹配误差最小时对应的某个参考块，将该参考块的深度图作为当前块的深度图。
2.如权利要求I所述的图像深度图生成方法，其特征是所述步骤3)中，深度块匹配误差的加权系数与彩色块匹配误差的加权系数之和为I。
3.如权利要求2所述的图像深度图生成方法，其特征是深度块匹配误差的加权系数的取值为O. 90至O. 85，彩色块匹配误差的加权系数的取值为O. 10至O. 15。
4.如权利要求I所述的图像深度图生成方法，其特征是，在对视频帧图像进行处理过程中，还包括如下步骤 5)在当前帧图像的前后分别选取第一参考帧图像和第二参考帧图像，分别按照步骤I)至步骤4)，计算得到当前块的依据第一参考帧图像获得的第一深度图、以及依据第二参考帧图像获得的第二深度图； 6)将第一深度图与第二深度图进行加权的结果作为当前块的最终深度图。
5.如权利要求I所述的图像深度图生成方法，其特征是，通过如下步骤获取步骤2)中当前块的当前像素点的深度值 Σ /(V 7)Ai(Z)=-^v ~77—； Dn(i)是作为当前帧图像的第η帧图像的当前块的当前像素点i处的深度值，N(i)是作为参考帧图像的第k帧图像内的与当前像素点i相对应的像素点的邻域，Dk(j)为邻域N(i)中的像素点j处的深度值(i，j)为像素点j与当前像素点i之间的空间距离的权值，像素点j距当前像素点i越远，权值f (i，j)越小；wn，k(i, j)为像素点j和当前像素点i的彩色像素值差异的权值，像素点j和当前像素点i的彩色像素值差异越大，权值'k(i，j)越小。
6.如权利要求5所述的图像深度图生成方法，其特征是在对视频帧图像进行处理过程中，还包括如下步骤 5)在当前帧图像的前后分别选取第一参考帧图像和第二参考帧图像，分别按照步骤7)，计算得到当前像素点的依据第一参考帧图像获得的第一深度值、以及依据第二参考帧图像获得的第二深度值； 6)将第一深度值与第二深度值进行加权的结果作为当前像素点的深度值。
7.如权利要求5所述的图像深度图生成方法，其特征是
8.如权利要求5所述的图像深度图生成方法，其特征是
全文摘要
本发明公开了一种图像深度图生成方法，包括1)对当前帧图像的当前块，在参考帧图像中相应的区域选取若干个参考块；2)计算当前块与每个参考块之间的深度块匹配误差和彩色块匹配误差；彩色块匹配误差是指，当前块与参考块之间所有相对应的像素点之间的彩色像素值差的绝对值之和；3)对当前块与某个参考块，将相应的深度块匹配误差与彩色块匹配误差进行加权，得到综合匹配误差；4)选取综合匹配误差最小时对应的某个参考块，将该参考块的深度图作为当前块的深度图。本发明的有益效果是本发明提高了当前帧图像被插值得到的深度图的质量；并有效减小了单向深度插值传播造成的累计误差。
文档编号H04N13/02GK102881018SQ20121036578
公开日2013年1月16日 申请日期2012年9月27日 优先权日2012年9月27日
发明者王好谦, 田雨时, 张永兵, 戴琼海 申请人:清华大学深圳研究生院