专利名称：图像处理方法以及装置的制作方法
技术领域：
本发明涉及从2维图像生成用于立体显示的视差图像的图像处理方法以及装置。
背景技术：
已知有通过进行显示以便用左眼、右眼来视觉观察每一个有视差的图像，从而识别立体图像的立体显示技术。根据三角测量的要领，如果用右眼看用左眼看时的像，则位置会偏离若干。通过三角测量的要领掌握该偏差，从而判定该物体是在跟前还是在深处。艮口， 为了实现立体显示，需要在图像间有两眼视差的3维图像。近年来，正在开发对于一般的电视广播那样原本不包含3维信息的2维图像也生成能够进行3维显示那样的影像的技术。在从2维图像生成3维图像时，表示从左眼看物体时和从右眼看物体时偏差多少的视差成为非常重要的因素。因为用一台照相机拍摄被拍摄体时进深的信息损失，所以如何求出进深就成为从2维图像向3维图像变换的问题。例如， 专利文献1提供了如下所述的方法检测从2维运动图像的基准帧向其它帧的运动向量， 根据运动向量的水平分量决定帧延迟量，根据运动向量的垂直分量决定线延迟量，从帧和/ 或线延迟量生成与基准帧对应的视差图像，并根据运动立体原理对其进行立体观察。但在该方法中，虽然能够修正画面整体的上下运动而生成正确的视差图像，但当在画面内包含有局部运动的物体的情况下，物体晃动而不能生成正确的视差图像。另外，在专利文献2中提供了如下的方法检测运动向量和背景区域，从背景区域的运动向量计算背景向量，通过从全部运动向量中减去背景向量而计算出相对向量，并以相对向量越大越配置在跟前的方式生成视差图像。但是，在这种方法中，根据背景区域的检测结果，有时变成存在于深处的物体被配置在跟前那样的异样感的视差图像。专利文献1 日本特开平7464631号公报专利文献2 日本特开2000-261828号公报
发明内容
本发明的目的在于在输入了 2维运动图像时，生成能够立体观察的1张以上的视差图像。另外，其目的还在于在用立体眼镜立体观察2维运动图像那样用途的情况下生成左右2张视差图像。本发明的一方式提供一种从2维运动图像生成用于3维显示的视差图像的图像处理方法，该图像处理方法具有根据2维运动图像的任意时刻的第1图像、和与上述第1图像不同时刻的第2图像，针对上述第1图像的每个块检测与第2图像之间的运动向量的步骤；从上述运动向量中检测进深为深处侧的部分的最深向量的步骤；求各运动向量与上述最深向量的差分向量，越是与上述差分向量大的上述运动向量对应的上述第1图像的块， 越分配跟前侧的进深的步骤；根据上述第1图像和上述进深生成1张以上的视差图像的步马聚ο
图1是本发明的第1种实施方式的、从2维图像生成用于立体显示的视差图像的图像处理装置的框图。图2是表示本发明的第1实施方式的图像处理方法的流程图。图3是用于说明运动立体的原理的图。图4是用于说明运动晃动的情况的图。图5是用于说明从视差向量向进深的变换模式的图。图6是用于说明图像的物体冲突的图。图7是表示最深向量检测方法的流程图。图8是用于说明进深变换模式的图。图9是用于说明视差图像生成的图。符号说明21 帧存储器22:运动向量检测器23 分组(clustering)装置24:最深向量检测器25 进深计算器26:视差向量计算器27 视差图像生成器
具体实施例方式以下，详细说明本发明的实施方式。[第1实施方式]参照图1的框图说明第1实施方式的、从2维图像生成用于立体显示的视差图像的图像处理装置。根据图1所示的图像处理装置，帧存储器11以帧单位存储来自视频照相机、视频再现机等视频装置的输入运动图像。该帧存储器11与运动向量检测器21连接。运动向量检测器21通过块匹配等公知的方法从输入运动图像和存储在帧存储器11中的图像检测运动向量。运动向量检测器21的输出与分组装置23连接。分组装置23将图像(帧)分割成多个区域(组)。分组装置23的输出与最深向量检测器M连接，该最深向量检测器M 根据组检测最深的物体的向量，即最深向量。具体地说，根据组检测深处的物体和跟前的物体的重合，将重叠最多的组确定为最深，将该组的向量作为最深向量检测出来。最深向量检测器M的输出与进深计算器25连接，该进深计算器25从最深向量计算进深。具体地说， 从最深向量和最跟前的物体的向量、即最跟前向量计算直到最深物体的进深。进深计算器 25的输出与视差向量计算器沈连接，该视差计算器沈根据进深信息计算视差向量。视差向量计算器26的输出与视差图像生成器27连接。该视差图像生成器27通过以后说明的方法从视差向量制成用右眼看的影像和用左眼看的影像。在参照图2的流程图说明图1的图像处理装置的作用之前，说明从2维图像变换到3维图像的机理。
从2维图像生成3维图像的根据是利用图3所示那样的运动立体的原理。即如果考虑1台照相机一边从左向右移动一边拍摄的状况，则可以考虑tl时刻的影像酷似能够用左眼看到的图像，t2时刻的影像酷似能够用右眼看到的图像。通过用右眼以及左眼看这样的移动照相机的影像，立体观察成为可能。像这样地将来自移动照相机的运动图像分别作为左视差图像以及右视差图像利用的技术就是运动立体。但如图4所示，如果在画面内有和照相机的运动独立地运动着的物体，则不同时刻的影像进入到右眼和左眼，手和脚晃动而不能正确地立体观察物体。因此，在本实施方式中，求从输入的运动图像的基准帧向其它时刻的帧的运动向量，将运动向量看做视差向量并从视差向量计算进深图，从计算出的进深图再次计算视差向量，根据视差向量从基准帧生成2张视差图像(但并不限于2张)。通过这样做，因为能够从1张(1时刻)基准帧生成同时刻的视差图像，所以能够解决前面所述的手脚晃动的问题。已知在将运动向量的水平分量作为视差向量时，从视差向量向进深的变换是根据人的左右眼和向对象物体的几何学关系而按照图5的模式进行的。因为左右眼配置在水平方向上，所以视差基本上在左右水平地发生。根据该模式能够从运动再现自然的进深。但是因为只能利用运动的水平分量，所以限于具有水平方向的运动的影像。在本实施方式不是检测背景向量，而是采用从运动图像的运动跟踪进深的方法。 即，检测应该配置在最深的区域的运动向量(最深向量)，将与最深向量的差分向量越大的物体越配置在跟前。最深向量从运动向量的重叠关系检测出来。由此，就能够根据运动向量的差，将物体从最深的区域依次配置到跟前。以下，参照图2的流程图说明图1的图像处理装置的作用。设在输入2维运动图像的时刻t帧的位置X，y的像素值是lt(x，y)，时刻t_l帧的位置X，y的像素值是Ih (X，y)，时刻t+Ι帧的位置x, y的像素值是lt+1 (χ, y)。〈运动向量检测步骤Sll>在运动向量检测步骤Sl 1中，运动向量检测器22检测从t帧到t-Ι帧的运动向量。 在运动向量的检测中可以使用各种方法，但在此讲述使用了块匹配的方法。但是并不限于此。块匹配是将t帧分割为矩形块的部分，从t-Ι帧上检索与每个块对应的块的方法。设块的大小为M1, M2，块的位置为i，j。作为用于求运动的误差函数，能够使用平均绝对值差分(Mean Absolute Difference :MAD)等。[数学式1]
权利要求
1.一种图像处理方法，从2维运动图像生成用于3维显示的视差图像，具有根据2维运动图像的任意时刻的第1图像、和与上述第1图像不同时刻的第2图像，针对上述第1图像的每个块检测与第2图像之间的运动向量的步骤；从上述运动向量中检测对应该将进深设为最深侧的块求出的最深向量的步骤； 求各运动向量与上述最深向量的差分向量，越是与上述差分向量大的上述运动向量对应的上述第1图像的块，越分配跟前侧的进深的步骤； 以及根据上述第1图像和上述进深生成1张以上的视差图像的步骤。
2.根据权利要求1所述的图像处理方法，其特征在于 检测上述最深向量的步骤包括将上述运动向量分类为1个以上的组，并求上述组内的平均运动向量的步骤；以及将上述平均运动向量的某一个设定为上述最深向量的步骤。
3.根据权利要求2所述的图像处理方法，其特征在于上述最深向量检测步骤包括检测上述组间的运动向量的重合，将被覆盖最多的组内的平均运动向量设定为上述最深向量的步骤。
4.根据权利要求3所述的图像处理方法，其特征在于 上述差分向量的大小和上述进深的关系成反比例。
5.根据权利要求3所述的图像处理方法，其特征在于 上述差分向量的大小和上述进深的关系成比例。
6.一种图像处理装置，从2维运动图像生成用于3维显示的视差图像，包括运动向量检测器，根据2维运动图像的任意时刻的第1图像、和与上述第1图像不同时刻的第2图像，针对上述第1图像的每个块检测与第2图像之间的运动向量； 进深向量检测器，从上述运动向量中检测进深成为深侧的部分的最深向量； 视差向量计算器，求各运动向量与上述最深向量的差分向量，越是与上述差分向量大的上述运动向量对应的上述第1图像的块，越分配跟前侧的进深；以及视差图像生成器，根据上述第1图像和上述进深生成1张以上的视差图像。
全文摘要
一种从2维运动图像生成用于立体显示的视差图像的图像处理方法，具有根据2维运动图像的任意时刻的第1图像、和与第1图像不同时刻的第2图像，针对第1图像的每个块检测与第2图像之间的运动向量的步骤；从运动向量中检测进深成为最深侧的部分的最深向量的步骤；求各运动向量与最深向量的差分向量，越是与差分向量大的运动向量对应的第1图像的块，越分配跟前侧的进深的步骤；以及根据第1图像和上述进深生成1张以上的视差图像的步骤。
文档编号G06T7/20GK102326394SQ20098015719
公开日2012年1月18日 申请日期2009年9月8日 优先权日2009年9月8日
发明者三岛直, 三田雄志, 下山贤一, 井田孝 申请人:株式会社东芝