专利名称：用于将二维图像信号转换为三维图像信号的装置及方法
技术领域：
本发明涉及一种用于转换图像信号的装置，并且更具体地，涉及一种将二维图像 信号转换为三维图像信号的装置及方法。
背景技术：
近来，由于三维(3D)立体图像引起了更多关注，各种各样的立体图像捕获装置及 显示装置正处于发展中。可以通过使用左右摄像机对捕获立体图像信号来获取用于显示立 体图像的立体图像信号。这种方法适于显示自然的立体图像，但需要使用两个摄像机来捕 获图像。此外，当对捕获到的左侧图像和右侧图像进行拍摄或编码时将会出现问题，需要解 决左侧图像和右侧图像的不同帧率。还可以通过将使用一个摄像机获取的二维图像信号转换为三维图像信号来获取 立体图像信号。根据该方法，获取的二维图像(原始图像)经过预置的信号处理过程生成 三维图像，即左侧图像和右侧图像。因此，在对通过使用左、右摄像机获取的立体图像信号 进行处理时该方法不会出现问题。然而，由于使用一个图像形成了两个图像，该方法不适于 显示自然且稳定的立体图像。因此，对于二维图像信号向三维图像信号的转换，使用转换后 的三维图像信号来显示更自然且稳定的立体图像是非常重要的一点。可以通过改进的时间差分(MTD)法将二维图像信号转换为三维图像信号。在MTD 方法中，可以使用选自多个先前帧的图像中的任意图像作为当前图像的一对帧，该当前图 像的一对帧即为二维图像信号。被选择作为当前图像的一对帧的先前图像也被称为延迟图 像。基于运动速度和方向来选择一帧图像作为延迟图像并确定该延迟图像是左侧图像还是 右侧图像。然而，该方法中，必须从先前帧中选择一帧作为延迟图像。因此，并未充分考虑 包含于一帧中的区域的各种特性，例如，远近感差异、运动方位和/或运动速度差异或亮度 及颜色差异。因此，该方法不适于显示自然且稳定的立体图像。
发明内容
(一)要解决的技术问题本发明提供一种用于将二维图像信号转换为三维图像信号的装置及方法，该装置 及方法能够显示自然且稳定的立体图像。( 二 )技术方案根据本发明的实施例的用于将二维图像信号转换为三维图像信号的方法包括获 取关于当前帧的运动信息，所述当前帧为二维输入图像信号；使用所述运动信息确定所述 当前帧的运动类型；以及，当所述当前帧不为水平运动帧时，将所述当前帧的深度图应用于 当前图像，以生成三维输出图像信号，其中，使用所述当前帧的水平边界生成所述深度图。根据当前实施例的一个方面，当所述当前帧为水平运动帧且为场景切换帧时，将 所述当前帧的深度图应用于当前图像，以生成三维输出图像信号。当所述当前帧为水平运 动帧且不为场景切换帧时，使用当前图像和延迟图像生成三维输出图像信号。
根据当前实施例的另一个方面，为应用所述深度图，检测所述当前帧的水平边界， 然后，每当在沿垂直方向相对于所述当前帧移动的过程中遇到所检测到的水平边界，循序 增加深度值，由此生成所述深度图。在这种情况下，在生成所述深度图之前，所述方法还可 以包括对所述深度值使用水平平均滤波器。根据本发明的另一实施例的用于将二维图像信号转换为三维图像信号的方法包 括获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；使用所述运动信息确 定所述当前帧的运动类型；以及，当所述当前帧为水平运动帧时，确定所述当前帧是否为场 景切换帧；并且，如果所述当前帧为水平运动帧且不为场景切换帧，使用当前图像和延迟图 像生成三维输出图像信号；并且，如果所述当前帧不为水平运动帧，或，所述前帧为水平运 动帧且为场景切换帧，将深度图应用于当前图像，以生成三维输出图像信号。根据本发明的另一实施例的用于将二维图像信号转换为三维图像信号的方法包 括检测当前帧的水平边界，所述当前帧为二维输入图像信号；通过在沿垂直方向相对于 所述当前帧移动的过程中遇到所述水平边界时增加深度值来生成深度图；以及，将所述深 度图应用于当前图像，以生成三维输出图像信号。根据本发明的实施例的用于将二维图像信号转换为三维图像信号的装置包括运 动信息计算单元，用于获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；运动 类型确定单元，用于使用所述运动信息确定所述当前帧的运动类型；以及，三维图像生成单 元，用于当所述当前帧不为水平运动帧时，将所述当前帧的深度图应用于当前图像，以生成 三维输出图像信号，其中，所述三维图像生成单元使用所述当前帧的水平边界生成所述深 度图。(三)有益效果根据本发明的用于将二维图像信号转换为三维图像信号的装置及方法适于显示 自然且稳定的立体图像。
图1为示出了根据本发明的实施例的将二维图像信号转换为三维图像信号的转 换过程的流程图；图2为示出了使用完全搜索时搜索点的位置方差的实施例的示意图；图3示出了用于解释如何确定应用于本发明的实施例的公式2中的与误差相关的 阈值的参考帧的图像；图4为示出了中值滤波器的应用过程的实例的示意图；图5为用于解释当飞机从左侧移动到右侧且作为背景的山固定时，基于罗斯 (Ross)效应将二维图像转换为三维图像的方法的示意图；图6为示出了摄像机固定且物体移动时，块单元中运动矢量的实施例的示意图；图7为示出了物体固定且摄像机移动时，块单元中运动矢量的实施例的示意图；图8为示出了如何使用延迟图像和当前图像确定左侧图像和右侧图像的一个实 例的示意图；图9为详细示出了图1中操作S50的操作过程的流程图；图10显示了用于解释与垂直位置相关的深度感的图像；
图11为示出了索贝尔(Sobel)掩码的示意图；图12显示了应用了图11中的索贝尔掩码的图像；图13为显示了将图11中的索贝尔掩码应用于图12中的图像所获得的结果的示 意图；图14为示出了使用检测到的边界形成深度图的操作的示意图；图15为通过图14中的操作形成的深度图的示意图；图16为示出了使用深度图的方差(Variance)应用方法和遮蔽(occlusion)区域 处理方法的示意图；图17为用于解释当运动类型发生方差时的处理过程的方框图；图18为显示了水平运动帧的运动矢量的示意图；图19为显示了使用延迟图像和当前图像生成立体图像的转换结果的示意图，该 转换结果通过将如上所述的本发明的实施例应用于图18中的运动矢量获得；图20为显示了非水平运动帧的深度图的示意图；图21显示了应用了图20中的深度图的、根据本发明的一个实施例的立体图；图22为示出了根据本发明的实施例的将二维图像信号转换为三维图像信号的装 置的结构框图。
具体实施例方式下文中，将结合附图详细描述本发明的实施例。本实施例仅用于解释本发明的技 术方案。因此，本发明的技术方案不应被解释为由当前实施例限定。当前实施例使用的元素 还可以使用不同的名称。如果具有不同名称的元素在结构和功能方面与当前实施例中使用 的相应的元素类似或相同，这些具有不同名称的元素也应该被视为等同于当前实施例使用 的相应的元素。类似地，当采用附图中所示出的当前实施例的改进的实施例时，如果该改进 的实施例在结构和功能方面与当前实施例类似或相同，则这两个实施例应该被视为相同。图1是示出了根据本发明的实施例的将二维QD)图像信号转换为三维(3D)图像 信号的转换过程的流程图。参照图1，首先，使用二维图像信号计算当前帧的运动信息(S10)。执行上述获取 运动信息的过程以获取能够用于确定当前帧的运动类型的材料。该过程包括用于通过运 动评估(ME)获取运动矢量(MV)的运动搜索过程，以及，用于所述获取的MV的后置(post) 过程。运动搜索可以通过多种方式实施所述通过ME获取MV的运动搜索。例如，所述运动搜索可 以为仅在参考帧的预置区域中执行的局部搜索，或，在所述参考帧的全部区域中执行的完 全搜索。由于搜索范围狭窄，局部搜索所需要的搜索时间较短。另一方面，完全搜索需要的 搜索时间较局部搜索长，但能够使运动搜索更精确。根据本发明的实施例的一方面，使用完 全搜索。尽管如此，本发明的实施例并不限于完全搜索。当使用完全搜索时，能够通过精确 的运动搜索准确地确定图像的运动类型，而且，最终能够改善显示图像的三维效果。图2是示出了在一个像素单元中使用完全搜索时，搜索点的位置方差的实施例的 示意图。参照图2，在参考帧中沿逆时针方向以(_1，_1)，(0,-1), (1,-1), (1,0), (1,1),(0，1)，(-1，1)，(-1,0)…的顺序循序改变搜索点的同时，检测所选择的参考块和当前块之 间的误差。此处，搜索点的坐标为当前块位置与参考块位置之间的差距，即位移(dx，dy)。 在运动搜索过程中，选择在位移方差的过程中具有最小误差的搜索点，并且将被选择的搜 索点的位移确定为当前块的MV(MVx，MVy)。可以使用公式1测量每一位移(dx，dy)的误差。公式1中，η和m分别表示块的 水平和垂直长度，F(i，j)和G(i，j)分别表示当前块和参考块在(i，j)处的像素值。公式1
n/2 milError(dx,dy) = Σ Σ \F(i, j) - G{dx + i,dy + j)\
i^-n/2 j=-nt/2l■MV的后置过稈尽管如此，当将具有最小误差的位移确定为MV时，所确定的MV也不总是可靠的。 这是因为较大的最小误差或相邻块的较大的MV差异可能表明ME不精确。因此，本实施例还 使用两个后置过程来增强MV的可靠性。尽管使用两个后置过程是可取的，但根据实施例， 可能只需要使用这些后置过程中的一个。用于增强MV的可靠性的第一后置过程包括将误差值大于预置阈值的MV从所有 通过运动搜索由运动信息中获取的MV中移除。该第一后置过程可以由公式2表示。公式 2中，error表示MV的误差值，Threshold value表示用于确定MV是否有价值的阈值。根 据公式2，当特定MV的误差值大于该阈值时，假设ME是不精确的，并且在随后的过程中，例 如，确定运动类型的操作可以仅使用具有与该阈值相等或小于该阈值的误差值的MV。公式2f (error > Threshold value)MV_x = 0，MV_y = 0用于确定关于误差的阈值的方法不限于此。例如，考虑到当前帧的多种运动类型 在存在场景切换的情况下，在存在大运动的情况下，以及在存在小运动的情况下。然后，在 考虑上述各种情况的平均误差值的情况下确定该阈值。当前实施例中，基于8X8块，将公 式2的阈值设为250。下面将详细描述该阈值的这种设置的原因。图3示出了参考帧的图像，用于解释如何确定应用于本实施例的公式2中的与误 差相关的阈值。图3中，上方的帧具有场景切换，中间的帧几乎不运动，下方的帧具有较大 的运动。参照图3，对于前一帧与下一帧之间不存在任何关系的图像来说，例如，具有场景切 换的图像，平均误差值为1848 ；对于前一帧与下一帧之间存在较大关联的图像来说，例如， 几乎没有运动的图像，平均误差值为比较小的53 ；对于前一帧与下一帧之间关联较小的图 像来说，例如，尽管具有较大运动，但不存在场景切换的图像，平均误差值为300。因此，本实 施例中，将存在场景切换的情况、存在大运动的情况以及存在小运动的情况下的平均误差 值考虑在内，将阈值设置为250。尽管如此，该阈值为示例性的。用于增强通过运动搜索获取的MV的可靠性的第二后置过程为修正错误的MV。一 般来说，除物体的边缘之外，运动是连续的。然而，当通过ME获取MV时，可能存在与相邻块 的MV大不相同的错误的MV。错误的MV可能相对于相邻块的MV不连续。当前实施例中，在确定运动类型的过程中修正这类错误的MV。修正方法可以使用， 例如，平均值或中间值。尽管如此，修正方法并不限于这些方法。对于使用平均值的修正方 法，将当前块和所述当前块的多个相邻块的MV的平均值设为所述当前块的MV。另一方面，
7对于使用中间值的修正方法，将由当前块和所述当前块的多个相邻块的MV中选出的一个 中间值设为所述当前块的MV。根据本实施例的一方面，可以通过，例如，中值滤波器(MedianFilter)，来实现上 述使用中间值的修正方法。可以对预置数目的相邻块的MV的水平方向分量和垂直方向分 量中的每一个应用中值滤波器。图4是示出了中值滤波器的应用过程的实例的示意图。参 照图4，当多个输入值3，6，4，8和9通过中值滤波器时，输出的是其中间值，S卩6。例如，假设五个相邻块的MV分别为(3,5), (6,2), (4，2), (8,4)和(9，3)。在这种 情况下，当前块的MV是0，2)。尽管如此，如果对这五个块的MV的水平方向分量和垂直方 向分量中的每一个应用中值滤波器，输出值应为(6，；3)。因此，当根据本发明实施例执行应 用中值滤波器的后置程序时，当前块的MV从(4, 变为(6，3)。如上所述，在该过程中，首先在预置尺寸的块单元中通过运动搜索获取MV，然后， 对所获取的MV执行预置的后置程序，由此增强MV的可靠性。参照图1，使用SlO中获取的MV，即已经经过后置程序(S20)处理过的MV确定当 前帧的运动类型。执行这一过程是为了确定当前帧是否为水平运动帧。可以使用多种方法 确定当前帧是否为水平运动帧。例如，可以通过参照当前帧的MV的方式识别水平运动来确 定当前帧是否为水平运动帧，即通过使用MV的水平方向分量的统计信息。当前实施例使用否定法确定当前帧是否为水平运动帧。根据否定法，根据预置标 准确定当前帧是否为其他类型帧，然后，如果当前帧不是其他类型帧，则确定当前帧为水平 运动帧。例如，根据本实施例的一个方面，首先确定当前帧是否为“静止帧”、“高速运动帧” 或“垂直运动帧”，如果当前帧并非上述任何一种类型的帧，则确定当前帧为水平运动帧。尽 管如此，上述否定法为示例性的。根据本发明的另一实施例，设置有用于确定水平运动帧的 预置标准(例如，MV的水平分量大于0，但位于使得当前帧不为高速运动帧的值域内，并且 MV的垂直分量为0，或位于一个非常小的值域内)，仅当该预置标准得到满足时，才确定当 前帧为水平运动帧。下面将详细描述确定当前帧是否为“静止帧”、“高速运动帧”或“垂直运动帧”的 实施例。<确定当前帧是否为静止帧>静止帧是指，与参考帧中的物体相比，其中物体不移动的图像。对于静止帧，摄像 机和物体二者都不运动，MV也具有零值或非常小的值。其也可以称作冻结帧。因此，当具有 MV水平分量(MVx)和MV垂直分量(MVy)为零或很小的MV的块与一帧之中所有块的比例 很高时，可以确定当前帧为静止帧。例如，当具有MV水平分量(MVx)和MV垂直分量(MVy) 的MV的块与所有块的比例为50%或更高时，可以确定当前帧为静止帧。尽管如此，所述确 定方法也是示例性的。如果当前帧为静止帧，将只使用当前帧的图像而不使用延迟图像来 生成立体图像，这将在下文中进行介绍。〈确定当前帧是否为高速运动帧〉高速运动帧是指，与参考帧中的物体相比，图像中的物体以非常快的速度移动。对 于高速运动帧，物体与摄像机相对高速运动，并且MV的值较大。因此，即使当前帧被确定为 高速运动帧，MV仍可以被使用。例如，参照具有大于预定值(使用MV的绝对值或水平分量 作为预定值)的MV的块占所有块的比例，可以确定当前帧是否为高速运动帧。用于确定当前帧是否为高速运动帧的MV的大小或上述比例的标准可以改变，并且可以使用不同样品 的统计数据来准确地确定。在高速运动帧中，物体每单位时间的移动距离很大。例如，当物体沿水平方向快速 移动，并且延迟图像作为当前帧的配对图像时，水平方差因高速而非常大，使得难于合成左 侧和右侧图像。因此，当前实施例中，对于高速运动图像，将当前帧而非延迟图像作为当前 帧的配对图像。<确定当前帧是否为垂直运动帧>垂直运动帧是指，与参考帧中的物体相比，图像中的物体沿垂直方向运动。对于垂 直运动帧，物体和摄像机具有沿垂直方向的相对运动，并且MV的垂直分量的值等于或大于 预定值。根据当前实施例，垂直运动帧还指，除垂直方向之外，图像中的物体还沿水平方向 运动，即沿对角线方向。一般来说，当左侧和右侧图像存在垂直方差时，难于合成左侧和 右侧图像。即使合成了左侧和右侧图像，也难以显示具有三维效果的自然的立体图像。此 外，可以使用MV，尤其是具有垂直分量(MVy)块的比例大于预定值的MV，来确定当前帧是否 为垂直运动帧。在当前实施例中，与高速运动帧相同的是，使用当前帧作为当前帧的配对图 像。如上所述，根据本实施例的一方面，首先确定当前帧是否为静止帧、高速运动帧或 垂直运动帧。若当前帧为选自静止帧、高速运动帧和垂直运动帧中的任意一种帧，执行操作 S50，以仅使用当前图像生成立体图像。另一方面，若当前帧并非选自上述静止帧、高速运动 帧和垂直运动帧中的任意一种帧，确定当前帧为垂直运动帧。在这种垂直运动图像的情况 下，使用先前图像作为当前帧的配对图像。执行操作S30来完成这一过程。参照图1，如果当前帧被确定为水平运动帧，则确定当前帧是否为场景切换帧 (S30)。场景切换帧是指，与作为参考帧的先前图像相比，该帧发生了场景切换。下面将详 细描述在已经确定当前帧为水平运动帧后，确定当前帧是否为场景切换帧的原因。如上所述，根据当前实施例，若当前帧为水平运动帧，使用延迟图像作为当前图像 的配对图像。尽管如此，如果在当前帧和作为延迟图像的前一帧之间存在场景切换，即使当 前帧被确定为水平运动图像，也不能使用该延迟图像。这是因为，如果在发生场景切换的情 况下使用延迟图像，在显示立体图像时，不同的场景图像可能会重叠。因此，如果当前帧被 确定为水平运动帧，需要对场景切换进行检测。可以通过多种方法对场景切换进行检测。例如，可以通过比较当前帧和参考帧的 统计特征或使用当前帧与参考帧的像素值差异来检测是否发生了场景切换。尽管如此，在 本实施例中，场景切换的检测方法不限于此。下文中，作为可以应用于本实施例的场景切换 检测方法的一个实施例，将描述一种使用亮度直方图的方法。这种使用亮度直方图的方法 很有效，因为其可以简单地实施，并且计算量很小。此外，即使在运动场景的情况下，帧的亮 度等级也不会发生较大的改变。因此，该方法不会受到物体或摄像机运动的影响。使用亮度直方图的方法的理论基础在于，当发生场景切换时，将会出现较大的亮 度改变。即当场景未发生切换时，各帧的颜色分布和亮度分布将会彼此相似。而场景发生 切换时，各帧将具有不同的颜色分布和亮度分布。因此，如公式3所示，根据该使用亮度直 方图的方法，当连续帧的亮度直方图的差异大于预置阈值时，确定当前帧为场景切换帧。公式3
权利要求
1.一种用于将二维图像信号转换为三维图像信号的方法，所述方法包括 获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；使用所述运动信息确定所述当前帧的运动类型；以及，当所述当前帧不为水平运动帧时，将所述当前帧的深度图应用于当前图像，以生成三 维输出图像信号，其中，使用所述当前帧的水平边界生成所述深度图。
2.如权利要求1所述的方法，其中，当所述当前帧为水平运动帧且为场景切换帧时，将 所述当前帧的深度图应用于所述当前图像，以生成三维输出图像信号。
3.如权利要求1所述的方法，其中，当所述当前帧为水平运动帧且不为场景切换帧时， 使用所述当前图像和延迟图像生成三维输出图像信号。
4.如权利要求1所述的方法，其中，为应用所述深度图，检测所述当前帧的水平边界，然后，每当在沿垂直方向相对于所述当前帧移动的过程 中遇到所检测到的水平边界时，循序增加深度值，由此生成所述深度图。
5.如权利要求4所述的方法，在生成所述深度图之前，还包括 对所述深度值应用水平平均滤波器。
6.一种用于将二维图像信号转换为三维图像信号的方法，所述方法包括 获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；使用所述运动信息确定所述当前帧的运动类型；以及， 当所述当前帧为水平运动帧时，确定所述当前帧是否为场景切换帧；并且， 如果所述当前帧为水平运动帧且不为场景切换帧，使用当前图像和延迟图像生成三维 输出图像信号；并且，如果所述当前帧不为水平运动帧，或，所述当前帧为水平运动帧且为场景切换帧，将深 度图应用于当前图像，以生成三维输出图像信号。
7.如权利要求6所述的方法，其中，使用所述当前帧的水平边界生成所述深度图。
8.如权利要求6所述的方法，其中，为应用所述深度图，检测所述当前帧的水平边界，然后，每当在沿垂直方向相对于所述当前帧移动的过程 中遇到所检测到的水平边界时，循序增加深度值，由此生成所述深度图。
9.如权利要求6所述的方法，其中，所述获取运动信息包括 在预定大小的块单元中，使用参考帧获取所述当前帧的运动矢量；测量所述当前帧和所述参考帧之间与所述运动矢量相关的误差，以便选择具有等于或 小于预定阈值的误差的运动矢量；以及，对所选择的运动矢量的垂直方向分量和水平方向分量中的每一个应用中值滤波器。
10.如权利要求6所述的方法，其中，当所述当前帧不为选自静止帧、高速运动帧和垂 直运动帧中的任意一种帧时，确定所述当前帧为水平运动帧。
11.一种用于将二维图像信号转换为三维图像信号的方法，所述方法包括 检测当前帧中的水平边界，所述当前帧为二维输入图像信号；通过在沿垂直方向相对于所述当前帧移动的过程中遇到所述水平边界时增加深度值， 来生成深度图；以及，将所述深度图应用于当前图像，以生成三维输出图像信号。
12.如权利要求11所述的方法，还包括对所检测到的水平边界应用水平平均滤波器。
13.如权利要求11所述的方法，其中，所述生成三维输出图像信号包括划分所述深度 图的方差，并且将所划分的方差应用于所述当前图像，以生成左侧图像和右侧图像。
14.如权利要求13所述的方法，其中，使用小于其他方差的方差对当沿水平方向设置 的连续像素的方差彼此不同时形成于所述左侧图像或右侧图像中的遮蔽区域进行内插。
15.一种用于将二维图像信号转换为三维图像信号的装置，所述装置包括运动信息计算单元，用于获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；运动类型确定单元，用于使用所述运动信息确定所述当前帧的运动类型；以及， 三维图像生成单元，用于当所述当前帧不为水平运动帧时，将所述当前帧的深度图应 用于当前图像，以生成三维输出图像信号；其中，所述三维图像生成单元使用所述当前帧的水平边界生成所述深度图。
全文摘要
公开了一种用于将二维图像信号转换为三维立体图像信号并输出转换后的三维立体图像信号的装置及方法。根据本发明的实施例的转换图像信号的方法，首先获取关于当前帧的运动信息，所述当前帧为二维输入图像信号；然后，使用所述运动信息确定所述当前帧的运动类型。作为确定结果，如果所述当前帧的运动类型为水平运动帧，确定所述当前帧是否为场景切换帧。如果所述当前帧为水平运动帧，且不为场景切换帧，使用当前图像和延迟图像生成三维输出图像信号。如果所述当前帧不为水平运动帧，或，如果所述当前帧为水平运动帧，且为场景切换帧，将深度图应用于当前图像，生成三维输出图像信号。在这种情况下，使用水平边界和根据垂直位置的深度感差异获取所述深度图，以实现立体图像。
文档编号H04N13/00GK102124745SQ200880130733
公开日2011年7月13日 申请日期2008年8月26日 优先权日2008年8月26日
发明者丁泰燮, 刘智相, 千胜文, 吴镕协, 尹正焕, 朴世恒, 白允基, 金钟大 申请人:光云大学校, 升级芯片技术公司