专利名称：图像处理装置和图像处理方法
技术领域：
本文所述实施例一般涉及图像处理装置和图像处理方法。
背景技术：
传统上，为了三维地显示二维图像，存在将关于深度的信息加入二维图像中的技术。按照传统技术之一，例如，根据二维图像的上部和下部中的高频分量的分布来计算与预先准备的深度模型的合成比，并且从计算结果中获取整个图像的大致深度。此外，还提出了通过将二维图像中的红色信号(R信号)叠加到大致深度上来校正深度。
发明内容
本发明实施例的目的是提供能够从二维图像中创建更精确深度结构的图像处理装置、图像处理方法和计算机程序产品。一般地说，按照一个实施例，一种图像处理装置创建表示图像中的像素的深度的分布的深度图。所述装置包括区域检测单元，配置成检测包括在图像中的垂直物体的区域；基础深度加入单元，配置成将基础深度加入图像中，所述基础深度是图像中的像素的深度的基本分布；以及深度图创建单元，配置成根据加入图像中的基础深度，获取垂直物体的地面接触位置附近区的至少一个深度，并且通过将获取的深度设置到所述基础深度上作为所述垂直物体的区域的深度来创建所述深度图。按照另一个实施例，一种图像处理方法创建表示图像中的像素的深度的分布的深度图。所述方法包含检测包括在图像中的垂直物体的区域；将基础深度加入图像中，所述基础深度是图像中的像素的深度的基本分布；根据加入图像中的基础深度，获取垂直物体的地面接触位置附近区的至少一个深度；以及通过将获取的深度设置到所述基础深度上作为所述垂直物体的区域的深度来创建所述深度图。按照上述的图像处理装置和方法，可以从二维图像中创建更精确的深度结构。
图1是按照第一实施例的图像处理装置的示意性配置图；图2是按照第一实施例的输入图像的例子的示意图；图3是按照第一实施例的基础深度的例子的示意图；图4是按照第一实施例创建的深度图的例子的示意图；图5是概括按照第一实施例的图像处理方法的流程的流程图；图6是按照第二实施例的图像处理装置的示意性配置图；图7是按照第二实施例在其上设置虚线的输入图像的例子的示意图；图8是按照第二实施例创建的基础深度的例子的示意图；图9是按照第二实施例创建的深度图的例子的示意图；以及图10是概括按照第二实施例的图像处理方法的流程的流程图。
具体实施例方式下文参考附图描述本发明的各种实施例。第一实施例首先，下面参考附图详细描述按照第一实施例的图像处理装置、图像处理方法和计算机程序产品。下面所作的说明假设如下项目(1) G)。然而，本公开不受这些项目的限制。(1)假设图像的左上角是原点，横向(水平方向)是χ轴，纵向(垂直方向)是y 轴。然而，设置在图像上的坐标系不限于此。将图像中的坐标(x，y)上的像素值表达成Ρ(χ， y)。指示像素的亮度或色彩分量的像素值P是可接受的。例如，亮度、光度和特定色彩通道可应用于这样的像素值P。(2)深度图是表示图像中的每个像素的深度的数据。深度图具有在图的左上角的原点、横向(水平方向)上的X轴、以及纵向(垂直方向)上的y轴。然而，关于深度图设置的坐标系不限于此。将深度图上的坐标(X，Y)上的像素值表达成Z(X，Y)。像素值Z是指示每个像素的深度的信息(深度信息)。例如，像素值Z越大，像素的深度越大。(3)图像上的坐标与深度图上的坐标一一对应。按照本公开，除非另有具体描述， 图像的尺寸等于深度图的尺寸。此外，图像上的坐标(x，y)和深度图上的坐标(X，Y)相互对应。换句话说，χ = X，和y = Y成立。(4)除非在本公开中另有具体描述，将图像上的像素值P描述成“像素值”，值的范围是
(在0与255之间)。而且，将深度图上的像素值Z描述成“深度值”，值的范围是W，255](在0与255之间)。接着，下面参考附图详细说明按照第一实施例的图像处理装置1。图1是按照第一实施例的图像处理装置1的示意性配置图。如图1所示，图像处理装置1包括图像输入单元11、区域检测单元12、基础深度加入单元13、和深度图创建单元14。图像输入单元11接收要处理的二维图像(下文称为“输入图像”)。输入图像可以是静止图像或运动图像。图2描绘了输入图像的例子，如图2所示，输入图像100包括大致划分的显示天空的天空区101和显示地面的地面区102。输入图像100还包括作为显示垂直物体的区域的垂直物体区103a和10北。地面区102是在输入图像100的空间的下侧要成为基础的平面区，例如，像地面或水面那样的水平面，或像斜面那样的近水平面。地面区102可以包括垂直物体中的水平面，诸如建筑物的屋顶。天空区101是与地面区不同的部分的区域，例如，天空、篱笆或天花板。垂直物体包括与地面区102成直角或近直角地存在的整个物体或物体的垂直面。垂直物体区是显示输入图像100上的垂直物体的区域。按照显示在图2中的例子，垂直物体区103a是显示房屋的区域，以及垂直物体区10 是显示树木的区域。除非在物体区103a与10 之间另有特别区分，在如下说明中用标号103来表示它们中的每一个。返回到图1，下面继续说明。可以将任何设备或任何介质应用于输入图像100的输入源。例如，图像输入单元11最好从诸如硬盘驱动器(HDD)、数字多功能盘只读存储器 (DVD-ROM)或闪速存储器的记录介质接收图像数据输入。图像输入单元11最好从诸如录像机、数字照相机或数字摄像机的经由网络连接的外部设备接收图像数据输入。而且，图像输入单元11可以是经由无线或有线通信接收电视广播的接收机。而且，输入图像的格式未必是二维图像。例如，可以是诸如并排格式或逐行格式的立体图像，或多视点格式的图像。在这样的情况下，将视点之一的图像看作要处理的图像。区域检测单元12检测包括在输入图像100中的垂直物体区103。公知的方法可被用于检测垂直物体区103。在现有检测方法当中，存在例如通过将分类器用于垂直物体检测，从输入图像100中分类垂直物体区103的方法。然而，不局限于此，各种检测方法都可应用。区域检测单元12可以检测从垂直物体区103中分割出来的分割垂直物体区。例如， 可以想到以物体为单位来分割垂直物体区103的方法。基础深度加入单元13将基础深度加入输入图像100中。基础深度是例如具有深度的三维空间结构的数据。包括在基础深度中的深度信息通过例如数值(像素值或深度值) 来表达。当创建关于输入图像100的深度图时，可以将这样的基础深度用作深度的基本数据。在图3中示出了基础深度的一个例子。如图3所示，基础深度151由在通过χ轴、 y轴和ζ轴给出的三维空间中形成的平面或曲面的一个或多个组合组成。显示在图3中的基础深度151具有弯曲形式，使得该区域越接近y坐标的上限(25 ，该区域越靠前，而该区域越接近y坐标的原点0，该区域处在越远的位置。这种形式的基础深度151适用于地面在图像的下部延伸，而天空、建筑物等在上部的图像。返回到图1，下面继续说明。基础深度151可以预先准备，例如，在存储单元15中。 存储单元15可以将多个基础深度存储在其中作为模板。基础深度加入单元13通过例如分析输入图像100来指定适合输入图像100的基础深度的模板，并且从存储单元15中获取该模板。适合输入图像100的基础深度的指定可以例如基于从输入图像100中指定或估计的空间结构来进行。按照该指定方法，例如，从输入图像100上的地面或地板的区域(按照本例的地面区102)，或天空或天花板的区域(按照本例的天空区101)中指定或估计输入图像 100的空间结构。然后，从存储单元15中指定适合该空间结构的基础深度151。然而，不局限于这种指定方法，基础深度可以使用各种方法获得。而且，基础深度加入单元13可以使用从输入图像100中估计的基础深度，而不是预先准备的基础深度151。深度图创建单元14根据加入输入图像100中的基础深度151，计算关于从输入图像100中检测的每个垂直物体区103的地面接触位置附近区103c的深度的信息。这里，地面接触位置附近区103c可以是例如每个垂直物体区103的底边或最低边缘，或所述边缘周围的几个像素(例如，三个像素)的区域。然而，不局限于这些。可以在形状方面作各种修改，例如，地面接触位置附近区103c可以是包括每个垂直物体区103的底边或最低边缘的一个区域，其中该区域在横向上相对于图像的尺寸和该区域在纵向上相对于图像的尺寸都是输入图像100的尺寸的5%或更小。在如下说明中，关于针对每个垂直物体区103的地面接触位置附近区103c计算的深度的信息被称为例如垂直物体深度值。这里，如上所述，通过将输入图像100中的像素的坐标(X，y)与基础深度151中的像素的坐标(X，Y)相关联， 可以容易地指定包括在地面接触位置附近区103c中的像素的深度值Z(X，Y)。结果，能够容易地根据指定深度值Z (X，Y)来计算每个地面接触位置附近区103c的垂直物体深度值。 垂直物体深度值的计算方法的例子将在后面提到。深度图创建单元14通过使用计算的垂直物体深度值，将关于每个垂直物体区103的深度的信息设置到深度图上。关于垂直物体区103的深度的信息可以容易地从例如垂直物体深度值中创建。例如，深度图创建单元14可以直接将针对每个地面接触位置附近区 103c计算的垂直物体深度值设置到深度图上作为关于每个垂直物体区103的深度的信息 (深度值Z)。图4描绘了按照第一实施例创建的深度图的例子。如图4所示，深度图110具有关于天空区101和地面区102的每一个的深度的信息(深度值ζ)被设置成基础深度151的深度值Z的结构。在深度图110上，关于垂直物体区103a和10 的每一个的深度的信息(深度值Z)被设置成根据每个地面接触位置附近区103c从基础深度151中指定的垂直物体深度值。各种方法都可应用于垂直物体深度值的计算方法。下面描述其中的一些。然而， 不局限于如下例子。(1)将垂直物体深度值设置成与垂直物体区103中的像素相对应的基础深度151 中的像素的深度值Z的方法；(2)将垂直物体深度值设置成与垂直物体区103中的像素相对应的基础深度151 中的像素的深度值Z的平均值的方法；(3)将垂直物体深度值设置成与垂直物体区103中的像素相对应的基础深度151 中的像素的深度值Z的最大值的方法；(4)将垂直物体深度值设置成与垂直物体区103中的像素相对应的基础深度151 中的像素的深度值Z的最小值的方法；以及(5)将垂直物体深度值设置成与垂直物体区103中的像素相对应的基础深度151 中的像素的深度值Z的最大值和最小值之间的范围的中值的方法。各种方法可以用于将垂直物体深度值设置到深度图110上作为垂直物体区103的深度值Z的设置方法。下面描述其中的一些。然而，不局限于如下例子。(1)将垂直物体深度值设置为垂直物体区103中的每个纵向像素行的深度值Z的方法；(2)将垂直物体深度值设置为每个垂直物体区103的深度值Z的方法；以及(3)将垂直物体深度值设置为输入图像100中的所有垂直物体区103的深度值Z 的方法。按照作为例子描述在(3)中的设置方法，适于获得关于输入图像100中的任何一个垂直物体区103的地面接触位置附近区103c的垂直物体深度值。然而，不局限于此，可以将针对多个或所有垂直物体区103的地面接触位置附近区103c计算的各个垂直物体深度值的平均值、最大值、最小值或中值设置为所有垂直物体区103的深度值Z。当区域检测单元12检测从垂直物体区103分割出来的分割垂直物体区时，深度图创建单元14可以对每个分割区赋予深度。然后，下面参考附图详细说明按照第一实施例的图像处理装置1执行的图像处理方法的流程。图5是概括按照第一实施例的图像处理方法的流程的流程图。如图5所示，按照该操作，首先，图像输入单元11接收输入图像100的输入(步骤 S101)o图像输入单元11将输入图像100输入区域检测单元12中。区域检测单元12通过分析输入图像100来检测包括在输入图像100中的垂直物体区103 (步骤S102)。检测的垂直物体区103被输入深度图创建单元14中。区域检测单元12将输入图像100输入基础深度加入单元13中。当基础深度加入单元13配置成根据输入图像100中的天空区101和地面区102来指定要加入的基础深度151时，区域检测单元12可以在步骤S102中检测输入图像100中的天空区101和地面区102。将检测的天空区101和地面区102例如与输入图像100 —起输入基础深度加入单元13中。然而，不局限于此，也可以配置成加入为输入图像100预定的基础深度151。然后，基础深度加入单元13从存储单元15中指定要加入输入图像100中的基础深度151 (步骤S103)。指定时，基础深度加入单元13可以根据从输入图像100中检测的天空区101和地面区102来指定要加入的基础深度151。随后，基础深度加入单元13将指定的基础深度151加入输入图像100中(步骤S104)。被给予基础深度151的输入图像100 被输入深度图创建单元14中。深度图创建单元14首先根据从区域检测单元12输入的垂直物体区103和从基础深度加入单元13输入的带有基础深度151的输入图像100，指定每个垂直物体区103的地面接触位置附近区103c (步骤S105)；然后，按照上述计算方法来计算地面接触位置附近区 103c的垂直物体深度值(步骤S106)。然后，深度图创建单元14将计算的垂直物体深度值设置到深度图110上作为关于垂直物体区103的深度的信息(深度值Z)，从而创建深度图 110(步骤S107)；然后终止该处理。因此，创建了如图4所示的深度图110。将垂直物体深度值设置到深度图110上作为垂直物体区103的深度值Z的设置方法可以是上述的方法或其它方法。通过以如上所述的方式配置和操作，按照第一实施例，因为根据垂直物体在基础深度上的位置来设置垂直物体的深度，能够设置对垂直物体更精确的深度。结果，可以从二维图像中创建具有更精确深度的结构(深度图)。例如，当使用图像中的红色信号(R信号)来校正基础深度时，人的头部一般具有小的R信号，而皮肤具有大的R信号。由于这个原因，在通过使用R信号的校正获得的深度图上，认为应该彼此接近的人的头部的深度和脸的深度在一些情况下有时会彼此差别很大。换句话说，有时存在头部处在后面，而脸部处在前面的问题。相反，按照第一实施例，假设整个人是一个垂直物体，可以从垂直物体的地面接触位置中计算基础深度上的深度，并且可以将它设置为人的深度，因此，可以获得更精确的深度结构。第二实施例然后，下面参考附图详细描述按照本发明第二实施例的图像处理装置、图像处理方法和计算机程序产品。在如下描述中。将相同标号指定给与第一实施例相似的配置，并且省略对它们的重复说明。图6是按照第二实施例的图像处理装置2的示意性配置图。通过比较图6和图1 可明显看出，图像处理装置2(图6)包括与图像处理装置1 (图1)相似的配置。然而，图像处理装置1中的区域检测单元12被图像处理装置2中的区域检测单元22取代。此外，图像处理装置2进一步包括虚线设置单元25和基础深度创建单元26。区域检测单元22包括从输入图像100中检测垂直物体区103的垂直物体区检测单元223、检测地面区102的地面区检测单元222、和检测天空区101的天空区检测单元 221。垂直物体区检测单元223等效于例如按照第一实施例的区域检测单元12。如上所述，按照第一实施例的区域检测单元12可以与按照第二实施例的区域检测单元22类似地检测天空区101和地面区102。为了检测垂直物体、天空、和地面的每个区域，可以使用公知的方法。在已知的检测方法当中，例如，存在对每个区域使用分类器的方法。此外，可以想到在垂直物体、天空、和地面这三种类型的区域当中对两种类型的区域进行检测，然后将剩余的区域确定为剩下那种类型的区域的另一种方法。在这样的情况下，当将区域分类成四种或更多种类型时，剩下一种类型，而检测其它类型。虚线设置单元25设置用于获得基础深度的虚线。具体地，虚线设置单元25设置作为获得基础深度时要使用的虚拟地位于地面和天空之间的线的虚线。图7描绘了在其上设置了虚线的输入图像的例子。如图7所示，虚线204可以是设置地面的最远位置的线，并且无需是严格意义上的地平线。例如，按照显示在图7中的例子，虚线204不与天空区101 和地面区102之间的线一致。然而，只要虚线204的深度比输入图像100中的虚线204以下的下部区要深，该深度就是可接受的。这包括虚线204的深度等于天空区101的深度。各种方法都可应用于设置这样构成的虚线204的设置方法。下面描述其中的一些。然而，不局限于如下例子。(1)将虚线204设置在穿过输入图像100的中心的水平线(y = y_max/2，其中y_ max表示输入图像100的y坐标的最大值)上的方法；(2)将虚线204设置到输入图像100的上端(y = 0)的方法；(3)通过从输入图像100中检测地平线将虚线204设置在地平线上的方法；(4)将虚线204设置在穿过通过从输入图像100中检测消失线而获得的消失点的水平线上的方法；(5)将虚线204设置在穿过从输入图像100中检测的地面区102的最上端的水平线上的方法；(6)将虚线204设置在从输入图像100中检测的地面区102的上端线上的方法； 以及(7)将虚线204设置在穿过从输入图像100中检测的地面区102和天空区101的重心的水平线上的方法。返回到图6，下面继续说明。基础深度创建单元沈通过使用如此设置的虚线204 来创建要加入输入图像100中的基础深度。下面说明使用虚线204来创建基础深度的方法的例子。作为一个例子，如下说明将描述设置由线y = A表达的虚线204的情况。在本例中，Zb表示虚线204的深度值，Zd表示输入图像100的下端(y = y_max) 的深度值(Zb彡Zd)。虚线204的深度值Zb可以是深度值Z的范围的最大值(例如，255)， 或者可以是从从输入图像100中检测的空间扩展区，即天空区101和地面区102的至少一个中计算的值。虚线204以下的下部区的深度是例如根据设置虚线的位置来计算的。计算时，最好是在区域中越低，虚线204以下的下部区具有越小的深度值Z，而越接近虚线204， 下部区具有越大的深度值Z。虚线204以下的下部区(y>A)中的像素(X，y)的深度值 Z(X，Y)可以通过下面所述的表达式(1)来表达。按照表达式(1)，虚线204以下的下部区具有深度值随着从输入图像100的下端接近虚线204而线性增大的深度结构。然而，不局限于此，只要深度随着从输入图像100的下端接近虚线204而增大，可以以任何方式修改。
权利要求
1.一种创建表示图像中的像素的深度的分布的深度图的图像处理装置，所述装置包含区域检测单元，配置成检测包括在图像中的垂直物体的区域； 基础深度加入单元，配置成将基础深度加入图像中，所述基础深度是图像中的像素的深度的基本分布；以及深度图创建单元，配置成根据加入图像中的基础深度，获取垂直物体的地面接触位置附近区的至少一个深度，并且通过将获取的深度设置到所述基础深度上作为所述垂直物体的区域的深度来创建所述深度图。
2.按照权利要求1所述的装置，进一步包含 设置单元，配置成在图像上设置虚线；以及基础深度创建单元，配置成根据在其上设置了虚线的图像来创建基础深度，其中， 所述基础深度表示其中所述虚线被设置在图像的最远位置上的分布。
3.按照权利要求2所述的装置，其中，所述设置单元将虚线设置在包括在图像中的地平线附近。
4.按照权利要求2所述的装置，其中，所述设置单元将虚线设置成穿过图像中的消失点ο
5.按照权利要求2所述的装置，其中，所述区域检测单元包括检测包括在图像中的地面区的地面区检测单元，以及所述设置单元依照所述地面区的分布来设置所述虚线。
6.按照权利要求2所述的装置，其中， 所述区域检测单元包括检测包括在图像中的地面区的地面区检测单元；和检测包括在图像中的天空区的天空区检测单元，以及所述设置单元依照所述地面区和天空区来设置所述虚线。
7.按照权利要求5所述的装置，其中，所述深度图创建单元根据设置在图像上的虚线的位置来计算所述地面区的深度。
8.按照权利要求6所述的装置，其中，所述深度图创建单元根据设置在图像上的虚线的位置来计算所述地面区的深度。
9.按照权利要求6所述的装置，其中，所述深度图创建单元将所述虚线的深度设置成所述天空区的深度。
10.按照权利要求1所述的装置，其中，所述基础深度表示其中与图像的下端越接近， 深度越浅的分布。
11.一种创建表示图像中的像素的深度的分布的深度图的图像处理方法，所述方法包含检测包括在图像中的垂直物体的区域；将基础深度加入图像中，所述基础深度是图像中的像素的深度的基本分布； 根据加入图像中的基础深度，获取垂直物体的地面接触位置附近区的至少一个深度；以及通过将获取的深度设置到所述基础深度上作为所述垂直物体的区域的深度来创建所述深度图。
全文摘要
公开了一种图像处理装置和图像处理方法。按照一个实施例，图像处理装置创建表示图像中的像素的深度的分布的深度图。该装置包括区域检测单元，配置成检测包括在图像中的垂直物体的区域；基础深度加入单元，配置成将基础深度加入图像中，该基础深度是图像中的像素的深度的基本分布；以及深度图创建单元，配置成根据加入图像中的基础深度，获取垂直物体的地面接触位置附近区的至少一个深度，并且通过将获取的深度设置到基础深度上作为垂直物体区域的深度来创建深度图。
文档编号G06T7/00GK102467743SQ20111026633
公开日2012年5月23日 申请日期2011年9月9日 优先权日2010年11月9日
发明者三岛直, 三田雄志, 下山贤一, 中山伊央, 平井隆介, 马场雅裕 申请人:株式会社东芝