专利名称：图像处理装置、图像处理方法及图像处理程序的制作方法
技术领域：
本公开涉及图像处理装置、图像处理方法以及图像处理程序，更具体地，涉及能够将作为输入图像的二维图像转换为由左眼图像和右眼图像构成的三维图像以稳定地实现三维视觉效果的图像处理装置、图像处理方法以及图像处理程序。
背景技术：
近年来，已广泛提供了被配置为显示能够以三维方式观看的三维图像的 液晶面板或等离子显示面板(PDP)，使得观看者可以观看三维图像。但是，由用于三维观看的图像信号(即，左眼图像和右眼图像)构成的三维图像信号的内容并不充足。已经通过用于将典型的二维图像信号转换成准三维图像信号的技术来对这种不充足的内容进行补偿。通常，基于二维图像的颜色或亮度将二维图像信号转换成三维图像信号。具体地，使用基于关于深度图像的信息的视差来生成左眼图像和右眼图像，其中深度图像是通过将深度设置为该图像的每个像素的像素值而获得的。近来，已经提出了如下技术该技术用于基于与被估计和分类的每个图像的场景相对应的深度图像，将二维图像转换为更有立体感的三维图像(参见东芝评论(TOSHIBAREVIEW)第66卷(2011年)，以下称为非专利文献I)。
发明内容
但是，在该非专利文献I中提出的技术可能使得观看者感觉到由于对场景的错误估计和分类而引起的不适，这种错误估计和分类导致与实际深度完全不相同的估计深度。鉴于上述情况，本技术涉及能够将作为输入图像的二维图像转换成由左眼图像和右眼图像构成的三维图像以稳定地实现三维视觉效果的图像处理装置、图像处理方法以及图像处理程序。根据本公开的实施例，提供了一种图像处理装置，包括符合度检测单元，被配置为针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度；深度图像生成单元，被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像；混合单元，被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及三维图像生成单元，被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。该图像处理装置还可包括附加信息获取单元，被配置为获取所述输入图像的附加信息；以及附加信息加权单元，被配置为基于所述附加信息，将所述场景中的每一个的权重应用于所述场景中的每一个的符合度。此外，所述混合单元可以以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述附加信息加权单元加权的所述场景中的每一个的符合度。
所述输入图像的附加信息可以是电子节目指南(EPG)中包括的关于所述输入图像的节目的信息。所述图像处理装置还可包括稳定化单元，其被配置为使经所述附加信息加权单元加权的所述场景中的每一个的符合度在时间轴方向上稳定化。此外，所述混合单元可以以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述附加信息加权单元加权的、并被进一步稳定化的所述场景中的每一个的符合度。所述稳定化单元可以是IIR (无限冲击响应)滤波器。所述图像处理装置还可包括归一化单元，其被配置为使得所述符合度检测单元所检测到的所述场景中的每一个的符合度归一化。此外，所述混合单元可以以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述归一化单元归一化的相应场景的符合度。所述混合单元可以通过获得由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像与如下混合比的乘积的和，来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述归一化单元归一化的所述场景中的每一个的符合度。根据本公开的另一实施例，提供了一种图像处理方法，包括通过被配置为针对由二维图像构成的输入图像来检测多个场景中的每一个的符合度的符合度检测单元，针对由二维图像构成的输入图像来检测多个场景中的每一个的符合度；通过被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像的深度图像生成单元，针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像；通过被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像以生成混合的深度图像的混合单元，以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及通过被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像的三维图像生成单元，生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。根据本公开的另一实施例，还提供了一种程序，其被配置用于使对图像处理装置进行控制的计算机执行处理，所述图像处理装置包括符合度检测单元，被配置为针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度；深度图像生成单元，被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像；混合单元，被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及三维图像生成单元，被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像；并且，所述处理包括通过所述符合度检测单元，针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度；通过所述深度图像生成单元，针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像；通过所述混合单元，以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及通过所述三维图像生成单元，生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。根据本公开的另一实施例，针对由二维图像构成的输入图像检测多个场景中的每一个的符合度，针对该输入图像生成各自通过与所述场景中的每一个相对应的技术获得的深度图像，以基于所述场景中的每一个的符合度的混合比来混合各自通过与所述场景中的每一个相对应的获得的深度图像，以生成混合的深度图像，并且生成由通过使用该混合的深度图像对所述输入图像的像素中的每一个像素进行移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。该图像处理装置可以是单独的实体或图像处理块。根据本技术，可以将作为输入图像的二维图像转换成由左眼图像和右眼图像构成的三维图像，以稳定地实现三维视觉效果。
图I是示出根据本公开的实施例的图像处理装置的结构的视图；图2是示出图I中的场景分类处理单元的结构的视图；图3是示出图I中的权重处理单元的结构的视图；图4是示出图I中的时间轴控制处理单元的结构的视图；图5是示出图I中的混合单元的结构的视图；图6是示出图I中的视差生成处理单元的结构的视图；图7是示出由图I中的图像处理装置进行的二维-三维图像转换处理的流程图；图8是示出场景分类处理的流程图；图9是示出时间轴控制处理的流程图；图10是示出分类场景深度图像生成处理的流程图；图11是示出混合处理的流程图；图12是示出视差生成处理的流程图；以及图13是示出通用个人计算机的结构的视图。
具体实施例方式在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书及附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。[根据本技术的实施例的图像处理装置的结构]将参考图I描述根据本技术的实施例的图像处理装置的结构。在图I中，图像处理装置11被配置为将作为输入图像的二维图像信号转换为三维图像信号，以实现三维视觉效果。具体地，图像处理装置11包括场景分类处理单元21、时间轴控制处理单元22、混合单元23、分类场景深度图像生成单元24、以及视差生成处理单元25。场景分类处理单元21被配置为计算如下符合度该符合度表示由二维图像信号构成的输入图像信号的图像与三种类型的场景中的每一种(即，第一至第三分类场景中的每一个)相符合的程度。场景分类处理单元21将该符合度提供给时间轴控制处理单元22。例如，第一至第三分类场景是风景图像的场景、包括面部图像的场景以及运动图像的场景。也就是说，场景分类处理单元21检测表示输入图像与三种类型的场景中的每一种相符合的程度的符合度。将参考图2详细描述场景分类处理单元21的结构。本实 施例描述使用三种类型的场景将二维图像转换成三维图像。但是，可以使用多于三种类型的场景来将二维图像转换成三维图像。时间轴控制处理单元22被配置为使得从场景分类处理单元21提供的、与三种类型的场景中的每一种相对应的符合度相对于时间轴稳定化，并将稳定化的符合度作为每个场景的混合比提供给混合单元23。将参考图4详细描述时间轴控制处理单元22的结构。分类场景深度图像生成单元24被配置为通过与第一至第三分类场景中的每一个相对应的技术来生成输入图像的深度图像。分类场景深度图像生成单元24将深度图像提供给混合单元23。在本实施例中，通过与第一至第三分类场景中的每一个相对应的技术来生成三种类型的深度图像。具体地，分类场景深度图像生成单元24包括第一至第三分类场景深度图像生成子单元31-1至31-3。第一至第三分类场景深度图像生成子单元31-1至31-3中的每一个通过与第一至第三分类场景中的每一个相对应的技术来生成输入图像的深度图像，并将该深度图像提供给混合单元23。例如，如果场景属于人的面部的图像，则从输入图像检测到面部图像。在这种情况下，可以读取预先统计获得的面部图像的深度图像并将其应用于检测到的面部图像，以匹配检测到的面部图像的尺寸或形状。再例如，如果场景属于包括天空和地面的风景图像，则在输入图像中检测天空与地面之间的边界，并且可以将预先获得的地面的深度图案和天空的深度图案添加到该边界。又例如，如果场景属于运动图像，则可以使用多个连续帧的像素间信息来生成深度图像。混合单元23被配置为基于在时间轴方向上稳定化的分类场景中的每一个的混合t匕，来将从分类场景深度图像生成单元24提供的三种类型的深度图像混合成单个深度图像。混合单元23将混合后的深度图像提供给视差生成处理单元25。将参考图5详细描述混合单元23的结构。视差生成处理单元25被配置为将基于从混合单元23提供的深度图像的视差信息添加到作为输入图像的二维图像信号，以生成左眼图像信号和右眼图像信号。将参考图6详细描述视差生成处理单元23的结构。[场景分类处理单元]将参考图2详细描述场景分类处理单元21的结构。场景分类处理单元21包括第一至第三分类场景符合度检测处理单元41-1至41-3以及权重处理单元42。第一至第三分类场景符合度检测处理单元41-1至41-3检测表示输入图像与第一至第三分类场景相符合的程度的符合度Ml至M3。例如，可以根据图像四角上的预定范围的直方图确定如果图像的两个上角上的直方图之间的差别以及两个下角上的直方图之间的差别低、并且图像的两个左角上的直方图之间的差别以及两个右角上的直方图之间的差别高，则该图像很可能是风景图像的场景。换言之，如果天空位于图像上部且地面位于图像下部，则可以获得直方图之间的这种关系。在此情况下，可以将四角上的直方图的分布与风景图像的构造相类似的程度表示为符合度。在下文中，除非必须相互区分第一至第三分类场景或第一至第三分类场景符合度检测处理单元41-1至41-3，否则将分别将第一至第三分类场景或第一至第三分类场景符合度检测处理单元41-1至41-3称为第N分类场景或第N分类场景符合度检测处理单元41 (或41-N)。将以类似方式指代其它要素。权重处理单元42被配置为基于针对包括输入图像的节目的诸如EPG(electronicprogram guide,电子节目指南)的由文本信息构成的附加信息，来将权重应用于第一至第三分类场景中的每一个。具体地，参考图3，权重处理单元42包括场景信息提取处理单元61、权重改变单元62以及乘法器单元63-1至63-3。场景信息提取处理单元61从包括输入图像的节目的诸如EPG的附加信息中提取在识别场景时使用的信息，并将所提取的信息提供给权重改变单元62。权重改变单元62基于从场景信息提取处理单元61提供的、诸如与
场景相对应的关键词的数量的该场景信息而获得权重Wl至W3，并将权重Wl至W3提供给乘法器单元63-1至63-3。乘法器单元63-1至63_3被配置为分别将权重Wl至W3与符合度Ml至M3相乘，并将权重Wl至W3与符合度Ml至M3的乘积作为混合比提供给时间轴控制处理单元22。例如，假设场景信息提取处理单元61从附加信息中提取诸如“旅行”和“旅游”的关键词，并将关键词提供给权重处理单元42。如果第一分类场景属于风景图像，则权重处理单元42可以根据关键词“旅行”和“旅游”确定包括该输入图像的节目很可能具有多个风景图像，将权重Wl设置为大于一，并将权重Wl提供给乘法器单元63-1。在此情况下，权重处理单元42将第二分类场景和第三分类场景的权重W2和W3设置为一，并将第二分类场景和第三分类场景的权重W2和W3分别提供给乘法器单元63-2和63-3。相应地，可以仅针对很可能与输入图像相关的场景来增大权重。[时间轴控制处理单元]将参考图4详细描述时间轴控制处理单元22的结构。时间轴控制处理单元22包括IIR(无限冲击响应)滤波器71_1至71_3以及归一化处理单元72。IIR滤波器71-1至71-3被配置为使得与对应于第一至第三分类场景的权重相乘后的符合度相对于时间轴方向稳定化。IIR滤波器71-1至71-3将在时间上稳定化的符合度S(WlXMl)至S(W3XM3)提供给归一化处理单元72。归一化处理单元72被配置为将符合度S(WlXMl)至S(W3XM3)的总和归一化为I。归一化处理单元72将归一化的值分别作为用于第一至第三分类场景的混合比α、β和Y而提供给混合单元23。[混合单元]将参考图5详细描述混合单元23的结构。混合单元23包括乘法器单元81-1至81_3以及加法器单元82。乘法器单元81_1至81-3被配置为将分别与第一至第三分类场景相对应的深度图像Mapl至Map3的像素与混合比α、β和Y相乘，并将深度图像a XMapl、β XMap2和Y XMap3输出到加法器单元82。加法器单元82被配置为将这些输出图像信号相加。具体地，加法器单元82将通过与第一至第三分类场景中的每一个相对应的技术而获得的深度图像Mapl至Map3混合并组合成单个深度图像B-Map。加法器单元82将深度图像B-Map提供给视差生成处理单元25。[视差生成处理单元]将参考图6详细描述视差生成处理单元25的结构。视差生成处理单元25包括右眼移位处理单元91-1和左眼移位处理单元91-2。右眼移位处理单元91-1和左眼移位处理单元91-2被配置为使用关于深度图像B-Map的像素的信息作为视差信息，将作为输入图像的二维图像信号的像素分别针对右眼和左眼进行移位，以分别生成右眼图像和左眼图像。[ 二维-三维图像转换处理]将参考图7的流程图描述在图像处理装置11中执行的用于将作为输入图像的二
维图像信号转换为三维图像信号的二维-三维图像转换处理。在步骤SI中，场景分类处理单元21确定从广播站(未示出)通过广播波以无线或有线方式发送并通过天线(未示出)接收的广播节目的二维(2D)图像信号是否被接收到。场景分类处理单元21重复地执行步骤SI，直到接收到二维图像信号为止。如果在步骤SI中确定接收到二维图像信号，则二维-三维图像转换处理进行到下一步骤S2。在步骤S2中，场景分类处理单元21和分类场景深度图像生成单元24获取二维图像信号。由于将描述的所提取的特征因子，所获取的二维图像可以属于单个帧或者多个连续帧。在步骤S3中，场景分类处理单元21中的权重处理单元42的场景信息提取处理单元61读取伴随二维图像信号的EPG的文本信息作为附加信息，并将该附加信息提供给权重改变单元62。在步骤S4中，场景分类处理单元21执行场景分类处理以获得二维输入图像相对于预先分类的第一至第三分类场景中的每一个的符合度，并将二维图像的符合度提供给时间轴控制处理单元22。[场景分类处理]将参考图8的流程图详细描述场景分类处理。在步骤S31中，场景分类处理单元21将用于识别第一至第三分类场景的计数器N(未示出)初始化为一。在步骤S32中，权重处理单元42的场景信息提取处理单元61从伴随二维图像信号的EPG信息中提取场景信息。在此情况下，场景信息指代EPG信息中包括的与第一至第三分类场景相关的关键词。在风景图像的场景的情况下，场景信息是表示很可能频繁显示风景图像的节目的关键词，例如“旅行”或“旅游”。在面部图像的场景的情况下，场景信息是表示很可能频繁显示进行体育运动的运动者的面部的节目的关键词，例如“棒球”或“足球”。场景信息提取处理单元61检索并提取这些关键词作为场景信息，并将这些关键词提供给权重改变单元62。在步骤S33中，场景分类处理单元21控制第一至第三分类场景符合度检测处理单元41-1至41-3的第N分类场景符合度检测处理单元41，以提取用于识别第N分类场景的特征因子。例如，如果第N分类场景是包括风景图像的场景，则第N分类场景符合度检测处理单元41可以提取输入图像的四角上的像素的直方图作为该特征因子。再例如，如果第N分类场景是包括面部图像的场景，则第N分类场景符合度检测处理单元41可以检索并提取输入图像中的面部图像的诸如眼、鼻、耳和嘴的器官的图像，作为该特征因子。再例如，如果第N分类场景是由运动图像构成的场景，则第N分类场景符合度检测处理单元41可以提取可通过输入图像的多个帧中的对应像素之间的块匹配而获得的运动矢量，作为该特征因子。在步骤S34中，场景分类处理单元21控制第一至第三分类场景符合度检测处理单元中的第N分类场景符合度检测处理单元41来根据第N分类场景中的每一个的特征因子检测符合度MN。例如，如上文所述，如果第N分类场景是风景图像的场景，则第N分类场景符合度检测处理单元41可以提取输入图像的四角的预定范围内的直方图，作为该特征因子。在此情况下，如果输入图像的两个上角上的直方图之间的差别以及输 入图像的两个下角上的直方图之间的差别低、并且输入图像的两个左角上的直方图之间的差别以及输入图像的两个右角上的直方图之间的差别高，则可以认为第N分类场景很可能是风景图像的场景。在此情况下，对于四种类型的特征因子，即，两个上角上的直方图之间的低差别、两个下角上的直方图之间的低差别、右上角和右下角上的直方图之间的高差别以及左上角和左下角上的直方图之间的高差别，如果这四种类型的特征因子全部得到满足，则第N分类场景符合度检测处理单元41可以获得100%的符合度，而如果这四种类型的特征因子中的两种未得到满足，则第N分类场景符合度检测处理单元41可以获得50%的符合度。如上文所述，在第N分类场景是面部图像的场景的情况下，如果频繁检测到面部器官，则可以认为第N分类场景很可能是面部图像。假设这些器官仅包括眼、鼻、嘴和耳，如果眼、鼻、嘴和耳全部被检测到，则第N分类场景符合度检测处理单元41可以确定符合度为100%,而如果仅检测到这四种器官中的两种，则第N分类场景符合度检测处理单元41可以确定符合度为50%。在步骤S35中，第N分类场景符合度检测处理单元41将检测到的符合度MN输出到权重处理单元42。在步骤S36中，权重改变单元62确定场景信息是否是与第N分类场景相关的信息。也就是说，对于作为风景图像的场景的第N分类场景，如果场景信息指代诸如“旅游”或“旅行”的、表示很可能频繁显示风景图像的节目的关键词，则可以认为该场景信息与第N分类场景相关。另一方面，对于作为面部图像的场景的第N分类场景，如果场景信息指代诸如“棒球”或“足球”的、表示很可能频繁显示进行体育运动的运动者的面部的节目的关键词，则可以认为场景信息与第N分类场景相关。像这样，如果认为场景信息与第N分类场景相关，则场景分类处理进行到步骤S37。在步骤S37中，权重改变单元62针对第N分类场景的符合度将权重系数WN设置为大于一的值，并将该权重系数WN输出到乘法器单兀63-N。如果在步骤S36中确定场景信息与第N分类场景不相关，则权重改变单元62在步骤S38中针对第N分类场景的符合度将权重系数WN设置为一，并将该权重系数WN输出到乘法器单元63-N。在步骤S39中，乘法器单元63-N将第N分类场景的符合度MN与所提供的权重系数WN相乘，并输出第N分类场景的经加权的符合度WNX丽。在步骤S40中，场景分类处理单元21确定计数器N是否等于三，即，是否对所有的第一至第三分类场景均执行了场景分类处理。如果在步骤S40中确定计数器N不等于三，则场景分类处理进行到步骤S41。在步骤S41中，场景分类处理单元21使计数器N递增一，并且场景分类处理回到步骤S33。也就是说，重复执行步骤S33至S41，直到确定对所有的第一至第三分类场景均执行了场景分类处理为止。如果在步骤S40中确定计数器N等于三，S卩，对第一至第三分类场景执行了场景分类处理，则场景分类处理完成。通过场景分类处理，获得输入图像对于第N分类场景的符合度MN，同时，如果从诸如EPG的附加信息获得的场景信息与第N分类场景相关，则权重系数WN被设置为大于一的值，而如果该场景信息与第N分类场景不相关，则权重系数WN被设置为一。 相应地，当符合度高且场景信息与第N分类场景密切相关时，获得以较大的权重系数WN加权的符合度。返回参考图7，将描述该流程图。如果在步骤S4中完成了场景分类处理，则时间轴控制处理单元22在步骤S5中执行时间轴控制处理，以针对第一至第三分类场景中的每一个使得以权重系数WN加权的符合度WN X丽在时间轴方向上稳定化。[时间轴控制处理]将参考图9的流程图详细描述时间轴控制处理。在步骤S61中，时间轴控制处理单元22将计数器N (未示出)初始化为一。在步骤S62中，IIR滤波器71_N对第N分类场景的经加权的符合度WNXMN执行IIR滤波处理，以使经加权的符合度在时间轴方向上稳定化，并输出第N分类场景的稳定化的经加权的符合度S_WNX丽。在步骤S63中，时间轴控制处理单元22确定计数器N是否等于三，即，确定IIR滤波器是否对所有的第一至第三分类场景的经加权的符合度WNXMN均执行了 IIR滤波处理。如果在步骤S63中确定计数器N不等于三，则在步骤S64中时间轴控制处理单元22将计数器N递增一，并且时间轴控制处理返回到步骤S62。也就是说，重复地执行步骤S62至S64，直到对所有的第一至第三分类场景的经加权的符合度WNXMN均执行了 IIR滤波处理为止。如果在步骤S63中确定计数器N等于三，即，确定对所有的第一至第三分类场景的经加权的符合度WNXMN均执行了 IIR滤波处理，则时间轴控制处理进行到步骤S65。在步骤S65中，归一化处理单元72将从IIR滤波器71_1至71_3提供的、第一至第三第N分类场景的稳定化的经加权的符合度S_WNXMN归一化成用于第一至第三分类场景的深度图像Mapl至Map3的混合比α、β和γ ,并将混合比α、β和γ提供给混合单元23。通过时间轴控制处理，可以使得以基于场景信息的权重系数加权的第N分类场景的符合度WNX丽在时间轴方向上稳定化，计算第一至第三分类场景的深度图像Mapl至Map3的混合比α、β和Y ,并将混合比α、β和γ提供给混合单元23。返回参考图7，将描述该流程图。在步骤S5中执行时间轴控制处理之后，分类场景深度图像生成单元24在步骤S6中执行分类场景深度图像生成处理，以针对每个分类场景以不同的技术生成深度图像。分类场景深度图像生成单元24将生成的深度图像提供给混合单元23。[分类场景深度图像生成处理]将参考图10的流程图详细描述分类场景深度图像生成处理。
在步骤S81中，分类场景深度图像生成单元24将计数器N (未示出)初始化为一。在步骤S82中，分类场景深度图像生成单元24控制第N分类场景深度图像生成单元31-N生成第N分类场景深度图像MapN，并将该第N分类场景深度图像MapN输出到混合单元23。例如，如果第N分类场景是属于风景图像的场景，则第N分类场景深度图像生成单元31-N基于关于以下关系的信息来将包括基线的深度图案读取成深度图像四角上的像素的直方图之间的差别与预先记录的包括基线的深度图案之间的关系。该基线表示图像中的以直线方式形成的边界(例如水平线或者地面与建筑之间的边界线)，在该边界处深度改变。在本实施例中，对于作为风景图像的场景的包括基线的图像，预先获得四角上的像素的直方图之间的差别与深度图案之间的关系。在此情况下，基于四角上的像素的直方图之间的差别来选择深度图像。例如，如果第N分类场景是包括人的面部图像的场景，则第N分类场景深度图像生成单元31-N通过以下方式针对包括面部图像的场景生成深度图像放大或缩小先前记录的与面部图像相对应的深度图案以匹配所提供的面部图像的尺寸，并应用调整后的深度图案。例如，如果第N分类场景是包括人的面部图像的场景，则第N分类场景深度图像生成单元31-N通过以下方式生成针对包括面部图像的场景生成深度图像放大或缩小先前记录的与面部图像相对应的深度图案以匹配从所提供的图像检测到的面部图像的尺寸，并应用调整后的深度图案。再例如，如果第N分类场景是包括运动图像的场景，则第N分类场景深度图像生成单元31-N基于多个连续帧获得用于每个像素的运动矢量，并形成运动矢量的聚类。在此情况下，由于针对每个对象形成聚类中的每一个，因此被另一对象覆盖的对象根据运动关系(即，运动)位于最内侧。第N分类场景深度图像生成单元31-N通过获得位于最内侧的对象与另一对象之间的运动矢量的平方差来获得相对深度方向的关系，并基于该相对深度方向的关系生成深度图像。在步骤S83中，分类场景深度图像生成单元24确定计数器N是否等于三。也就是说，分类场景深度图像生成单元24确定计数器N是否等于三，即，确定是否根据第一至第三分类场景中的每一个的技术生成了深度图像MapN并将该深度图像MapN提供给了混合单元23。如果在步骤S83中未确定计数器N等于三以及根据第一至第三分类场景中的每一个的技术生成了深度图像MapN并将该深度图像MapN提供给混合单元23，则分类场景深度图像生成处理进行到步骤S84。在步骤S84中，分类场景深度图像生成单元24将计数器N递增一，并且分类场景深度图像生成处理返回到步骤S82。也就是说，重复执行步骤S82至S84，直到根据第一至第三分类场景中的每一个的技术生成深度图像MapN并将该深度图像MapN提供给混合单元23为止。如果在步骤S83中确定根据第一至第三分类场景中的每一个的技术生成了深度图像MapN并将该深度图像MapN提供给了混合单元23，则完成分类场景深度图像生成处理。通过分类场景深度图像生成处理，根据第一至第三分类场景中的每一个的技术生成用于第一至第三分类场景的深度图像，并将这些深度图像提供给混合单元23。返回参考图7，将描述该流程图。
当在步骤S6中执行分类场景深度图像生成处理以根据第一至第三分类场景中的每一个的技术生成深度图像MapN之后，二维-三维图像转换处理进行到步骤S7。在步骤S7中，混合单元23执行混合处理，以按照从时间轴控制处理单元22提供的针对第N分类场景的混 合比α、β和Y来混合从分类场景深度图像生成单元24提供的针对第N分类场景的深度图像。混合单元23将混合的深度图像提供给视差生成处理单元25。[混合处理]将参考图11的流程图详细描述混合处理。在步骤SlOl中，混合单元23将计数器N (未示出)初始化为一。在步骤S102中，混合单元23将第N分类场景的混合比与第N分类场景的深度图像MapN的每个像素相乘。在步骤S103中，混合单元23确定计数器N是否等于三。如果在步骤S103中未确定计数器N等于三，即，未确定所有的第N分类场景的混合比均与第N分类场景的深度图像MapN的像素的像素值相乘，则混合处理进行到步骤S104。在步骤S104中混合单元23将计数器N递增一，并且混合处理返回到步骤S102。也就是说，重复执行步骤S102至S104，直到确定所有的第N分类场景的混合比均已与第N分类场景的深度图像MapN的像素的像素值相乘为止。如果在步骤S103中确定计数器N等于三且第N分类场景的混合比已与第N分类场景的深度图像MapN的像素的像素值相乘，则混合处理进行到步骤S105。在步骤S105中，混合单元23获得每一个第N分类场景的深度图像MapN的像素的像素值与第N分类场景的混合比的乘积，并获得位于对应像素位置处的每个像素上的乘积的和。混合单元23将由像素值分别为该乘积的和的像素构成的混合的深度图像B-Map输出到视差生成处理单元25。通过混合处理，可以通过获得针对第N分类场景的深度图像的像素值与根据符合度获得的混合比的乘积的和，将针对第N分类场景的深度图像混合成混合的深度图像B-Map ο返回参考图7，将描述该流程图。在通过以对应于符合度的混合比混合根据第N分类场景中的每一个的技术获得的针对第N分类场景的深度图像来在步骤S7中的混合处理中针对输入图像生成混合的深度图像B-Map之后，二维-三维图像转换处理进行到步骤S8。在步骤S8中，视差生成处理单元25执行视差生成处理，以生成由视差导致的左眼图像和右眼图像，其中，通过基于与混合的深度图像B-Map中的每个像素的像素值相对应的深度值将作为输入图像的二维图像的每个像素在左方向或右方向上移位，而产生该视差。[视差生成处理]将参考图12的流程图详细描述视差生成处理。在步骤S121中，右眼移位处理单元91-1通过以下方式来生成右眼图像将作为输入图像的二维图像的每个像素在左方向上移位与混合的深度图像B-Map中的对应像素位置处的深度值相对应的距离，以向输入图像提供右眼视差。
在步骤S122中，左眼移位处理单元91-2通过以下方式来生成左眼图像将作为输入图像的二维图像的每个像素在右方向上移位与混合的深度图像B-Map中的对应像素位置处的深度值相对应的距离，以向输入图像提供左眼视差。通过视差生成处理，可以通过将作为输入图像的二维图像的每个像素在右方向或左方向上基于如下深度值而移位来生成左眼图像和右眼图像该深度值与深度图像中的、位于作为输入图像的二维图像中的每个像素的对应像素位置处的、每个像素的像素值相对应。参考图7，将描述该流程图。当在步骤S8中执行视差生成处理以生成左眼图像和右眼图像之后，在步骤S9中，视差生成处理单元25输出左眼图像和右眼图像，作为能够以三维方式观看的三维图像信
号。在步骤SlO中，分类场景深度图像生成单元24确定下一图像是否被提供。如果在步骤SlO中确定下一图像已被提供，则二维-三维图像转换处理返回到步骤S2并重复后续操作。如果在步骤SlO中确定下一图像未被提供，则完成二维-三维图像转换处理。因此，由于针对分类场景单独地生成深度图像并以基于场景信息以及分类场景的符合度的混合比来混合这些深度图像，以生成混合的深度图像，因此可以抑制由于错误分类的场景而导致的不满意的结果。在此情况下，由于在获得混合比时执行IIR滤波处理，因此使混合比在时间轴方向上稳定化，由此使得所生成的深度图像稳定化。相应地，可以实现二维-三维图像转换处理，以提供非常稳定的三维图像，而不会使观看者感到不适。结果，根据本技术，可以根据二维图像信号生成由左眼图像和右眼图像构成的、能够以三维方式观看的三维图像信号，该三维图像信号是稳定的，而不会使观看者感到不适。上述处理不仅可以通过硬件执行，而且可以通过软件执行。如果要通过软件执行该处理，则通过记录介质将该软件的程序安装在包括专用硬件的计算机中或安装在借助于所安装的各种程序来执行各种功能的通用个人计算机中。图13示出了通用个人计算机的结构。个人计算机包括CPU (中央处理单元)1001。CPU 1001通过总线1004连接到输入/输出(I/O)接口 1005。总线1004连接到ROM (只读存储器)1002和RAM (随机存取存储器)1003。I/O接口 1005连接到以下各单元用于供用户输入操作命令的、由诸如键盘或鼠标的输入装置构成的输入单元1006 ;将处理操作画面或处理结果图像输出到显示装置的输出单元1007 ;用于存储程序或数据的、由硬盘驱动器等构成的存储单元1008 ;以及用于在诸如因特网的网络上执行通信处理的、由LAN (局域网)适配器构成的通信单元1009。此外，I/O接口 1005连接到驱动器1010，驱动器1010用于从诸如磁盘(包括软盘)、光盘(包括⑶-ROM (压缩盘只读存储器))和DVD (数字多功能盘)或半导体存储器的可拆卸介质1011读取数据或者向可拆卸介质1011写入数据。CPU 1001根据存储在ROM 1002中的程序或者根据被从诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸介质1011读取、被安装在存储单元1008中、并被从存储单元1008加载到RAM 1003中的程序来执行各种处理。RAM 1003还可以存储被CPU 1001用于执行各种处理的数据。应当注意，在本公开中，描述记录在记录介质上的程序的步骤不仅能够以所描述的顺序按时间序列执行，并且能够并行地或单独地执行。本领域的技术人员应当理解，取决于设计需求和其它因素，可以进行各种变型、组合、子组合和变更，只要这些变型、组合、子组合和变更在所附权利要求或其等同的范围之内即可。此外，本技术也可以配置如下(I) 一种图像处理装置，包括符合度检测单元，被配置为针对由二维图像构成的输入图像，检测多 个场景中的每一个的符合度；深度图像生成单元，被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像；混合单元，被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及三维图像生成单元，被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。( 2 )根据(I)所述的图像处理装置，还包括附加信息获取单元，被配置为获取所述输入图像的附加信息；以及附加信息加权单元，被配置为基于所述附加信息，将所述场景中的每一个的权重应用于所述场景中的每一个的符合度，其中，所述混合单元以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述附加信息加权单元加权的所述场景中的每一个的符合度。(3)根据(I)或(2)所述的图像处理装置，其中，所述输入图像的附加信息是电子节目指南(EPG)中包括的关于所述输入图像的节目的信息。( 4 )根据(I)至(3 )中任意一项所述的图像处理装置，还包括稳定化单元，被配置为使经所述附加信息加权单元加权的所述场景中的每一个的符合度在时间轴方向上稳定化，其中，所述混合单元以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述附加信息加权单元加权的、并被进一步稳定化的所述场景中的每一个的符合度。(5)根据(4)所述的图像处理装置，其中，所述稳定化单元是无限冲击响应(IIR)滤波器。(6)根据(I)至(5)中任意一项所述的图像处理装置，还包括归一化单元，被配置为使得所述符合度检测单元所检测到的所述场景中的每一个的符合度归一化，其中，所述混合单元以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述归一化单元归一化的所述场景中的每一个的符合度。(7)根据(6)所述的图像处理装置，其中，所述混合单元通过获得由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像与如下混合比的乘积的和，来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述归一化单元归一化的相应场景的符合度。(8) 一种图像处理方法，包括通过被配置为针对由二维图像构成的输入图像来检测多个场景中的每一个的符合度的符合度检测单元，针对由二维图像构成的输入图像来检测多个场景中的每一个的符合度；通过被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像的深度图像生成单元，针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像；通过被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像以生成混合的深度图像的混合单元，以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及通过被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像的三维图像生成单元，生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。(9) 一种程序，被配置用于使对图像处理装置进行控制的计算机执行处理，其中，所述图像处理装置包括符合度检测单元，被配置为针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度，深度图像生成单元，被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像，混合单元，被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像，以及三维图像生成单元，被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像，以及其中，所述处理包括通过所述符合度检测单元，针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度，通过所述深度图像生成单元，针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像，
通过所述混合单元，以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像，以及通过所述三维图像生成单元，生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。 本公开包含与2011年7月12日在日本专利局递交的日本优先权专利申请JP2011-153555中公开的主题相关的主题，该申请全部内容通过引用合并于此。
权利要求
1.一种图像处理装置，包括 符合度检测单元，被配置为针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度； 深度图像生成单元，被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像； 混合单元，被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及 三维图像生成单元，被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。
2.根据权利要求I所述的图像处理装置，还包括 附加信息获取单元，被配置为获取所述输入图像的附加信息；以及 附加信息加权单元，被配置为基于所述附加信息，将所述场景中的每一个的权重应用于所述场景中的每一个的符合度， 其中，所述混合单元以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述附加信息加权单元加权的所述场景中的每一个的符合度。
3.根据权利要求2所述的图像处理装置， 其中，所述输入图像的附加信息是电子节目指南EPG中包括的关于所述输入图像的节目的信息。
4.根据权利要求3所述的图像处理装置，还包括 稳定化单元，被配置为使经所述附加信息加权单元加权的所述场景中的每一个的符合度在时间轴方向上稳定化， 其中，所述混合单元以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述附加信息加权单元加权的、并被进一步稳定化的所述场景中的每一个的符合度。
5.根据权利要求4所述的图像处理装置， 其中，所述稳定化单元是无限冲击响应IIR滤波器。
6.根据权利要求I所述的图像处理装置，还包括 归一化单元，被配置为使得所述符合度检测单元所检测到的所述场景中的每一个的符合度归一化， 其中，所述混合单元以如下混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述归一化单元归一化的所述场景中的每一个的符合度。
7.根据权利要求6所述的图像处理装置， 其中，所述混合单元通过获得由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像与如下混合比的乘积的和，来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像该混合比基于经所述归一化单元归一化的相应场景的符合度。
8.—种图像处理方法，包括 通过被配置为针对由二维图像构成的输入图像来检测多个场景中的每一个的符合度的符合度检测单元，针对由二维图像构成的输入图像来检测多个场景中的每一个的符合度； 通过被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像的深度图像生成单元，针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像； 通过被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像以生成混 合的深度图像的混合单元，以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及 通过被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像的三维图像生成单元，生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。
9.一种程序，被配置用于使对图像处理装置进行控制的计算机执行处理， 其中，所述图像处理装置包括 符合度检测单元，被配置为针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度， 深度图像生成单元，被配置为针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像， 混合单元，被配置为以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像，以及 三维图像生成单元，被配置为生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像，以及 其中，所述处理包括 通过所述符合度检测单元，针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度， 通过所述深度图像生成单元，针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像， 通过所述混合单元，以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像，以及 通过所述三维图像生成单元，生成由通过使用所述混合的深度图像将所述输入图像的像素中的每一个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。
全文摘要
提供了一种图像处理装置、图像处理方法及图像处理程序。图像处理装置包括符合度检测单元，用于针对由二维图像构成的输入图像，检测多个场景中的每一个的符合度；深度图像生成单元，用于针对所述输入图像来生成各自通过与所述场景中的每一个相对应的技术获得的深度图像；混合单元，用于以基于所述场景中的每一个的符合度的混合比来混合由所述深度图像生成单元生成的、各自通过与所述场景中的每一个相对应的技术获得的深度图像，以生成混合的深度图像；以及三维图像生成单元，用于生成由通过使用所述混合的深度图像将所述输入图像的每个像素移位而生成的左眼图像和右眼图像构成的、能够以三维方式观看的三维图像。
文档编号H04N13/00GK102883170SQ201210232990
公开日2013年1月16日 申请日期2012年7月5日 优先权日2011年7月12日
发明者上木伸夫, 森浩典, 小嶋尚, 鸨崎友希, 西堀一彦, 木村青司 申请人:索尼公司