图像处理设备、图像处理方法和程序的制作方法
【专利摘要】提供了能够针对双透镜反射摄像装置的横向拍摄或纵向拍摄而输出3D可观看立体图像的设备和方法。存在：图像输入单元，用于输入作为输入图像的从不同视点拍摄的左眼图像和右眼图像；以及成像角度确定单元，用于输出与当对输入图像进行拍摄时的摄像装置的角度对应的控制信号。当控制信号指示由双透镜反射摄像装置以横向模式拍摄的图像时，输出作为输入图像的左眼图像和右眼图像。当控制信号指示由双透镜反射摄像装置以纵向模式拍摄的图像时，左眼图像或右眼图像的图像被输入到立体图像生成处理器。在立体图像生成处理器中，输出通过基于一个图像的2D-3D转换处理而生成的左眼图像和右眼图像。
【专利说明】图像处理设备、图像处理方法和程序
【技术领域】
[0001]本公开涉及一种图像处理设备、图像处理方法和程序。更具体地，本公开涉及用于生成可以立体地观看(立体观看)的三维图像(3D图像)的图像处理设备、图像处理方法和程序。
【背景技术】
[0002]通过两个图像(即，作为从不同视点拍摄的图像的用于左眼的左眼图像和用于右眼的右眼图像)的组合而构成可以被观看为具有深度的立体图像的、支持立体观看的图像。为了从两个视点获得图像，即，双眼视差图像，例如，两个图像捕获设备彼此间隔开布置在右侧和左侧并且使得其捕获图像。
[0003]所捕获的立体图像对包括如下图像对:该图像对包括由在左侧的图像捕获设备捕获的且利用左眼观看的左眼图像以及由在右侧的图像捕获设备捕获的且利用右眼观看的右眼图像。
[0004]由包括左眼图像和右眼图像的图像对构成的立体图像对被分离为左眼图像和右眼图像，并且显示在可以向观看者的左眼和右眼呈现图像的显示装置上，以使得观看者可以将图像感知为立体图像。
[0005]具有双透镜配置的摄像装置用作下述配置:该配置用于在利用一个摄像装置执行一次的图像捕获处理中捕获包括左眼图像和右眼图像的图像对。这种双透镜配置摄像装置被称为例如立体摄像装置。
[0006]图1示出了由具有立体图像捕获系统的图像捕获设备执行的图像捕获方法。
[0007]图1所示的摄像装置10是具有用于捕获左眼图像和右眼图像的双透镜配置的立体摄像装置。具有这样的双透镜立体图像捕获系统的图像捕获设备通常被视为是被水平持握的，并且基于水平位置关于右侧和左侧的偏差来获得视差图像。
[0008]图2是示出使用具有立体图像捕获系统的图像捕获设备在水平持握摄像装置的情况下进行的图像捕获处理的示例的图。
[0009]图2(a)是左眼图像，图2(b)和(C)是相同的图并且是右眼图像。
[0010](a)左眼图像和(b)、(C)右眼图像均是通过捕获作为被摄对象的汽车、建筑物、树和房子的图像而得到的，但是图像捕获方向根据摄像装置的透镜位置的偏差而不同，因此，每个图像上的这些被摄对象的布置稍微不同。
[0011]在图2(a)的左眼图像和图2(b)的右眼图像之间连接的虚线指示了每个被摄对象在垂直方向上没有偏差。
[0012]另一方面，在图2(a)的左眼图像和图2(c)的右眼图像之间连接的虚线指示了每个图像中的被摄对象位置根据距图像捕获设备的距离而在左右方向(水平方向)上存在偏差。
[0013]该左右方向(水平方向)上的偏差是视差。通过在能够将图像呈现给观看者的左眼和右眼的显示装置上显示具有如上所述的视差的两个图像，观看者可以将图像感知为立体图像。
[0014]为了使得具有双透镜配置的摄像装置捕获具有视差的左眼图像和右眼图像，必需如图1所示水平持握摄像装置10。
[0015]然而，当要捕获具有在垂直方向长的构图的图像时，使摄像装置倾斜90度并且捕获图像，这表示执行所谓的垂直持握图像捕获。
[0016]当使如图1所示具有双透镜配置的摄像装置10倾斜90度并且在垂直持握摄像装置的情况下捕获图像时，则在作为捕获图像而获得的左眼图像和右眼图像中没有生成水平方向上的视差。结果，这些图像是无法被显示为立体图像的图像。
[0017]图3是示出用于在当将具有立体图像捕获系统的双透镜配置的摄像装置10倾斜90度时垂直持握摄像装置的情况下捕获图像的处理的示例的图。
[0018]图4示出了通过如图3所示的在垂直持握摄像装置的情形下进行的图像捕获处理而获得的(a)左眼图像和(b)右眼图像。
[0019]通常，如此捕获的图像被显示为在显示期间被旋转90度的情况下的图4(c)、(d)的图像。
[0020]图5示出了:
[0021](a)显示在显示单元上的左眼图像(=图4(c))，以及
[0022](b)、(C)显示在显示单元上的右眼图像(=图4(d))。
[0023]虚线指示图像之间的偏差。
[0024]从图5(a)、(C)之间的虚线可以了解，在(a)左眼图像与(C)右眼图像之间不存在水平方向上的偏差。更具体地，不存在视差，并且甚至当这两个图像再显示在3D图像显示装置上时,无法感知到立体感。
[0025]另一方面，从图5(a)、(b)之间的虚线可以了解，在(a)左眼图像与(b)右眼图像之间发生了垂直方向上的偏差。当这两个图像显示在3D图像显示装置上时，仅感知到垂直图像偏差，并且无法获得立体感。
[0026]这是因为，3D显示器是被配置成通过将具有水平方向上的视差的两个图像输入到人的右眼和左眼而使得人感觉到立体感。
[0027]图6示出了:
[0028](A)由水平持握的立体摄像装置捕获的具有水平方向上的视差的、并且没有垂直方向上的偏差的左眼图像和右眼图像；以及
[0029](B)由垂直持握的立体摄像装置捕获的没有水平方向上的视差的、并且仅具有垂直方向上的偏差的左眼图像和右眼图像。
[0030]当(A)的图像对被显示在3D显示装置上时，可以感知到立体感，但是，甚至当(B)的图像对显示在3D显示装置上时，也无法感知到立体感。
[0031]如上所述，存在如下问题:在使用双透镜摄像装置的立体图像图像捕获中在垂直持握摄像装置的情形下所捕获的图像不能被3D显示装置所使用。
[0032]鉴于该问题，例如，专利文献1(JP2008-141514A)提出了用于使用具有双透镜配置的立体摄像装置的配置的方法，其中，当垂直持握摄像装置时，不记录右图像和左图像之一的捕获图像数据，从而节约了存储器。
[0033]另一方面，专利文献2(JP2009-188931A)提出了下述方法:该方法用于通过在垂直持握摄像装置的情况下使得图像捕获元件机械地旋转和移动来捕获立体图像。
[0034]然而，专利文献I (JP2008-141514A)是下述处理:该处理当在垂直持握摄像装置的情形下捕获图像时禁用了立体图像捕获，并且本质上，这不是用于实现立体图像捕获处理的解决方案。
[0035]另一方面，专利文献2 (JP2009-188931A)的解决方案在垂直持握摄像装置时启用立体图像捕获。然而，为了实现图像捕获元件的机械旋转，存在如下问题:增加了图像捕获设备的大小，并且右眼和左眼两者的方向和位置可能由于机械精度而发生偏差。另外，在水平持握模式与垂直持握模式之间进行切换存在时滞，并且不可能处理立即图像捕获，另外，存在如下问题:在运动图片图像捕获处理期间，难以在水平持握模式与垂直持握模式之间进行切换。
[0036]引用列表
[0037]专利文献
[0038]专利文献I JP2OO8-Hl5HA
[0039]专利文献2 JP2009-188931A
【发明内容】
[0040]本发明要解决的问题
[0041]本公开是例如鉴于以上问题而做出的，并且本公开的目的是提供能够生成可以立体地感知的图像而不依赖于如何持握摄像装置的图像处理设备、图像处理方法和程序。
[0042]根据本公开的示例，目的是提供一种如下图像处理设备、图像处理方法和程序:其通过提供用于根据由立体摄像装置捕获的右2D图像和左2D图像中的任一个生成右视差图像和左视差图像的功能(2D/3D转换功能)，甚至当垂直持握立体摄像装置时也能够生成可以从其感知到立体感的视差图像。
[0043]问题的解决方案
[0044]本公开的第一方面是图像处理设备，该图像处理设备包括:
[0045]图像输入单元，被配置成接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；以及
[0046]图像捕获角度确定单元，被配置成输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号，
[0047]其中，在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像，以及
[0048]在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。
[0049]此外，依照根据本公开的图像处理设备的实施例，所述图像处理设备包括:深度图生成处理单元，用于生成基于所述输入图像的深度图，并且所述立体图像生成处理单元应用所述深度图来执行根据被摄对象距离而设置视差的二维-三维转换处理，从而生成左眼图像和右眼图像。
[0050]此外，依照根据本公开的图像处理设备的实施例，图像处理设备包括:
[0051]图像旋转单元，被配置成将输入到所述立体图像生成处理单元中的图像旋转90度；
[0052]深度图生成处理单元，被配置成生成基于所述输入图像的深度图；以及
[0053]深度图旋转单元，被配置成将所述深度图生成处理单元生成的深度图旋转90度，
[0054]其中，所述立体图像生成处理单元接收来自所述图像旋转单元的旋转了 90度的图像以及来自所述深度图旋转单元的旋转了 90度的深度图，并且所述立体图像生成处理单元通过基于所输入的数据执行根据被摄对象距离而设置视差的二维-三维转换处理来生成左眼图像和右眼图像，从而生成左眼图像和右眼图像。
[0055]此外，依照根据本公开的图像处理设备的实施例，所述图像捕获角度确定单元生成和输出下述控制信号:利用该控制信号，能够确定如下所述的三种类型的图像捕获角度(a)至(C):
[0056](a)所述输入图像是通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像；
[0057](b)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在顶部并且该摄像装置的右侧在底部的捕获图像；以及
[0058](c)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在底部并且该摄像装置的右侧在顶部的捕获图像。
[0059]此外，依照根据本公开的图像处理设备的实施例，所述立体图像生成处理单元通过执行没有应用深度图的二维-三维转换处理而生成左眼图像和右眼图像。
[0060]此外，依照根据本公开的图像处理设备的实施例，所述图像处理设备具有用于从外部接收基于所述输入图像的深度图的配置，并且所述立体图像生成处理单元通过执行下述二维-三维转换处理而生成左眼图像和右眼图像:在该二维-三维转换处理中，通过应用从外部接收的深度图而根据被摄对象距离设置视差。
[0061]此外，依照根据本公开的图像处理设备的实施例，在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，所述图像处理设备将用于接收左眼图像和右眼图像中的任一个的控制信号或者用于捕获左眼图像和右眼图像中的任一个的控制信号输出到图像捕获设备。
[0062]此外，依照根据本公开的图像处理设备的实施例，所述图像处理设备具有深度图生成处理单元，所述深度图生成处理单元用于生成基于所述输入图像的深度图，并且所述图像捕获角度确定单元执行所述深度图的分析处理，并基于分析结果而确定所述输入图像的图像捕获期间的摄像装置的角度，并且输出与确定结果对应的控制信号。
[0063]此外，本公开的第二方面是由图像处理设备执行的图像处理方法，该图像处理方法包括:
[0064]图像输入处理，用于接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；
[0065]图像捕获角度确定处理，用于输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号；以及
[0066]用于选择性地执行包括以下处理的图像输出处理中的任一个的处理:用于在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像的处理；以及用于在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像的处理:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。
[0067]此外，本公开的第三方面是在图像处理设备上执行图像处理的程序，该程序使得图像处理设备执行:
[0068]图像输入处理，用于接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；
[0069]图像捕获角度确定处理，用于输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号；以及
[0070]用于选择性地执行包括以下处理的图像输出处理中的任一个的处理:用于在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像的处理；以及用于在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像的处理:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。
[0071]应注意，本公开的程序是由例如记录介质提供到例如能够执行各种程序和代码的信息处理设备和计算机系统的程序。通过使得由信息处理设备和计算机系统的程序执行单元执行程序来实现根据程序的处理。
[0072]本公开的其它目的、特征和优点将基于以下说明的本公开的实施例和附图根据更详细的描述而变得清楚。该说明书中的系统是多个设备集合的逻辑配置，并且每个配置的设备不一定限于设置在同一壳体内。
[0073]本发明的效果
[0074]根据本公开的示例的配置，实现了下述设备和方法:甚至在双透镜摄像装置在水平持握摄像装置的情形下捕获图像的情况或者双透镜摄像装置在垂直持握摄像装置的情形下捕获图像的情况中的任一情况下，该设备和该方法也可以输出能被显示为3D的立体图像。
[0075]更具体地，图像处理设备包括:图像输入单元，被配置成接收从不同视点捕获的左眼图像和右眼图像作为输入图像；以及图像捕获角度确定单元，被配置成输出与输入图像的图像捕获期间的摄像装置的角度对应的控制信号，其中，在控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为输入图像的左眼图像和右眼图像，并且在控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获而获得的垂直捕获图像的情况下，将作为输入图像的左眼图像和右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得立体图像生成处理单元执行基于单个图像的二维-三维转换处理而生成的左眼图像和右眼图像。
[0076]在该配置中，实现了下述设备和方法:甚至在双透镜摄像装置在水平持握摄像装置的情形下捕获图像的情况或者双透镜摄像装置在垂直持握摄像装置的情形下捕获图像的情况中的任一情况下，该设备和该方法也可以输出可以显示为3D的立体图像。
【专利附图】
【附图说明】
[0077]图1是用于说明利用水平持握的具有双透镜配置的立体摄像装置进行的图像捕获处理的不例的图。
[0078]图2是用于说明从利用水平持握的具有双透镜配置的立体摄像装置进行的图像捕获处理获得的图像的图。
[0079]图3是用于说明利用垂直持握的具有双透镜配置的立体摄像装置进行的图像捕获处理的不例的图。
[0080]图4是用于说明从利用垂直持握的具有双透镜配置的立体摄像装置进行的图像捕获处理获得的图像的图。
[0081]图5是用于说明从利用垂直持握的具有双透镜配置的立体摄像装置进行的图像捕获处理获得的图像的图。
[0082]图6是用于说明从利用水平持握的具有双透镜配置的立体摄像装置进行的图像捕获处理获得的图像以及从利用垂直持握的具有双透镜配置的立体摄像装置进行的图像捕获处理获得的图像的图。
[0083]图7是用于说明根据本公开的图像处理设备的示例的配置的图。
[0084]图8是用于说明根据本公开的图像处理设备的示例的配置的图。
[0085]图9是用于说明根据本公开的图像处理设备的示例的配置的图。
[0086]图10是用于说明根据本公开的图像处理设备的示例的配置的图。
[0087]图11是用于说明根据本公开的图像处理设备的示例的配置的图。
[0088]图12是用于说明根据本公开的图像处理设备的示例的配置的图。
[0089]图13是用于说明根据本公开的图像处理设备的示例的配置的图。
[0090]图14是用于说明基于深度图的图像捕获角度确定处理的图。
[0091]图15是用于说明根据本公开的图像处理设备的示例的配置的图。
【具体实施方式】
[0092]在下文中，将参照附图详细说明根据本发明的图像处理设备、图像处理方法和程序。将根据以下项进行说明。
[0093]1.根据本公开的图像处理设备的配置和处理的示例(示例I)
[0094]2.由深度图生成处理单元执行的深度生成处理
[0095]3.没有在其中生成任何深度图的图像处理设备的配置和处理的示例(示例2)[0096]4.从外部接收深度图的图像处理设备的配置和处理的示例(示例3)
[0097]5.由其中输出图像选择处理单元被设置为后处理的图像处理设备来执行的处理和配置的示例(示例4)
[0098]6.由被配置成不将深度图旋转90度的图像处理设备来执行的处理和配置的示例(示例5)
[0099]7.由具有用于将控制信号传送到图像捕获设备的配置的图像处理设备来执行的处理和配置的示例(示例6)
[0100]8.由通过应用深度图而在图像捕获角度确定单元中执行图像捕获角度确定处理的图像处理设备来执行的处理和配置的示例(示例7)
[0101]9.由应用于2D-3D转换处理的图像是右眼图像的图像处理设备来执行的处理和配置的示例(示例8)
[0102]10.其它示例
[0103]11.本公开的配置的总结
[0104][1.根据本公开的图像处理设备的配置和处理的示例(示例I)]
[0105]将参照图7和随后的图来说明根据本公开的图像处理设备的配置和处理的示例(示例I)。
[0106]图7是用于说明根据本公开的图像处理设备的示例的配置的图。
[0107]图像处理设备100包括右眼图像输入单元101、左眼图像输入单元102、图像捕获角度确定单元103、输出图像选择处理单元104、图像旋转单元105、深度图生成处理单元106、深度图旋转单元107和立体图像生成处理单元108。
[0108]图像处理设备100接收双透镜立体图像信号。输入图像信号是经由如图1和图3所示的设置在两个不同位置的透镜获得的所接收的两个图像，即，右眼图像和左眼图像。
[0109]应注意，在水平持握摄像装置的情况或者垂直持握摄像装置的情况中的任一情况下，图像捕获处理均是可能的。
[0110]输入到图像处理设备100的右眼图像和左眼图像分别被输入到右眼图像输入单元101和左眼图像输入单元102。
[0111]此外，图像捕获角度确定单元103接收用于确定输入图像的图像捕获期间的摄像装置的角度(即，是在水平持握摄像装置的情况下执行了图像捕获还是在垂直持握摄像装置的情况下执行了图像捕获)所需的信息，例如，图像捕获角度确定单元103接收用于检测图像捕获设备(摄像装置)的方向的传感器信息等。图像捕获角度确定单元103使用这样的传感器信息来确定“在垂直持握摄像装置的情形下进行的图像捕获处理”和“在水平持握摄像装置的情形下进行的图像捕获处理”。应注意，可配置成使得图像捕获设备的用户可以使用输入单元来输入当前图像捕获是在“垂直持握”还是“水平持握”摄像装置的情形下执行的。
[0112]图像捕获角度确定单元103做出的确定结果被作为控制信号输出到输出图像选择单元104、图像旋转单元106和深度图旋转单元107。
[0113]图像捕获角度确定单元103输出的控制信号包括三种类型的控制信号:在“在水平持握摄像装置的情形下进行的图像捕获处理”的情况下，控制信号是“O”;在“在垂直持握摄像装置的情形下进行的图像捕获处理”的情况下，即，如图2所示，图像捕获设备被确定为被布置成使得图像捕获设备的左眼侧在上侧(天花板方向)、右眼侧在下侧(地面方向)，控制信号是“I”;并且在摄像装置相对于如图2所示的设置被旋转180度的设置的情况下，即，图像捕获设备被确定为被布置成使得图像捕获设备的右眼侧在上侧(天花板方向)、左眼侧在下侧(地面方向)，控制信号是“2”。
[0114]输入到图像处理设备100的右眼图像输入单元101和左眼图像输入单元102的右立体图像和左立体图像两者都被输入到输出图像选择处理单元104。另一方面，从图像捕获角度确定单元103输出的控制信号也被输入到输出图像选择处理单元104。
[0115]图7示出了作为图像处理设备100的图像输出的示例的两种情况:(I)情况I [情况1]，(2)情况2 [情况2]。
[0116]情况I [情况I]是图像捕获角度确定单元103输出的控制信号是“O”的情况下的处理。
[0117]图像捕获角度确定单元103输出的控制信号是“O”的情况是在水平持握图像捕获设备的情况下执行图像捕获的情况。
[0118]当在水平持握摄像装置的情况下执行图像捕获处理时，输出图像选择处理单元104从图像捕获角度确定单元103接收到控制信号“O”。
[0119]当输出图像选择处理单元104从图像捕获角度确定单元103接收到控制信号“O”时，输出图像选择处理单元104在不进行任何改变的情况下输出已输入的右立体图像和左立体图像，作为图像处理设备100的输出。这些右立体图像和左立体图像成为作为图像处理设备100的输出的输出右眼图像和输出左眼图像。
[0120]另一方面，情况2[情况2]是图像捕获角度确定单元103输出的控制信号是“I”或“2”的处理。
[0121]图像捕获角度确定单元103输出的控制信号是“I”或“2”的情况是垂直持握图像捕获设备的垂直图像捕获的情况。
[0122]当执行垂直持握摄像装置的垂直图像捕获处理时，图像处理设备100将输入到右眼图像输入单元101和左眼图像输入单元102的两个图像之一从2D转换成3D，并且生成和输出用作立体图像的左眼图像和右眼图像。
[0123]将说明情况2 [情况2]的处理的流程的细节。
[0124]在执行在垂直持握摄像装置的情形下进行的图像捕获处理的情况下，输出图像选择处理单元104从图像捕获角度确定单元103接收到控制信号“I”或“2”。
[0125]当输出图像选择处理单元104从图像捕获角度确定单元103接收到控制信号“I”或“2”时，首先，输出图像选择处理单元104将所接收的右立体图像和左立体图像给予深度图生成处理单元105。深度图生成处理单元105执行立体匹配处理，并且生成和输出深度图。
[0126]深度图生成处理单元105执行所接收的两个图像的立体匹配处理，并且基于相应像素位置之间的偏差量，深度图生成处理单元105计算每个像素位置到被摄对象的距离(深度)，即，距摄像装置的被摄对象距离。
[0127]深度图生成处理单元105生成和输出将输入图像的每个像素与距离信息相关联的深度图。
[0128]深度图是指示构成图像的像素处的被摄对象的被摄对象距离(距摄像装置的距离)的数据，并且例如，深度图由通过将图像的每个像素处的被摄对象的距离信息转换成亮度信息而示出的图像构成。
[0129]更具体地，例如，如下配置的图像用作深度图:在该图像中，具有其被摄对象距离较小(距摄像装置较近)的被摄对象的像素是高亮度像素(亮像素)，并且具有其被摄对象距离较大(距摄像装置较远)的被摄对象的像素是低亮度像素(暗像素)。如上所述，深度图是用于将包括在图像中的被摄对象的距离保存为像素关联数据的数据，并且更具体地，深度图被生成为下述图像数据:在该图像数据中，例如，被摄对象距离被转换为像素值并且被设置。
[0130]此外，输出图像选择处理单元104将已接收的右立体图像和左立体图像中的任一个(在该示例中为左眼图像)输入到立体图像生成处理单元108。在输入之前，图像旋转单元106将输入左眼图像旋转90度，并且将其转换成在垂直方向长的图像数据。
[0131]在该旋转处理期间，图像旋转单元106使用从图像捕获角度确定单元103输出的控制信号而确定旋转方向。执行如下旋转处理:在该旋转处理中，根据控制信号是“I”还是“2”而正确地设置图像信号的顶部和底部。
[0132]从深度图生成处理单元105输出的深度图也经受深度图旋转单元107的旋转处理。
[0133]深度图旋转单元107也使用图像捕获角度确定单元103输出的控制信号来确定旋转方向。执行如下旋转处理:在该旋转处理中，根据控制信号是“I”还是“2”而正确地设置图像信号的顶部和底部。
[0134]已经受了旋转处理以变为正确的垂直朝向的图像和深度图被输入到立体图像生成处理单元108。
[0135]立体图像生成处理单元108根据已输入的右立体图像和左立体图像之一(在该示例中为左眼图像)生成用作立体图像的左眼图像和右眼图像对。
[0136]更具体地，立体图像生成处理单元108基于单个2D图像而生成具有被设置为应用于3D图像显示的视差的左眼图像和右眼图像。执行所谓的2D-3D转换处理以生成立体图像。应注意，在该2D-3D转换处理中，根据从深度图获得的被摄对象距离(深度)而执行视
差设置处理。
[0137]应注意，基于包括根据被摄对象距离(深度)的视差设置的2D-3D转换处理的立体图像生成处理可以采用在本申请的 申请人:先前提交的JP2011-124935A中所描述的处理。
[0138]当图像处理设备100接收到通过在垂直持握摄像装置的情形下进行的图像捕获处理而捕获的图像时，采用由立体图像生成处理单元108在2D-3D转换处理中生成的右眼图像和左眼图像来作为图像处理设备100的输出图像。
[0139]如上所述，当输入到图像处理设备的左眼图像和右眼图像是在水平持握摄像装置的情况下捕获的图像时，如图7所示的图像处理设备100在不进行任何改变的情况下输出左眼图像和右眼图像，并且当输入到图像处理设备的左眼图像和右眼图像是在垂直持握摄像装置的情况下捕获的图像时，如图7所示的图像处理设备100将这些图像中的任一个旋转90度，通过2D-3D转换处理生成左眼图像和右眼图像，并且输出如此生成的图像。
[0140]这些输出图像显示在3D图像显示装置上。利用该处理，在水平持握摄像装置的情况下捕获的图像和在垂直持握摄像装置的情况下捕获的图像两者都被显示为使得具有设置在水平方向上的视差的左眼图像和右眼图像对被显示在3D显示装置上，使得这实现了以使得观看者可以感觉到立体感的方式来显示3D图像。
[0141][2.由深度图生成处理单元执行的深度生成处理]
[0142]随后，将说明由深度图生成处理单元105执行的深度图生成处理的具体示例。
[0143]如上所述，深度图是用于指示在构成图像的像素处的被摄对象的被摄对象距离(距摄像装置的距离)的数据，并且例如，深度图由通过将图像的每个像素处的被摄对象的距离信息转换成亮度信息而示出的图像构成。
[0144]更具体地，例如，如下配置的图像用作深度图:在该图像中，具有其被摄对象距离较小(距摄像装置较近)的被摄对象的像素是高亮度像素(亮像素)，并且具有其被摄对象距离较大(距摄像装置较远)的被摄对象的像素是低亮度像素(暗像素)。
[0145]如上所述，深度图是用于将包括在图像中的被摄对象的距离保存为像素关联数据的数据，并且更具体地，深度图被生成为下述图像数据:在该图像数据中，例如，被摄对象距离被转换为像素值并且被设置。
[0146]由深度图生成处理单元105执行的深度图生成处理可采用使用立体匹配的常用方法。
[0147]更具体地，可以通过得到从不同视点获得的多个图像(即，在该示例中为输入到图像处理设备100的左眼图像和右眼图像)之间的关联来计算图像中的被摄对象距摄像装置的距离。
[0148]作为用于以高准确度或者以高速得到从多个视点获得的图像之间的关联的方法，已经提出了多种方法。
[0149]例如，作为用于以高准确度得到图像之间的关联的方法，JP2003-085566A公开了用于基于作为动态编程类型的维特比算法而将最优关联分配给水平扫描线上的像素行的方法。
[0150]另一方面，作为用于以高速得到图像之间的关联的方法，JP07-103734A公开了如下方法:该方法用于缩减图像以形成层级结构以及将低分辨率等级的关联检测的结果传送到高分辨率等级，从而缩减了高分辨率等级的关联搜索处理。
[0151]通过应用例如以上现有方法，如图1所示的图像处理设备100的深度图生成处理单元105可以执行深度图生成处理。
[0152][3.没有在其中生成任何深度图的图像处理设备的配置和处理的示例(示例2)]
[0153]随后，将说明由没有在其中生成任何深度图的图像处理设备执行的处理和配置的示例作为示例2。
[0154]图8是用于说明没有在其中生成任何深度图的图像处理设备100的配置的图。
[0155]与上述的如图7所示的图像处理设备的差别在于，没有设置如图7所示的深度图生成处理单元105和深度图旋转单元107。
[0156]如图8所示的图像处理设备100的立体图像生成单元108根据从图像旋转单元106接收的单个图像(B卩，在该示例中为单个左图像)来生成用作立体图像的左眼图像和右眼图像而没有使用任何深度图。
[0157]在作为与本专利申请具有相同 申请人:的在先申请的JP2010-063083A中描述了用于根据单个2D图像生成用作3D图像的左眼图像和右眼图像而没有使用任何深度图的2D-3D转换处理。
[0158]如图8所示的图像处理设备100的立体图像生成单元108采用例如在JP2010-063083A中描述的方法而根据单个2D图像生成用作3D图像的左眼图像和右眼图像。
[0159][4.从外部接收深度图的图像处理设备的配置和处理的示例(示例3)]
[0160]随后，将参照图9说明从外部接收深度图的图像处理设备的配置和处理的示例(示例3) ο
[0161]如图9所示的图像处理设备100与上述如图7所示的图像处理设备的不同之处在于，如图9所示的图像处理设备100没有如图7所示的深度图生成处理单元105和深度图旋转单元107。
[0162]更具体地，如图9所示的图像处理设备100与如图8所示的图像处理设备类似。
[0163]然而，如图9所示的图像处理设备100具有下述配置:该配置与图8所示的配置的不同在于，如图9所示的图像处理设备100从外部接收深度图。
[0164]如图9所示的图像处理设备100的立体图像生成单元108使用从外部接收的深度图而根据从图像旋转单元106接收的单个图像(即，在该示例中为单个左眼图像)来生成用作立体图像的左眼图像和右眼图像。
[0165]例如，图像捕获设备获得深度图，并将该深度图输入到图像处理设备。例如，图像捕获设备具有测量被摄对象距离的功能(诸如距离传感器)。图像捕获设备基于所测量的被摄对象距离信息而生成深度图并且将该深度图输出到图像处理设备100。立体图像生成处理单元108使用从外部接收的深度图而生成右立体图像和左立体图像，并且输出右立体图像和左立体图像。
[0166][由其中输出图像选择处理单元被设置为后处理的图像处理设备执行的处理和配置的示例(示例4)]
[0167]随后，将参照图10说明由其中输出图像选择处理单元被设置为后处理的图像处理设备执行的处理和配置的示例(示例4)。
[0168]如图10所示的图像处理设备100与上述如图7所示的图像处理设备不同，在于输出图像选择处理单元104被设置为图像处理设备100的最终处理单元。
[0169]由于输出图像选择处理单元104被配置成被设置在较靠后的级，因此立体图像生成处理单元108始终基于2D-3D转换处理而执行立体图像生成处理。
[0170]输出图像选择处理单元104始终接收以下图像中的每个:(I)由右眼图像输入单元101给出的右眼图像，⑵由左眼图像输入单元102给出的左眼图像，(3)由立体图像生成处理单元108基于单个图像通过2D-3D转换处理生成的包括左眼图像和右眼图像的立体图像。
[0171 ] 根据由图像捕获角度确定单元103给出的输入信号，输出图像选择处理单元104输出以下中的任一个:(1)由右眼图像输入单元101给出的右眼图像，⑵由左眼图像输入单元102给出的左眼图像，或者(3)由立体图像生成处理单元108基于单个图像通过2D-3D转换处理生成的包括左眼图像和右眼图像的立体图像，或者上述(I)、(2)的图像对，或者
(3)的图像对。[0172]在图像捕获角度确定单元103输出的控制信号是“O”的情况下，并且更具体地，在水平持握图像捕获设备的通常的水平图像捕获处理的情况下，输出图像选择处理单元104输出已输入的右立体图像和左立体图像而没有任何改变。更具体地，上述(I)和(2)的图像对被输出作为输出右眼图像和输出左眼图像。
[0173]另一方面，在图像捕获角度确定单元103输出的控制信号是“I”或“2”的情况下，并且更具体地，在垂直持握图像捕获设备的情况下，输出图像选择处理单元104输出(3)的图像。采用由立体图像生成处理单元108基于单个图像通过2D-3D转换处理生成的包括左眼图像和右眼图像的立体图像来作为输出图像。
[0174][6.由没有将深度图旋转90度的图像处理设备执行的处理和配置的示例(示例5)]
[0175]随后，将参照图11说明由被配置成不将深度图旋转90度的图像处理设备执行的处理和配置的示例(示例5)。
[0176]如图11所示的图像处理设备100与上述如图7所示的图像处理设备不同，在于如图11所示的图像处理设备100没有如图7所示的深度图旋转单元107，而具有布置在立体图像生成处理单元108之后的级的如图7所示的图像旋转单元106,以使得如图7所示的图像旋转单元106被配置为右眼图像旋转单元106R和左眼图像旋转单元106L。
[0177]在该配置中，如图11所示，立体图像生成处理单元108从输出图像选择单元104直接接收没有旋转90度的单个图像(在该示例中为左眼图像)。另一方面，立体图像生成处理单元108直接接收深度图生成处理单元105生成的深度图。
[0178]立体图像生成处理单元108使用深度图和没有经受旋转处理的单个2D图像来执行2D-3D转换处理，从而生成具有垂直方向上的视差的两个图像。
[0179]此后，两个视差设置图像被输入到右眼图像旋转单元106R和左眼图像旋转单元106L，并且被旋转90度，以使得右眼图像旋转单元106R和左眼图像旋转单元106L生成和输出反映实际被摄对象的垂直方向的图像。
[0180]应注意，右眼图像旋转单元106R和左眼图像旋转单元106L从图像捕获角度确定单元103接收根据图像捕获角度的控制信号。
[0181]右眼图像旋转单元106R和左眼图像旋转单元106L基于从图像捕获角度确定单元103接收的根据图像捕获角度的控制信号而执行旋转处理，并且生成和输出反映实际被摄对象的垂直方向的图像。
[0182][7.由具有用于将控制信号传送到图像捕获设备的配置的图像处理设备执行的处理和配置的示例(示例6)]
[0183]在图像处理设备100执行在垂直持握摄像装置的情形下进行的图像捕获处理的情况下，立体图像生成处理单元108生成和输出通过基于左眼图像和右眼图像中的任一个的2D-3D转换处理而生成的、用作立体图像的左眼图像和右眼图像。
[0184]因此，当在垂直持握摄像装置的情形下执行图像捕获时，包括左眼图像和右眼图像的两个图像中的任一个是非必需的。更具体地，仅捕获左眼图像和右眼图像中的任一个就足够，并且不需要对另一图像执行图像捕获处理。
[0185]当鉴于以上情形而在垂直持握摄像装置的情形下执行图像捕获时，本示例的如图12所示的图像处理设备执行控制，以便仅捕获包括左眼图像和右眼图像的两个图像中的一个。
[0186]如图12所示的图像处理设备示出了在执行这样的图像捕获控制的情况下的配置的示例。
[0187]图像处理设备100将控制信号输出到图像捕获设备200。
[0188]在如图12所示的图像处理设备100的图像捕获角度确定单元103的控制信号是指示在垂直持握摄像装置的情形下进行的图像捕获处理的控制信号的情况下，输出图像选择处理单元104将图像捕获停止命令信号或者捕获图像的输入停止命令输出到图像捕获设备200的右眼图像图像捕获单元。
[0189]在这样的设置中，图像捕获设备100不接收不必要的无用的右眼图像。
[0190]在这样的配置中，控制右眼图像的输入，使得减小带宽并且可以降低功耗。
[0191][8.由通过应用深度图而在图像捕获角度确定单元中执行图像捕获角度确定处理的图像处理设备执行的处理和配置的示例(示例7)]
[0192]随后，将说明由通过应用深度图而在图像捕获角度确定单元中执行图像捕获角度确定处理的图像处理设备执行的处理和配置的示例(示例7)。
[0193]在以上示例中，图像捕获角度确定单元103中的图像捕获角度确定处理被配置成使用从外部给出的信息的输入来执行，但是，可以考虑仅使用所接收的图像信息来进行确定的方法。
[0194]图13是用于说明根据本示例的图像处理设备的配置的图。
[0195]如图13所示的图像处理设备100被修改为如下配置:在该配置中，图像捕获角度确定单元103不接收用于检测图像捕获设备的方向的传感器信息等。在图13的配置中，图像捕获角度确定单元103接收输入右眼图像、输入左眼图像、以及由深度图生成处理单元105使用右立体图像和左立体图像生成的深度图。
[0196]图像捕获角度确定单元103使用该信息来确定用户执行在垂直持握摄像装置的情形下进行的图像捕获处理还是在水平持握摄像装置的情形下进行的图像捕获处理。
[0197]为了使图像捕获角度确定单元103根据右图像信号和左图像信号中的任一个或这两个图像信号来确定在哪个方向上持握图像捕获设备以执行图像捕获处理，例如，可以应用:(a)基于捕获图像中的人的面部的检测处理的图像捕获角度确定处理，(b)基于捕获图像中的人的身体的检测处理的图像捕获角度确定处理，(C)基于捕获图像中的天空区域的检测处理的图像捕获角度确定处理，(d)基于捕获图像中的地平线的检测处理的图像捕获角度确定处理，以及处理(a)至处理(d)中的任一个。
[0198]处理(a)至处理(d)可采用已有技术。例如，在以下文献中描述了(a)基于捕获图像中的人的面部的检测处理的图像捕获角度确定处理:
[0199]P.Viola, M.Jones: Robust Real-time Object Detection，IJCV2001。
[0200]在以下文献中描述了(b)基于捕获图像中的人的身体的检测处理的图像捕获角度确定处理:
[0201]N.Dalalj B.Triggs: Histograms of Oriented Gradients for HumanDetection, CVPR2005。
[0202]在以下文献中描述了(c)基于捕获图像中的天空区域的检测处理的图像捕获角度确定处理:[0203]J.Luo, Etz S.P.: A Physical Model-Based Approach to Detecting Sky inPhotographic Images.1EEE Trans, on Image Processing,第 3 期，第 11 卷,2002。
[0204]在以下文献中描述了(d)基于捕获图像中的地平线的检测处理的图像捕获角度确定处理:
[0205]S.T.Barnard:1nterpreting perspective images.ArtificialIntelligence21, 1983。
[0206]图像捕获角度确定单元103可以使用这些已有技术来确定用户在垂直持握摄像装置的情形下执行图像捕获处理还是在水平持握摄像装置的情形下执行图像捕获处理。
[0207]使用由深度图生成处理单元105生成的深度图的方法可以采用例如生成和使用如图14所示的深度图分析结果的方法。
[0208]图14示出了:(a)关于在水平持握立体摄像装置的情形下捕获的图像的深度图的分析结果，(b)关于在垂直持握立体摄像装置(左眼图像在上侧)的情形下捕获的图像的深度图的分析结果，以及(C)关于在垂直持握立体摄像装置(右眼图像在上侧)的情形下捕获的图像的深度图的分析结果。
[0209]所有的(a)至(C)示出了从图14的顶部到底部布置的三条数据，这三条数据包括:通过将空间低通滤波器(LPF)应用于深度图而获得的结果、从应用LPF的图像获得的垂直方向上的平均深度数据(水平轴是垂直方向上的像素位置，并且垂直轴是深度)、以及从应用LPF的图像获得的水平方向上的平均深度数据(水平轴是水平方向上的像素位置，并且垂直轴是深度)。
[0210]深度图及其应用LPF的结果以如下方式来表示:被摄对象距离(深度)越远，则亮度越高，并且被摄对象距离(深度)越近，则亮度越低。
[0211]基于顶部所示的应用LPF的深度图，计算每个以下数据；图14的中部所示的垂直方向上的平均深度的分布(每行的平均值)以及图14的底部所示的水平方向上的平均深度的分布(每列的平均值)。
[0212]从如图14的中部和底部所示的平均深度的分布可以看出，在水平持握摄像装置的情形下捕获的图像中的垂直方向上的平均深度的分布具有如下这样的分布趋势:关于图像的垂直轴，顶部的坐标具有较高(较远)值。
[0213]水平方向上的平均深度的分布具有如下这样的趋势:关于图像的水平坐标，几乎没有倾斜，并且分布趋于平坦。
[0214]在垂直持握摄像装置的情形下捕获的图像中的垂直方向上的平均深度的分布具有如下这样的趋势:关于图像的垂直坐标，几乎没有倾斜，并且分布趋于平坦。这可适用而与右眼和左眼中的哪个在顶部无关。
[0215]另一方面，水平方向上的平均深度的分布具有如下这样的分布趋势:关于图像的水平坐标，当在左眼在顶部的情形下捕获图像时，左部的坐标具有较高(较远)值，并且当在右眼在顶部的情形下捕获图像时，右部的坐标具有较高(较远)值。
[0216]如上所述，垂直/水平方向上的平均深度的分布根据图像捕获设备的方向而趋于为不同的分布。
[0217]图像捕获角度确定单元103接收由深度图生成处理单元105生成的深度图，并生成如图14所示的分析数据，并且基于所生成的分析数据而确定图像是在水平持握摄像装置的情形下还是在垂直持握摄像装置的情形下捕获的，此外，当图像是在垂直持握摄像装置的情形下捕获的时，图像捕获角度确定单元103确定左眼图像在顶部还是右眼图像在顶部。
[0218]根据确定结果，生成和输出以上说明的控制信号(O至2)。
[0219][9.在应用于2D-3D转换处理的图像是右眼图像的情况下由图像处理设备执行的处理和配置的示例(示例8)]
[0220]在关于以上示例的说明中，例如，由立体图像生成处理单元108执行的2D/3D转换处理的处理目标图像是左眼图像。替选地，由立体图像生成处理单元108执行的2D/3D转换处理的处理目标图像可以是右眼图像。
[0221 ] 与如图7所示的图像处理设备不同，如图15所示的图像处理设备被配置成使得立体图像生成处理单元108接收右眼图像。
[0222]立体图像生成处理单元108接收右眼图像，并且基于右眼图像执行2D-3D转换处理，从而生成和输出用作立体图像的左眼图像和右眼图像。
[0223]在上述示例2至示例7中，立体图像生成处理单元108可被配置成接收右眼图像，并且可被配置成基于右眼图像执行2D-3D转换处理，从而生成和输出用作立体图像的左眼图像和右眼图像。
[0224]应注意，是执行基于左眼图像的2D-3D转换处理还是执行基于右眼图像的2D-3D转换处理可被配置成在立体图像生成处理单元108中来选择和应用。
[0225]例如，用于选择图像的确定处理可以是例如下述处理模式:该处理模式用于根据从图像捕获角度确定单元103向输出图像选择处理单元104给出的控制信号来确定要处理哪个图像。
[0226]例如，在垂直持握的图像捕获设备的上侧(天花板方向)捕获的图像被配置成被选作处理目标。
[0227]在这样的设置中，在所接收的控制信号是“I”的情况下，左侧的图像可以被选作2D-3D转换目标图像，并且在所接收的控制信号是“2”的情况下，右侧的图像可以被选作2D-3D转换目标图像，并且该图像可以被选择和输出到立体图像生成处理单元108。
[0228]可考虑如下方法作为其它选择准则:该方法例如确定和选择当从人的眼睛来看时右图像和左图像中的哪个看起来是优选的。例如，用于选择主要被摄对象更靠近构图中心的图像或者选择焦点位置更好地匹配的图像的方法。用于执行确定信息的图像评估单元被配置在图像处理设备100中，并且图像评估单元的评估结果被输入到输出图像选择处理单元 104。
[0229]输出图像选择处理单元104根据所接收的评估结果而选择高评估度的图像，并且将该图像输出到立体图像生成处理单元108。
[0230]应注意，用于从所捕获的图像当中自动地评估在所有透视中优选的图像的处理可采用例如JP2010-119097A中所描述的配置。
[0231][10.其它示例]
[0232]在上述示例中，输入到图像处理设备100的图像被视为由具有右图像捕获元件和左图像捕获元件的双透镜图像捕获设备获得的右立体图像和左立体图像。然而，输入到图像处理设备100的图像可以是由具有单个透镜的立体图像图像捕获设备获得的右立体图像和左立体图像的输入。
[0233]应注意，使用具有不是双透镜配置的单透镜配置的图像捕获设备的右立体图像和左立体图像的图像捕获和生成处理可以是例如在JP2011-35853A中描述的配置。
[0234]与在JP2011-35853A中描述的配置类似，可以采用使用具有单透镜配置的图像捕获设备的右立体图像和左立体图像来作为输入。
[0235][11.本公开的配置的总结]
[0236]以上已参照具体示例详细说明了本公开的配置。然而，应理解，本领域技术人员可以修改示例和使用替选而不偏离本公开的主旨。换言之，以示例的形式公开了本发明，并且本发明不应以限制性方式来解释。为了确定本发明的主旨，应参考权利要求。
[0237]应注意，该说明书中公开的技术可如下来配置。
[0238](I) 一种图像处理设备，包括:
[0239]图像输入单元，被配置成接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；以及
[0240]图像捕获角度确定单元，被配置成输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号，
[0241]其中，在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像，以及
[0242]在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。
[0243](2)根据(I)所述的图像处理设备，其中，所述图像处理设备包括:深度图生成处理单元，用于生成基于所述输入图像的深度图，并且所述立体图像生成处理单元应用所述深度图来执行根据被摄对象距离而设置视差的二维-三维转换处理，从而生成左眼图像和右眼图像。
[0244](3)根据(I)或(2)所述的图像处理设备，其中，所述图像处理设备包括:图像旋转单元，被配置成将输入到所述立体图像生成处理单元中的图像旋转90度；深度图生成处理单元，被配置成生成基于所述输入图像的深度图；以及深度图旋转单元，被配置成将所述深度图生成处理单元生成的深度图旋转90度，其中，所述立体图像生成处理单元接收来自所述图像旋转单元的旋转了 90度的图像以及来自所述深度图旋转单元的旋转了 90度的深度图，并且所述立体图像生成处理单元通过基于所输入的数据执行根据被摄对象距离而设置视差的二维-三维转换处理，来生成左眼图像和右眼图像。
[0245](4)根据(I)至(3)中任一项所述的图像处理设备，其中，所述图像捕获角度确定单元生成和输出下述控制信号:利用该控制信号，能够确定如下所述的三种类型的图像捕获角度(a)至(c):(a)所述输入图像是通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像；(b)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在顶部并且该摄像装置的右侧在底部的捕获图像；以及(C)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在底部并且该摄像装置的右侧在顶部的捕获图像。
[0246](5)根据⑴至(4)中任一项所述的图像处理设备，其中，所述立体图像生成处理单元通过执行没有应用深度图的二维-三维转换处理而生成左眼图像和右眼图像。
[0247](6)根据(I)至(5)中任一项所述的图像处理设备，其中，所述图像处理设备具有用于从外部接收基于所述输入图像的深度图的配置，并且所述立体图像生成处理单元通过执行下述二维-三维转换处理而生成左眼图像和右眼图像:在该二维-三维转换处理中，通过应用从外部接收的深度图而根据被摄对象距离设置视差。
[0248](7)根据(I)至(6)所述的图像处理设备，其中，在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，所述图像处理设备将用于接收左眼图像和右眼图像中的任一个的控制信号或者用于捕获左眼图像和右眼图像中的任一个的控制信号输出到图像捕获设备。
[0249](8)根据(I)至(7)中任一项所述的图像处理设备，其中，所述图像处理设备具有深度图生成处理单元，所述深度图生成处理单元用于生成基于所述输入图像的深度图，并且所述图像捕获角度确定单元执行所述深度图的分析处理，并基于分析结果而确定所述输入图像的图像捕获期间的摄像装置的角度，并且输出与确定结果对应的控制信号。
[0250]此外，由上述设备等执行的处理的方法和执行该处理的程序也包括在本公开的配置中。
[0251]在说明书中说明的一系列处理可由硬件、软件或者这两种的组合配置来执行。当该系列处理由软件来执行时，记录处理序列的程序被安装到并入专用硬件的计算机中的存储器，或者程序可被安装到能够执行各种处理的通用计算机，并且可使得执行该程序。例如，程序可以被预先记录到记录介质。除了从记录介质安装到计算机之外，也可经由诸如LAN(局域网)和因特网的网络来接收程序，并且可将程序安装到诸如内部硬盘的记录介质。
[0252]应注意，在说明书中描述的各种处理不限于以如这里所述的时间序列来执行。替选地，各种处理可以根据执行处理的设备的处理性能或者根据需要而并行地或单独地来执行。在该说明书中，系统是多个设备的集合的逻辑配置，并且每个配置的设备不一定限于设置在同一壳体内。
[0253]工业适用性
[0254]如上所述，根据本公开的示例的配置，实现了下述设备和方法:甚至在双透镜摄像装置在水平持握摄像装置的情形下捕获图像的情况或者双透镜摄像装置在垂直持握摄像装置的情形下捕获图像的情况中的任一情况下，该设备和方法也可以输出可以被显示为3D的立体图像。
[0255]更具体地，图像处理设备包括:图像输入单元，被配置成接收从不同视点捕获的左眼图像和右眼图像作为输入图像；以及图像捕获角度确定单元，被配置成输出与输入图像的图像捕获期间的摄像装置的角度对应的控制信号，其中，在控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为输入图像的左眼图像和右眼图像，并且在控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获而获得的垂直捕获图像的情况下，将作为输入图像的左眼图像和右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得立体图像生成处理单元执行基于单个图像的二维-三维转换处理而生成的左眼图像和右眼图像。
[0256]在该配置中，实现了下述设备和方法:甚至在双透镜摄像装置在水平持握摄像装置的情形下捕获图像的情况或者双透镜摄像装置在垂直持握摄像装置的情形下捕获图像的情况中的任一情况下，该设备和方法也可以输出可以被显示为3D的立体图像。
[0257]附图标记列表
[0258]100图像处理设备
[0259]101右眼图像输入单元
[0260]102左眼图像输入单元
[0261]103图像捕获角度确定单元
[0262]104输出图像选择处理单元
[0263]105深度图生成处理单元
[0264]106图像旋转单元
[0265]106a右眼图像旋转单元
[0266]106b左眼图像旋转单元
[0267]107深度图旋转单元
[0268]108立体图像生成处理单元
【权利要求】
1.一种图像处理设备，包括: 图像输入单元，被配置成接收作为输入图像的从不同视点捕获的左眼图像和右眼图像；以及 图像捕获角度确定单元，被配置成输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号， 其中，在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像，以及 在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元中，并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。
2.根据权利要求1所述的图像处理设备， 其中，所述图像 处理设备包括:深度图生成处理单元，用于生成基于所述输入图像的深度图，以及 所述立体图像生成处理单元应用所述深度图来执行根据被摄对象距离而设置视差的二维-三维转换处理，从而生成左眼图像和右眼图像。
3.根据权利要求1所述的图像处理设备，其中，所述图像处理设备包括: 图像旋转单元，被配置成将输入到所述立体图像生成处理单元中的图像旋转90度； 深度图生成处理单元，被配置成生成基于所述输入图像的深度图；以及 深度图旋转单元，被配置成将所述深度图生成处理单元生成的深度图旋转90度， 其中，所述立体图像生成处理单元接收来自所述图像旋转单元的旋转了 90度的图像以及来自所述深度图旋转单元的旋转了 90度的深度图，并且所述立体图像生成处理单元通过基于所输入的数据执行根据被摄对象距离而设置视差的二维-三维转换处理，来生成左眼图像和右眼图像。
4.根据权利要求1所述的图像处理设备，其中，所述图像捕获角度确定单元生成和输出下述控制信号:利用该控制信号，能够确定如下所述的三种类型的图像捕获角度(a)至(C): (a)所述输入图像是通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像； (b)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在顶部并且该摄像装置的右侧在底部的捕获图像；以及 (C)所述输入图像是通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像，其中，所述输入图像是该摄像装置的左侧在底部并且该摄像装置的右侧在顶部的捕获图像。
5.根据权利要求1所述的图像处理设备，其中，所述立体图像生成处理单元通过执行没有应用深度图的二维-三维转换处理而生成左眼图像和右眼图像。
6.根据权利要求1所述的图像处理设备，其中，所述图像处理设备具有用于从外部接收基于所述输入图像的深度图的配置，以及 所述立体图像生成处理单元通过执行下述二维-三维转换处理而生成左眼图像和右眼图像:在该二维-三维转换处理中，通过应用从外部接收的深度图而根据被摄对象距离设置视差。
7.根据权利要求1所述的图像处理设备，其中，在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，所述图像处理设备将用于接收左眼图像和右眼图像中的任一个的控制信号或者用于捕获左眼图像和右眼图像中的任一个的控制信号输出到图像捕获设备。
8.根据权利要求1所述的图像处理设备，其中，所述图像处理设备具有深度图生成处理单元，所述深度图生成处理单元用于生成基于所述输入图像的深度图，以及 所述图像捕获角度确定单元执行所述深度图的分析处理，并基于分析结果而确定所述输入图像的 图像捕获期间的摄像装置的角度，并且输出与确定结果对应的控制信号。
9.一种由图像处理设备执行的图像处理方法， 所述图像处理方法包括: 图像输入处理，用于接收作为输入图像的从不同视点捕获的左眼图像和右眼图像； 图像捕获角度确定处理，用于输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号；以及 用于选择性地执行包括以下处理的图像输出处理中的任一个的处理:用于在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像的处理；以及用于在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像的处理:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。
10.一种在图像处理设备上执行图像处理的程序， 所述程序使得所述图像处理设备执行: 图像输入处理，用于接收作为输入图像的从不同视点捕获的左眼图像和右眼图像； 图像捕获角度确定处理，用于输出与所述输入图像的图像捕获期间的摄像装置的角度对应的控制信号；以及 用于选择性地执行包括以下处理的图像输出处理中的任一个的处理:用于在所述控制信号指示通过在水平持握双透镜摄像装置的情形下进行的图像捕获处理而获得的水平捕获图像的情况下，输出作为所述输入图像的左眼图像和右眼图像的处理；以及用于在所述控制信号指示通过在垂直持握双透镜摄像装置的情形下进行的图像捕获处理而获得的垂直捕获图像的情况下，将所述左眼图像和所述右眼图像中的任一个输入到立体图像生成处理单元并且输出通过使得所述立体图像生成处理单元执行下述二维-三维转换处理而生成的左眼图像和右眼图像的处理:该二维-三维转换处理用于通过基于单个二维图像的图像转换处理而生成用于三维图像显示的左眼图像和右眼图像。
【文档编号】H04N5/225GK103959770SQ201280057537
【公开日】2014年7月30日 申请日期:2012年10月19日 优先权日:2011年11月29日
【发明者】伊藤厚史, 山崎知洋 申请人:索尼公司