图像处理设备、图像处理方法及程序的制作方法
【专利摘要】在不造成偏光性能下降的情况下获取多个视点并且生成用于三维图像显示的图像。提供有第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；第二偏光装置，由第三偏光区域和完全透射区域组成；所述第三偏光区域仅允许所述第一偏光区域或所述第二偏光区域中任一个的透射光透过，并且所述完全透射区域使所述第一偏光区域和所述第二偏光区域的透射光透过；成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及图像处理单元，其对所述成像元件的输出信号执行信号处理。所述图像处理单元生成通过应用基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像、和基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像来反映对象距离的视差信息，并且借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
【专利说明】图像处理设备、图像处理方法及程序
【技术领域】
[0001]本公开内容涉及一种图像处理设备、图像处理方法及程序。更详细地，本公开内容涉及使用其执行能够立体地观看(立体视觉)的三维图像(3D图像)的生成处理等的一种图像处理设备、图像处理方法及程序。
【背景技术】
[0002]与可以作为具有深度的立体图像来观看的立体观看(立体视觉)兼容的图像通过组合左眼用图像和右眼用图像这两种图像而构成，这两种图像是来自不同视点的图像。为了获得来自这两个视点的图像，换言之双眼视差图像，例如两个成像设备彼此分开地设置在左右并且捕获图像。
[0003]所捕获的立体图像的配对由以下图像配对构成:由左侧成像设备捕获并且由左眼观察的左眼用图像，和由右侧成像设备捕获并且由右眼观察的右眼用图像。
[0004]由左眼用图像和右眼用图像对配置而成的立体图像对显示在能够将左眼用图像和右眼用图像分离开并且将左眼用图像和右眼用图像分别呈现给观察者的左眼和右眼的显示装置上，因此观察者能够将图像作为立体图像来感知。
[0005]但是，在使用两个照相机执行拍照以从两个不同视点捕获这些图像的情况下，需要两个照相机的极其困难的精确同步控制，并且会聚角的准确控制也极其困难。
[0006]例如，在专利文献I (JP6-054991B)中公开了以下立体成像设备:其中通过以具有相互正交关系来组合光偏振偏光滤波器以有利于调节用于执行立体成像的透镜系统来共享光学系统。
[0007]此外，例如，在专利文献2 (JP2004-309868A)中公开了使用由两个透镜和一个成像装置构成的成像设备来执行立体成像的方法。在该专利文献2中公开的成像设备组成以下配置:(a)透镜和水平分量偏光滤波器的组合配置；和6)透镜和竖直分量偏光滤波器的组合配置，其中各组合配置都设置在以预定距离与CCD的成像表面分隔开的位置处，并且彼此以与人类的视差对应的间隔分隔开，并且这两个组合配置(a)和(b)用于获取左眼图像和右眼图像。
[0008]引用列表
[0009]专利文献
[0010]专利文献I JP6-OM" IB[0011 ]专利文献 2 JP2004-309868A
【发明内容】
[0012]本发明所要解决的问题
[0013]顺便地，在上述专利文献I (JP6-054991B)中公开的技术中，透镜系统被两个偏光滤波器的输出共享，其中两个偏光滤波器被叠加以使得光路构成一个系统。
[0014]然而，需要附加地提供偏光滤波器以在随后的阶段提取右眼用图像和左眼用图像，并且通过将光路它们自身再一次划分来使得光入射在每个偏光滤波器上，并且存在如出现在透镜系统中的光损失、使设备尺寸较小很难等问题。
[0015]此外，在上述专利文献2 (JP2004-309868A)中公开的技术中，透镜和偏光滤波器的组合需要为两组，并且不可避免地设备变得更复杂并且尺寸较大。
[0016]本公开内容例如将上述问题考虑在内，并且其目的在于提供一种图像处理设备、图像处理方法及程序，通过该图像处理设备、图像处理方法及程序、通过对一个成像设备所捕获的图像执行处理来生成可以作为立体图像观察的图像。
[0017]技术方案
[0018]本公开内容的第一方面在于一种图像处理设备，包括:
[0019]第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；
[0020]第二偏光装置，所述第一偏光装置的透射光进入到所述第二偏光装置，并且所述第二偏光装置由第三偏光区域和完全透射区域组成；所述第三偏光区域仅允许所述第一偏光区域或所述第二偏光区域中任一个的透射光透过，并且所述完全透射区域使所述第一偏光区域和所述第二偏光区域的透射光透过；
[0021]成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及
[0022]图像处理单元，其对所述成像元件的输出信号执行信号处理，
[0023]其中，所述图像处理单元生成通过应用基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像、和基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像来反映对象距离的视差信息，并且借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0024]此外，在本公开内容的图像处理设备的一种实施方式中，基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像是所述第一偏光装置的中心位置用作视点的正常图像，基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像是所述第一偏光装置的所述第一偏光区域或所述第二偏光区域的重心位置中任一重心位置用作视点的右眼用图像或左眼用图像，以及所述图像处理单元应用作为所述第一视点图像的正常图像和作为所述第二视点图像的右眼用图像或左眼用图像的视点图像来生成左眼用图像或右眼用图像，作为不同于所述第二视点图像的第三视点图像，并且应用所述第二视点图像和所述第三视点图像来生成所述视差信息。
[0025]此外，在本公开内容的图像处理设备的一种实施方式中，所述图像处理单元借助于以下处理来生成左眼用图像或右眼用图像作为不同于所述第二视点图像的第三视点图像:从作为所述第一视点图像的所述正常图像的像素值中减去作为所述第二视点图像的右眼用图像或左眼用图像的像素值。
[0026]此外，在本公开内容的图像处理设备的一种实施方式中，由所述图像处理单元生成的视差信息是反映图像的对象距离信息的深度图，以及所述图像处理单元借助于所述第一视点图像的应用所述深度图的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0027]此外，在本公开内容的图像处理设备的一种实施方式中，所述第二偏光装置的第三偏光区域和完全透射区域是沿着作为成像元件平面的一个方向的第一方向以多个像素为单位重复设置的配置。
[0028]此外，在本公开内容的图像处理设备的一种实施方式中，所述第二偏光装置的第三偏光区域由线栅式偏振器配置，并且是具有沿着与所述成像元件的所述第一方向垂直的第二方向延伸的线的配置。
[0029]此外，在本公开内容的图像处理设备的一种实施方式中，所述图像处理单元:执行亮度调节，通过该亮度调节，作为基于所述第二偏光装置的所述第三偏光区域的透射光的所述第二视点图像的右眼用图像或左眼用图像的视点图像的亮度水平与基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像的亮度水平匹配，并且应用所述亮度调节之后的所述第二视点图像来生成所述视差信息。
[0030]此外，在本公开内容的图像处理设备的一种实施方式中，所述图像处理单元包括:插值处理单元，其对与所述第三偏光区域对应的像素位置的像素值进行插值，所述第三偏光区域没有包括在如下图像中，该图像基于来自与所述第二偏光装置的所述完全透射区域对应的所述成像元件的像素位置的成像元件输出；和去马赛克处理单元，其借助于由所述插值处理单元生成的插值图像的去马赛克处理来将各颜色的像素值设置到各像素位置，并且生成所述第一视点图像，以及所述图像处理单元对由所述去马赛克处理单元生成的所述第一视点图像执行应用所述视差信息的图像转换处理，并且生成用于三维图像显示的左眼用图像和右眼用图像。
[0031]此外，在本公开内容的图像处理设备的一种实施方式中，由图像处理单元执行的图像转换处理是2D/3D转换处理，利用所述2D/3D转换处理，借助于对作为二维2D图像的所述第一视点图像应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0032]此外，在本公开内容的图像处理设备的一种实施方式中，由所述图像处理单元执行并且应用所述视差信息的图像转换处理是2D/3D转换处理，利用所述2D/3D转换处理，通过对所述第一视点图像执行与对象距离对应的图像偏移处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0033]此外，本公开内容的第二方面在于一种对由成像装置捕获的图像执行图像处理的图像处理设备，其中
[0034]所述成像装置是对基于第一偏光装置的透射光的图像进行捕获的配置，所述第一偏光装置具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域，
[0035]所述图像处理设备:
[0036]输入第一视点图像和第二视点图像，所述第一视点图像由所述第一偏光区域和所述第二偏光区域的所有透射光组成，并且所述第二视点图像仅由所述第一偏光区域或所述第二偏光区域中任一个的透射光组成，
[0037]生成通过应用所述第一视点图像和所述第二视点图像来反映对象距离的视差信息，并且
[0038]借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0039]此外，本公开内容的第三方面是一种图像处理设备，包括:
[0040]第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；
[0041]第二偏光装置，所述第一偏光装置的透射光进入到所述第二偏光装置，并且所述第二偏光装置由仅允许所述第一偏光区域的透射光透过的第三偏光区域、仅允许所述第二偏光区域的透射光透过的第四偏光区域、和允许所述第一偏光区域和所述第二偏光区域的透射光透过的完全透射区域组成；
[0042]成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及
[0043]图像处理单元，其对所述成像元件的输出信号执行信号处理，
[0044]其中，所述图像处理单元应用基于所述第二偏光装置的所述第三偏光区域的透射光的视点图像、和基于所述第四偏光区域的透射光的视点图像来生成反映对象距离的视差信息，并且应用所述视差信息、借助于基于所述第二偏光装置的所述完全透射区域的透射光的视点图像的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0045]此外，本公开内容的第四方面在于一种用于在图像处理设备中对由成像装置捕获的图像执行图像处理的图像处理方法，其中
[0046]所述成像装置是对基于第一偏光装置的透射光的图像进行捕获的配置，所述第一偏光装置具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域，以及
[0047]在所述图像处理方法中，在图像处理单元中，
[0048]输入由所述第一偏振区域和所述第二偏振区域的所有透射光组成的第一视点图像、和仅由所述第一偏振区域或所述第二偏振区域中任一个的透射光组成的第二视点图像，
[0049]生成通过应用所述第一视点图像和所述第二视点图像来反映对象距离的视差信息，以及
[0050]借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0051]此外，本公开内容的第五方面在于种使得在图像处理设备中对由成像装置捕获的图像执行图像处理的程序，其中
[0052]所述成像装置是对基于第一偏光装置的透射光的图像进行捕获的配置，所述第一偏光装置具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域，以及
[0053]所述程序使得在图像处理单元中，
[0054]输入由所述第一偏振区域和所述第二偏振区域的所有所述透射光组成的第一视点图像、和仅由所述第一偏振区域或所述第二偏振区域中任一个的透射光组成的第二视点图像，
[0055]生成通过应用所述第一视点图像和所述第二视点图像来反映对象距离的视差信息，以及
[0056]借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0057]应当注意，本公开内容的程序例如是借助于存储介质提供给能够执行各种程序代码的信息处理装置或计算机系统的程序。与该程序对应的处理通过由程序执行单元在信息处理装置或计算机系统上执行的该种程序来实现。
[0058]本公开内容的其他附加目标、特征和优点通过基于下文所述的本公开内容的实施方式和附图的更加详细的说明将会变得明显。应当注意，在本说明书中，系统是指一组多个设备的逻辑配置，并且不限于同一外壳中的组成设备。
[0059]发明的效果
[0060]根据本公开内容的一种实施方式的配置，可以在不造成偏光性能下降的情况下获取多个视点图像并生成用于三维图像显示的图像。
[0061]具体地，提供了:第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；第二偏光装置，包括第三偏光区域和完全透射区域；所述第三偏光区域仅允许所述第一偏光区域或所述第二偏光区域中任一个的透射光透过，并且所述完全透射区域使所述第一偏光区域和所述第二偏光区域的透射光透过；成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及图像处理单元，其对所述成像元件的输出信号执行信号处理。所述图像处理单元生成通过应用基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像、和基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像来反映对象距离的视差信息，并且借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0062]根据本公开内容的一种实施方式的图像处理设备，在通过对设置在光学系统的光圈表面的光进行分离的偏光滤波器获取每个像素的左图像和右图像的照相机设备以及设置在图像传感器成像表面上的线栅式偏振器中，由于仅设置水平方向线栅式偏振器而不需要竖直方向线栅式偏振器，所以即使图像传感器具有小的像素大小也可以实现高偏光分离特征，并且可以维持左图像与右图像之间的视差分辨率性能。
【专利附图】
【附图说明】
[0063]图1是示出了本公开内容的图像处理设备的总体配置的图；
[0064]图2是示出了第二偏光部和成像元件的示例性配置的图；
[0065]图3是示出了第二偏光部的示例性配置的图；
[0066]图4是示出了第二偏光部和成像元件的示例性配置的图；
[0067]图5是示出了本公开内容的图像处理设备的图像处理单元的示例性配置的图；
[0068]图6是示出了偏光像素插值处理单元所执行的处理的示例的图；
[0069]图7是示出了偏光像素插值处理单元所执行的处理的示例的图；
[0070]图8是示出了视差检测单元所执行的处理的示例的图；
[0071]图9是示出了视差图像生成单元的示例性配置的图；
[0072]图10是描述了根据实施方式的增益控制单元的配置的框图；
[0073]图11是描述了在增益系数计算单元中执行的增益系数确定方法的示例的图；
[0074]图12是示出了增益控制单元中用于控制差分信号的幅度值的处理的示例的图；
[0075]图13是示出了在非线性转换单元中执行的非线性转换处理的示例的图；
[0076]图14是示出了在图像合成单元中执行的图像合成处理的图；
[0077]图15是示出了在图像合成单元中执行的图像合成处理的图；
[0078]图16是示出了第二偏光部的示例性配置的图；
[0079]图17是示出了第二偏光部和成像元件的示例性配置的图；
[0080]图18是示出了本公开内容的图像处理设备的图像处理单元的示例性配置的图；[0081]图19是示出了由视差检测用右眼图像生成单元执行的处理的图；
[0082]图20是示出了由视差检测用左眼图像生成单元执行的处理的图；
[0083]图21是示出了由视差检测用右眼图像生成单元执行的处理的图；
[0084]图22是示出了由视差检测用右眼图像生成单元执行的处理的图；
[0085]图23是示出了由视差检测用右眼图像生成单元执行的处理的图；以及
[0086]图24是示出了本公开内容的图像处理设备的图像处理单元的示例性配置的图。
【具体实施方式】
[0087]下文中，将参考附图来描述本发明的图像处理设备、图像处理方法及程序的详细内容。根据以下项给出说明。
[0088]1.关于图像处理设备的配置和处理示例(实施方式I)
[0089]2.关于线栅式偏光器的特征和问题
[0090]3.关于其中具有短线长度的线栅式偏光器被省略的实施方式(实施方式2)
[0091]4.关于其中根据右眼图像和正常图像进行视差检测并且生成深度图的实施方式(实施方式3)
[0092]5.本公开内容的配置的概要
[0093][1.关于图像处理设备的配置和处理示例(实施方式I)]
[0094]将参考图1及其后附图来描述图像处理设备的用作本公开内容的实施方式I的配置和处理示例。图1描述了作为图像处理设备的示例的成像设备的配置。
[0095]在图1 (A)所示的成像设备10中，与拍照对象对应的入射光通过拍摄镜头11进入。
[0096]通过拍摄镜头11进入的入射光通过第一偏光部12、光圈13、成像透镜14和第二偏光部15输入到成像兀件16。
[0097]应当注意，图1 (A)是从上看成像设备(照相机)10的图，换言之，为俯视图。成像设备10的不意图和图1 (A)的左下部的摄影者20以及由XYZ坐标轴所表不的，图1 (A)的成像设备的配置视图是从上看成像设备(照相机)10的图。
[0098]如由在图1 (A)的中心附近描绘的虚竖线(X轴)表示的，图1 (A)的顶侧是如从摄影者看去的右(R)侧，并且图1 (A)的底侧是从摄影者看去的左(L)侧。
[0099]成像元件16是光电转换元件如CXD或CMOS，并且生成与对象光对应的电信号以及将电信号输出给图像处理单元17。
[0100]根据预定义算法的信号处理在图像处理单元17处被执行，并且用作处理结果的图像数据被存储在存储单元18中。
[0101]下文描述图像处理单元17的配置和处理的详细内容。
[0102]在图1 (A)所描绘的配置中，第一偏光部12具有图1 (B)所示的配置，并且第二偏光部15具有图1 (C)所描绘的配置。
[0103]如图1 (B)所描绘的，第一偏光部12被划分成左右两个区域，并且由左半区域中的竖直偏光区域12V和右半区域中的水平偏光区域的不同偏光区域构成。应当理解，这些偏光区域使用例如偏光滤波器来配置。
[0104]竖直偏光区域12V仅允许竖直方向偏振光通过，从而通过竖直偏光区域12V的光是竖直方向偏振光。
[0105]水平偏光区域12H仅允许水平方向偏振光通过，从而通过水平偏光区域12H的光是水平方向偏振光。
[0106]图1 (B)所描绘的重心点31是竖直偏光区域12V的重心位置。该竖直偏光区域12V的透射光对应于使用重心点31作为视点观察的图像。
[0107]类似地，图1 (B)所描绘的重心点32是水平偏光区域12H的重心位置。该水平偏光区域12H的透射光对应于使用重心点32作为视点观察的图像。
[0108]换言之，使用作为竖直偏光区域12V的重心位置的重心点31作为视点的观察的图像对应于作为从左眼观察的图像的左眼视点图像(L图像)，并且使用作为水平偏光区域12H的重心位置的重心点32作为视点观察的图像对应于作为从右眼观察的图像的右眼视点图像(R图像)。
[0109]以此方式，对于透过第一偏光部12的图像，使得两个不同的左视点图像和右视点图像分别作为竖直偏振光和水平偏振光来透过。
[0110]这两个不同的视点图像，换言之，对应于左眼用图像的L图像的光(竖直偏振光)和对应于右眼用图像的R图像的光(水平偏振光)通过成像透镜14到达第二偏光部15。
[0111]应当注意，在以下说明中，“右眼用图像”和“左眼用图像”被简化并且分别写为“右眼图像”和“左眼图像”。
[0112]第二偏光部15具有图1 (C)所描绘的配置。如图1 (C)所描绘的,第二偏光部15具有如下配置:水平偏光区域15H、竖直偏光区域15V和完全透射(非偏光)区域15A三种类型的区域自顶而下按照此次序被重复设置。
[0113]水平偏光区域15H选择性地透过水平方向偏振光，并且使得图像由成像元件16仅根据水平偏振光来形成。
[0114]竖直偏光区域15V选择性地透过竖直方向偏振光，并且使得图像由成像元件16仅根据竖直偏振光来形成。
[0115]完全透射(非偏光)区域15A透过所有水平方向偏振光和竖直方向偏振光,并且使得图像由成像元件16根据所有的入射光来形成。
[0116]应当注意，设置在第二偏光部15中的偏光区域使用例如线栅式偏振器来配置。线栅式偏振器是具有五条线(例如Al (铝)线)以小的间隔并排设置的配置的偏光元件，并且展示出与线设置方向对应的偏光特征。
[0117]图2描绘了以下图:第二偏光部15和接收第二偏光部15的透射光的成像元件16被叠加。
[0118]关于成像元件16，例如，对具有RGB阵列(拜耳阵列)的成像元件进行描绘。
[0119]图2所描绘的示例性配置是以下示例:设置在第二偏光部15中的竖直偏光区域15V和水平偏光区域15H以成像元件的两行为单位彼此相邻设置，并且完全透射(非偏光)区域15A以12行为单位被设置。换言之，(a)两行竖直偏光区域15V、(b)两行水平偏光区域15H和(c) 12行完全透射(非偏光)区域15V这三种类型的区域沿着成像元件16的竖直方向(Y方向)被重复设置。
[0120]水平偏光区域15H选择性地仅透过水平方向偏振光，换言之，与透过在图1 (B)中描绘的水平偏光区域12H的右眼图像对应的R图像(水平偏振光)，并且使得右眼图像(R图像)由成像元件16形成。
[0121]竖直偏光区域15V选择性地仅透过竖直方向偏振光，换言之，与透过在图1 (B)中描绘的竖直偏光区域12V的左眼图像对应的L图像(竖直偏振光)，并且使得左眼图像(L图像)由成像元件16形成。
[0122]完全透射(非偏光)区域15A允许与透过在图1⑶所描绘的水平偏光区域12H的右眼图像对应的R图像(水平偏振光)和与透过在图1 (B)所描绘的竖直偏光区域12V的左眼图像对应的L图像(竖直偏振光)这两者图像透过。这些图像是与从作为图1 (B)所描绘的重心点31与重心点32之间的中心位置的中心点33看去的图像对应的图像。换言之，这些图像组成与其中偏光影响不引起视点偏差的正常单目照相机所捕获的正常图像相同的图像。
[0123]图2所描绘的示例性配置是第二偏光部15的示例性配置，并且是以下示例:竖直偏光区域15V和水平偏光区域15H以成像元件的两行为单位彼此相邻设置，并且完全透射(非偏光)区域15A以12行为单位被设置。
[0124]第二偏光部15的除此之外的各种配置也是可能的。
[0125]例如，如图3所描绘的，还可以设置如下配置:竖直偏光区域15V和水平偏光区域15H中的每个都被设置为矩形区域，并且这些矩形区域被交替设置。
[0126]图4是以下图:图3描绘的第二偏光部和具有RGB阵列的成像元件16被叠加和描
O
[0127]图4所描绘的不例是以下配置:竖直偏光区域15V和水平偏光区域15H被以由2 X 2布置的4个像素组成的矩形区域为单位来设置，并且这些交替设置的两行区域和14行完全透射(非偏光)区域15A沿着竖直方向(Y方向)被重复地设置。
[0128]在本配置中，由2X2布置的4个像素的矩形区域组成的水平偏光区域15H选择性地仅透过水平方向偏振光，换言之，与透过在图1 (B)中描绘的水平偏光区域12H的右眼图像对应的R图像(水平偏振光)，并且使得右眼图像(R图像)由成像元件16形成。
[0129]由2X2布置的4个像素的矩形区域组成的竖直偏光区域15V选择性地仅透过竖直方向偏振光，换言之，与透过在图1 (B)中描绘的竖直偏光区域12V的左眼图像对应的L图像(竖直偏振光)，并且使得左眼图像(L图像)由成像元件16形成。
[0130]完全透射(非偏光)区域15A允许与透过在(B)所描绘的水平偏光区域12H的右眼图像对应的R图像(水平偏振光)和与透过在图1 (B)所描绘的竖直偏光区域12V的左眼图像对应的L图像(竖直偏振光)这两者图像透过。这些图像是与从作为图1 (B)所描绘的重心点31与重心点32之间的中心位置的中心点33看去的图像对应的图像。换言之，这些图像组成的图像与从中心点33观察并且没有由偏光的影响引起的视点偏差的正常图像相同。
[0131]图5是示出了图1所描绘的图像处理单元17的详细配置的图。
[0132]如参考图2至图4所描述的，成像元件16被划分成三种类型的区域:(a)竖直偏光区域、(b)水平偏光区域和(C)完全透射(非偏光)区域，并且与这些区域中每个区域对应的信号被输入至图像处理单元17。
[0133]应当注意，在以下说明中，与成像元件16中的(a)竖直偏光区域和(b)水平偏光区域对应的像素被称为PL (偏振)像素。[0134]与(c)完全透射(非偏光)区域对应的像素被称为N (非偏振)像素。
[0135]成像元件16的输出由以下输出构成:PL像素输出(=与竖直偏光区域和水平偏光区域对应的像素的输出)和N像素输出(=与完全透射(非偏光)区域对应的像素的输出)。
[0136]此处，关于以下情况下的处理示例给出说明:PL像素输出和N像素输出从具有参考图3和图4描述的第二偏光部15和成像元件16的组合配置的成像元件16输出至图像处理单元17。
[0137]换言之，如参考图4所描述的，成像元件16具有以下配置:竖直偏光区域15V和水平偏光区域15H以由2X2布置的4个像素组成的矩形区域为单位交替设置的两行区域和14行完全透射(非偏光)区域15A沿着竖直方向(Y方向)被重复设置。
[0138]关于从图5所描绘的成像元件16中输出的像素信号，偏光区域像素(PL像素)和非偏光区域像素(N像素)的区域的像素输出的分离处理在图像处理单元17的偏光像素分离单元51中被执行。
[0139]借助于由偏光像素分离单元51进行的分离处理而分离出的N像素信号(非偏光像素信号)被输入到非偏光像素插值处理单兀52。
[0140]非偏光像素插值处理单兀52执行对于从N像素信号(非偏光像素信号)61丢失的像素区域，换言之，对于PL像素区域的像素的像素插值处理。具体地，插值处理被执行，其中，例如，参考向上及向下N个像素的像素值来计算并且设置PL像素区域的像素值。
[0141]借助于该像素插值处理，具有丢失像素值的所有PL像素区域的像素值被设置，并且与输入图像具有相同数目个像素的插值图像(2D原始图像)62被生成。插值图像(2D原始图像)62是任何RGB的像素值被设置到像素的图像。
[0142]非偏光像素插值处理单元52所生成的插值图像(2D原始图像)62组成以下图像:N图像信号(非偏光图像信号)被设置到成像元件16的组成像素的所有像素。该图像是一个2D (二维)原始图像，其与从图1 (B)所描绘的第一偏光部12的中心点33观察的图像相对应。
[0143]非偏光像素插值处理单元52所生成的插值图像(2D原始图像)62被输入到去马赛克处理单元53。
[0144]去马赛克处理单元53执行用于插值图像(2D原始图像)62的去马赛克处理以及其他照相机信号处理，并且执行到正常二维图像的转换。
[0145]去马赛克处理是其中在所有颜色信号中，例如，RGB颜色的像素值被设置在所有像素位置的处理，并且是在一般照相机中执行的处理。
[0146]由去马赛克处理单元53所生成的2D-RGB图像63被输入到视差图像生成单元56中。
[0147]同时，作为借助于偏光像素分离单元51所进行的分离处理而生成的另一分离出的信号的PL像素信号(偏光像素信号)65组成不具有非偏光区域像素(N像素)的像素值的图像信号，并且仅由偏光区域像素(PL像素)的像素值组成。
[0148]该PL像素信号(偏光像素信号)65被输入到偏光像素插值处理单兀54中。
[0149]此处所描述的处理示例与参考图4所描述的配置相关，其中，竖直偏光区域15V和水平偏光区域15H以由2X2布置的4个像素组成的矩形区域为单位交替设置的两行区域和14行完全透射(非偏光)区域15A沿着竖直方向(Y方向)被重复设置。[0150]因此，借助于偏光像素分离单元51执行的分离处理生成的PL像素信号(偏光像素信号)65组成以下图像:其中，竖直偏光区域15V和水平偏光区域15H以2X2布置的4个像素组成的矩形区域为单位被交替设置的两行区域沿着竖直方向以14行为间隔设置。
[0151]偏光像素插值处理单元54选择仅竖直偏光区域15V和水平偏光区域15H以2X2布置的4个像素组成的矩形区域为单位交替设置的两行区域作为处理目标，并且关于这些PL像素区域执行图6所描绘的处理。
[0152]换言之，偏光像素插值处理单元54生成以下图像信号的图像:左眼图像信号(竖直偏光图像信号)66a，其中关于包括在PL像素信号(偏光像素信号)65中的PL像素区域，所有像素值被设置为与竖直偏光区域15V对应的像素值；以及右眼图像信号(水平偏光图像信号)66b，其中所有像素值被设置为与水平偏光区域15H对应的像素值。
[0153]应当注意，图6所描绘的左眼图像信号(竖直偏光图像信号)66a借助于像素值插值处理来生成，其中，包括在PL像素信号(偏光像素信号)65中的PL像素区域的水平偏光像素区域的像素值被重置(移除)，并且相邻的竖直偏光像素的像素值被用于设置这些重置像素的像素值。
[0154]类似地，图6所描绘的右眼图像信号(水平偏光图像信号)66b借助于像素值插值处理来生成，其中，包括在PL像素信号(偏光像素信号)65中的PL像素区域的竖直偏光像素区域的像素值被重置(移除)，并且相邻的水平偏光像素的像素值被用于设置这些重置像素的像素值。
[0155]因此，其中包括在左眼图像信号(竖直偏光图像信号)66a中的像素值已经被设置的图像组成了从图1 (B)所描绘的第一偏光部12的左侧的重心点31看去的图像，换言之，与左眼图像对应的图像。
[0156]类似地，其中包括在右眼图像信号(水平偏光图像信号)66b中的像素值已经被设置的图像组成了从图1 (B)所描绘的第一偏光部12的右侧的重心点32看去的图像，换言之，与右眼图像对应的图像。
[0157]以此方式，偏光像素插值处理单兀54关于包括在PL像素信号(偏光像素信号)65中的PL像素区域，对左眼图像和右眼图像中的每一个在水平方向丢失的信息进行插值，并且生成与输入图像具有相同数目个水平像素的左眼图像信号(竖直偏光图像信号)66a和右眼图像信号(水平偏光图像信号)66b。
[0158]偏光像素插值处理单元54所生成的这些图像被输入到视差检测单元55中。
[0159]视差检测单元55，关于图6所描绘的并且与输入图像具有相同数目个水平像素的左眼图像信号(竖直偏光图像信号)66a和右眼图像信号(水平偏光图像信号)66b的这两个图像，使用块匹配处理等，比较对应的像素并且获得对象偏差量以检测用作视差信息的对象距离。
[0160]换言之，借助于例如块匹配处理，左眼图像与右眼图像的像素之间的偏差被检测，并且与偏差的量对应的对象距离被计算。
[0161]视差检测单元55例如生成包括与像素对应的对象距离信息的深度图67。
[0162]应当注意，深度图67是包括针对图像的每个组成像素的对象距离信息的数据。例如，深度图被配置为与对象距离对应的亮度值被设置的图像。
[0163]具体地，例如，具有小的对象距离的区域(靠近照相机)具有高的亮度，并且具有大的对象距离的区域(远离照相机)具有低的亮度，并且视差检测单元55生成已经进行了这些种类的像素值设置的深度图，并且将深度图输出给视差图像生成单元56。[0164]应当注意，关于由偏光像素插值处理单元54生成的左眼图像信号(竖直偏光图像信号)66a和右眼图像信号(水平偏光图像信号)66b的图像，尽管输入图像中的N像素(非偏光像素)区域没有图6所描绘的图像信号，但是视差检测单元55关于没有这些像素值的N像素(非偏光像素)区域来计算基于左眼图像信号(竖直偏光图像信号)66a的插值像素值被设置的左眼图像和基于右眼图像信号(水平偏光图像信号)66b的插值像素值被设置的右眼图像，并且借助于这些图像之间的匹配处理来计算与所有像素对应的距离信息。
[0165]应当注意，在像素值插值处理中，例如，可以使用线性插值处理等。
[0166]应当注意，由偏光像素插值处理单元54生成的视差图像(LR图像)仅用于在下一级的视差检测单元55中生成深度图67，并且只要获得PL像素区域的视差就足够了。
[0167]从图6所描绘的视点看去的图像，换言之，左眼图像信号(竖直偏光图像信号)66a和右眼图像信号(水平偏光图像信号)66b的图像，是RGB信号被设置的图像；但是，用作视差图像的L图像和R图像可以仅使用包括在由偏光像素分离单元51输出的PL像素信号(偏光像素信号)65中的G像素来生成。
[0168]参考图7来描述仅使用这些G像素生成视差图像的示例性处理。
[0169]仅使用G像素生成视差图像的处理由图7所示的以下两个插值处理步骤组成。
[0170](a)插值处理步骤1=偏光区域中的G像素插值处理
[0171](b)插值处理步骤2=对于水平方向G像素线(行)的设置处理
[0172]图7 Ca)描绘了该处理:(a)插值处理步骤1=偏光区域中的G像素插值处理。
[0173]图7描绘了生成左眼图像信号(竖直偏光图像信号)的处理示例，换言之，是以下处理:与左眼图像信号对应的G像素基于包括在偏光像素分离单元51所生成的PL像素信号65中的左眼图像信号(竖直偏光图像信号)而被设置在成像元件16的所有像素区域中。
[0174]接着，如参考图3和图4所述的，作为左眼用图像信号的竖直偏光区域15V和作为右眼用图像信号的水平偏光区域15H作为2X2像素区域被重复地设置。
[0175]图7 Ca)描绘了仅两行偏光区域，并且描绘了以下像素区域?与2X2像素左眼图像信号对应的竖直偏光区域15V和与2X2像素右眼图像信号对应的水平偏光区域15H被交替设置。
[0176]首先，与右眼用图像对应的水平偏光区域15H的像素值被删除，并且此处基于与左眼图像信号对应的竖直偏光区域15V中的G像素的像素值的插值像素值被设置。
[0177]例如，图7 Ca)所描绘的G14和G23是借助于插值处理而生成的G像素值。
[0178]例如，G14的像素值G14是借助于以下表达式来计算的，该表达式使用与左眼图像信号对应的两个竖直偏光区域15V中相同行中左右最近的G像素的像素值(G12，G16)。
[0179]G14=(l/2) (G12+G16)
[0180]类似地，G23的像素值G23是借助于使用两个竖直偏光区域15V中相同行中左右最近的G像素的像素值(G21，G25 )的以下表达式来计算。
[0181]G23=(l/2) (G21+G25)
[0182]以此方式，当左眼用图像被生成时，基于与左眼用图像对应的左右竖直偏光区域15V的G像素值的线性插值处理在与右眼用图像对应的水平偏光区域15H的G像素设置位置处被执行。
[0183]借助于该处理，与左眼用图像对应的一个G像素的像素值被设置在两行偏光图像区域的每一列中。
[0184]用于将其中之一在每个列被设置的这些G像素设置为一行线的处理在图7 (b)中被描绘。换言之，等同于水平方向G像素线(行)的设置处理的(b)插值处理步骤2是此插值处理步骤2。
[0185]图7 (b)描绘了作为该插值处理步骤2的处理示例的两种技术(技术1、技术2)。
[0186](bl)第一种技术是以下处理:在图7 Ca)所描绘的步骤I中设置的、其中之一被设置在每一列的G像素值被并排设置在一行。
[0187]应当注意，尽管偏光区域以两行为单位来设置，但是关于两行竖直像素来输出一行G像素线。
[0188](b2)第二种技术是以下处理:在图7 Ca)描绘的步骤I中设置的、每一列中有一个的G像素值的两个相邻G像素值被用于计算一个新的G像素值以设置一行G像素线。
[0189]例如，如图7 (b)所描绘的，在(b2)中描绘的新的G像素的像素值Gl是根据上述表达式来计算的，
[0190]Gl= (1/2) (G21+G12) ?
[0191]类似地，在图7 (a)所描绘的步骤I中设置的两个相邻的G像素值用于计算G2、G3、G4 等。
[0192]通过执行技术I或技术2中任一技术被执行的插值处理步骤2，针对与偏光区域对应的行的像素完成与左眼视点图像对应的G像素的设置。
[0193]应当注意，尽管图7描绘了左眼图像信号(竖直偏光图像信号)被生成的处理示例，但是对于右眼图像信号(水平偏光图像信号)的生成处理，应该执行右眼图像信号(水平偏光图像信号)被使用并且竖直偏光区域15V被用作插值目标区域的插值处理。借助于该插值处理，可以执行与偏光区域的每个行中的右眼视点图像对应的G像素的设置。
[0194]以此方式，偏光像素插值处理单元54可以具有以下配置:左眼图像的G像素值被设置在偏光区域的插值图像和右眼图像的G像素值被设置在偏光区域的插值图像这两个插值图像被生成并且被提供给视差检测单元56。
[0195]视差检测单元55具有用作由输入到其中的仅这些G像素组成的视差图像的两个插值图像并且生成深度图67。
[0196]将参考图8来描述该处理。
[0197]在参考图7描述的由偏光像素插值处理单元54执行的插值图像生成处理中生成的插值图像是左眼图像的G像素值被设置在偏光区域中的插值图像和右眼图像的G像素值被设置在偏光区域的插值图像。
[0198]首先，视差检测单元55应用这些插值图像以计算与偏光区域的像素对应的视差，并且计算与视差对应的对象距离(D:深度)。
[0199]接下来，深度插值处理被执行，其中仅该偏光区域的深度信息被用于估计非偏光区域的深度。图8是描绘该深度信息插值的处理示例的图。
[0200]如图8所描绘的，在偏光区域中被设置的深度Dl和D2用于计算并且设置与非偏光区域的每个像素对应的深度。[0201]图8的示例描绘了以下示例:偏光区域被设置为单行，并且非偏光区域被设置为七行，以简化说明，并且Dl和D2中每一个组成与任意列的偏光区域的像素对应的深度信
肩、O
[0202]这些组成了借助于偏光像素插值处理单元54生成的插值图像而计算的深度信息，这些插值图像为:左眼图像的G像素值被设置在偏光区域的插值图像和右眼图像的G像素值被设置在偏光区域的插值图像。
[0203]此外，视差检测单元55基于该深度信息估计并且设置与非偏光区域中的像素对应的深度。图8描绘了基于与偏光区域的任意列中的两个像素对应的深度Dl和D2而计算的相同列的9项深度信息(D’ 1-D’ 9)的示例性计算处理。具体地，例如执行如以下的计算处理。
[0204]D’ I=Dl
[0205]D’ 2= (7/8) Dl+(1/8) D2
[0206]D’ 3= (6/8) Dl+(2/8) D2
[0207]::
[0208]Of 8= (1/8)Dl+(7/8)D2
[0209]D’ 9=D2
[0210]以此方式，通过执行使用Dl和D2的扩展处理，设置与距Dl和D2的距离对应的加权并且估计像素的深度来生成深度图。
`[0211]以此方式生成的深度图67被提供给视差图像生成单元56。
[0212]此处，已经关于扩展处理给出了说明，其中，在图8的示例中，为了简便起见，偏光区域为单一行，并且非偏光区域是七行；但是，在如图6描绘的偏光区域是两行的情况下，针对上面使用图7说明的偏光区域生成一行深度图。因为该深度图在虚拟意义上是偏光区域的两行的中心行的深度图，所以关于非偏光区域的k行和偏光区域的两行、通过以与对于图8的说明相同的方式来设置与距离对应的加权并且估计像素的深度来生成深度图。
[0213]如上所述，各种处理可以应用为用于偏光像素插值处理单元54中的视差信息计算的插值图像生成处理并且应用为视差检测单元55中的深度图67的生成处理。
[0214]接着，描述在视差图像生成单元56中执行的处理。
[0215]视差图像生成单元56使用作为从去马赛克处理单元53输出的二维图像的2D-RGB图像63和用作从视差检测单元55输出的视差信息的深度图67来生成左眼图像(L图像)71和右眼图像(R图像)72这两个图像。
[0216]换言之，其中对应于对象距离的视差基于用作视差信息的深度图67被设置的图像转换处理关于2D-RGB图像63来执行，并且左眼图像(L图像)71和右眼图像(R图像)72被生成并且被输出。
[0217]应当注意，在视差图像生成单元56中执行的该图像转换处理是以下处理:借助于基于一个二维图像(2D图像)的图像转换来生成并且输出适用于三维图像显示的左眼图像(L图像)71和右眼图像(R图像)72，并且是一般称为2D/3D转换处理的处理。
[0218]随后描述在视差图像生成单元56中执行的2D/3D转换处理的示例。应当注意，针对2D/3D转换处理提出了各种处理，并且应用另一种已知技术的2D/3D转换处理可以在视差图像生成单元56中执行，而不限于下文所述的处理。[0219]描述在视差图像生成单元56中执行的2D/3D转换处理的一个具体示例。
[0220]在视差图像生成单元56中，借助于使用深度图67的2D/3D转换处理，适用于三维图像显示的右眼图像和左眼图像根据从去马赛克处理单元53输入的一个图像、换言之根据2D-RGB图像63来生成。
[0221]视差图像生成单元56生成右眼图像和左眼图像，其中，与根据深度图获得的以像素区域为单位的对象距离信息对应的视差(偏移量)被生成并且经由图像输出单元57输出。
[0222]图9是描绘视差图像生成单元56的一种实施方式的配置的框图。
[0223]视差图像生成单元56执行其中通过提取输入图像信号的空间特征量来生成新视点的图像的处理，并且执行所提取的特征量的不同的强调处理。视差图像生成单元56由微分器81、增益控制单元82、非线性转换单元83和图像合成单元84构成。
[0224]微分器81根据输入到视差图像生成单元56的视频数据来提取亮度信号，并且生成亮度信号的微分信号(H)。具体地，通过例如输入图像的沿着水平方向的亮度信号并且对所输入的亮度信号进行一阶微分来生成信号。对于上述一阶微分处理，使用水平方向3抽头线性一阶导数滤波器等。
[0225]应当注意，尽管关于亮度信号在本实施方式中用作处理数据的示例给出了说明，但是还可以使用不是亮度信号的颜色信号(RGB等)作为处理目标数据。
[0226]通过将从微分器81输出的微分信号(H)与通过预定规则制定的系数(增益系数)相乘，增益控制单元82控制微分信号的幅度值，并且生成作为微分信号的校正信号的校正微分信号(H’)。
[0227]非线性转换单元83以非线性方式对从增益控制单元82输出的校正微分信号(H’ )进行转换，并且将结果作为视差强调信号(E’ )输出至图像合成单元84。
[0228]图像合成单元84例如执行以下处理:新视点的图像通过应用组成用作处理目标图像的视频数据的帧图像，和根据这些帧图像生成的空间特征量，换言之，亮度信号的校正微分信号(H’)，或通过对该校正微分信号进行非线性转换而生成的视差强调信号(E’)来生成。
[0229]应当注意，如在图9中由虚线所表示的，可允许以下配置:非线性转换单元83所执行的转换处理被省略，增益控制单元82所校正并且处理的校正微分信号(H’ )被直接输入到图像合成单元84，并且图像合成单元84应用校正微分信号来生成新视点的图像。
[0230]接着，描述由增益控制单元82执行的处理。
[0231]图10是描绘增益控制单元82的一种实施方式的配置的框图。在增益控制单元82中，输入微分信号的幅度值基于类似地输入的深度信息来控制。应当注意，在下文所描述的实施方式中，深度信息被描述为具有针对输入微分信号的每个像素的一个深度值，并且以已经被称为深度图的形式来输入。深度信息是根据由视差检测单元55生成的深度图67获取的信息。
[0232]增益系数计算单元91使用输入像素的深度信息来输出相应像素的增益系数。
[0233]乘法处理单元92关于所输入的微分信号的像素执行乘法处理，其中，微分信号(H)的幅度值被乘以从增益系数计算单元91输出的像素的增益系数，从而输出幅度值经受了增益控制的校正微分信号(H’)。
[0234]图11是描述了在增益系数计算单元91中执行的增益系数确定方法的示例的图。水平轴表示输入信号和深度信息。竖直轴表示在增益系数计算单元91中输出的增益系数输出。
[0235]增益系数计算单元91借助于预设函数f (X)来转换输入深度信息(In)，并且输出增益系数(Out)。
[0236]在该情况下，针对函数f(x)可以使用各种设置。
[0237]函数f (X)的示例是例如:
[0238]f (X) =A X X
[0239](其中A是常数)
[0240]使用如以上所示的表达式的线性一阶函数。A是预设常数，并且可以设置为各种值。
[0241]此外，增益系数计算单元91中的转换函数不限于线性一阶函数，并且此外，可以执行非线性转换。
[0242]关于深度信息，与微分信号的像素对应的值被输入，并且与像素对应的增益系数被输出。
[0243]图11是描绘了增益系数计算单元的输入值(深度信息)与输出值(增益系数)之间的对应关系示例的图。图11描绘了三个输入值(深度信息)和与其对应的三个输出值(增益系数)的示例。
[0244]输入值(深度信息)的示例是D1、D2和D3，并且被假设为与某三个像素对应的深度值。应当注意，深度是与从观察者(用户)或照相机到对象的距离对应的值。
[0245]深度(=对象距离)从近侧到远侧(远离用户或照相机)以D1〈D2〈D3的次序变大。此处，在图11中，深度信息In=O的位置是当所生成的图像被显示在三维显示设备上时在显示屏幕上被感知的点。
[0246]在该情况下，输出值(增益系数)的示例是Gl、G2和G3，并且这些是通过将值D1、D2和D3输入到图11的函数f(x)中而获得的值。
[0247]如在该示例中，增益系数计算单元91输出与微分信号的像素对应的增益系数。
[0248]图12描绘了增益控制单元82中用于控制微分信号的幅度值的处理的示例。
[0249]图12描绘了(a)输入信号、(b)微分信号、(C)深度信息和(d)后校正微分信号的示例。
[0250]图12 (a)是输入图像信号的示例。
[0251]图12 (b)是图12 Ca)的输入图像信号经受了微分处理的图像。
[0252]图12 (C)是与图12 Ca)的输入图像信号对应的深度信息，并且是深度值已经被应用于通过将图像分成三个部分而产生的区域的简单信息。
[0253]此处，在图11中被限定的深度信息值D3、D2和Dl (01〈02〈03)在图像信号中从上部按该次序来应用，对于该图像信号，图12 (c)的深度信息被表示。
[0254]在该情况下，根据图11所示的深度与增益值之间的关系，与图12 (b)的微分信号的像素相乘的增益值从图像的上部依次为G3、G2和Gl (G1〈G2〈G3)。
[0255]图12 Cd)的后校正微分信号是通过将图12 (b)的微分信号的像素与基于图12(C)的深度信息的增益值相乘而产生的处理结果的示例。
[0256]在图12 (d)的后校正微分信号中，所乘的增益值越大，区域在屏幕中就越高(该区域越远)，并且所乘的增益越小，区域在屏幕中就越低(该区域就越近)。
[0257]从而，微分信号的幅度值增加时，区域在屏幕中变高(该区域越远)，并且微分信号的幅度值减小，区域在屏幕中越低(该区域越近)。
[0258]执行2D/3D转换处理的视差图像生成单元56使用具有与距离对应的不同幅度的微分信号来以此方式生成并且输出新视点图像。
[0259]接着，描述由非线性转换单元83执行的处理。非线性转换单元83生成视差强调信号(E’)，其中，经受根据距离的增益控制并且从增益控制单元82输出的校正微分信号(H’ )已经被非线性地转换，并且非线性转换单元83向图像合成单元84输出视差强调信号(E’)。
[0260]图13描绘了在非线性转换单元83中执行的非线性转换处理的示例。水平轴表示经受了根据距离的增益控制(校正)、从增益控制单元82输出并且是(亮度)校正微分信号的微分信号。竖直轴表示在非线性转换单元83中的非线性转换处理之后的输出。非线性转换单元83借助于指定的函数f(x)对所输入的校正微分信号(In)进行转换，并且输出视差强调信号(Out)。换言之，0ut=f(In)。在该情况下，针对函数f(x)可以使用各种设置。函数f(x)的示例如下。
[0261]f(X) =Xy
[0262]如上面表示的表达式等指数函数被使用，其中Y是预定系数并且可以设置为各种值。
[0263]此外，非线性转换单元83中的转换函数不限于指数函数，并且还可以执行线性转换。
[0264]图像合成单元84执行以下处理:从非线性转换单元83输出的视差强调信号、和被输入到视差图像生成单元56的2D图像被合成，从而生成新视点图像。
[0265]应当注意，如在图9中由虚线所表示的，可允许以下配置:非线性转换单元83所执行的转换处理被省略，并且校正微分信号(H’)被直接输入到图像合成单元84中，对于校正微分信号(H’)，通过增益控制单元82关于由微分器81所生成的微分信号进行与距离对应的增益控制。在该情况下，图像合成单元84执行以下处理:应用校正微分信号(H’)来生成新视点的图像，对于校正微分信号(H’)，根据深度(对象距离)进行了增益控制。
[0266]接着，描述由图像合成单元84进行的处理。
[0267]图像合成单元84执行以下处理:根据处理目标图像而生成的空间特征量，换言之，亮度信号的微分信号或通过对该微分信号进行非线性转换而生成的视差强调信号被应用于生成新视点的图像。
[0268]图14和图15描绘了在图像合成单元84中执行的图像合成处理的概念。
[0269]图14是距离较大的图像区域(具有很大深度的图像区域)，图15是距离较小的图像区域(具有很小深度的图像区域)，并且关于这些图像区域，按照降序来描绘以下信号:(a)输入信号(S)、(b)微分信号(H)、(C)后校正(增益控制)校正微分信号(H’)、(d)右偏移图像信号和(e )左偏移图像信号。
[0270]如果与图12的(C)深度信息相关联地描述，则例如图14表示与图12 (C)的上图像部的距离较大的图像区域(=D3 ;具有很大深度的图像区域)对应的处理示例。另一方面，图15表示图12 (C)下图像部的距离较小的图像区域(=Dl ;具有很小深度的图像区域)的处理示例。[0271]首先，对在图14中描绘的距离较大的区域(具有很大深度的图像区域)的处理示例进行描述。
[0272](a)图像信号(S)表示沿着视频数据的任意帧的任意一个水平线的亮度变化。给出一个线的示例:在中心部分存在具有高亮度的高亮度区域。在从线位置(xl)到线位置(x2)的区域A中，表示亮度逐渐增加的变化。在线位置(x2)到(x3)，存在高水平亮度被维持的高亮度部分，并且此后，在从线位置(x3)至线位置(x4)的区域B中，表示亮度逐渐减小的变化。
[0273](b)微分信号(H)是(a)输入信号的微分结果。该微分信号是在图9中描绘的视差图像生成单元56的微分器81中生成的信号。
[0274]如图14所描绘的，由微分器81生成的微分信号(H)在(a)输入信号(S)的亮度变化为正的区域A中取正值，并且在(a)输入信号的亮度变化为负的区域B中取负值。
[0275](C)后校正(增益控制)微分信号(H’)是在图9中描绘的视差图像生成单元56的增益控制单元82中生成的信号，并且是基于深度信息对图14的(b)微分信号进行了校正(经受增益控制)的信号。应当注意，在图14中描绘的示例是距离较大的图像区域(具有很大深度的图像区域；例如，图11和图12 (c)的D3)的处理示例，并且借助于较大增益(G3)的校正处理如参考图11和图12所述来执行，并且微分信号的幅度被校正为较大幅度。
[0276]图14 (C)中描绘的虚线是校正之前的信号(=(b)微分信号(H))，并且在图14 (C)中描绘的实线是在与距离对应的校正之后的校正微分信号(H’)。以此方式，借助于根据距离的增益控制来对校正微分信号(H’ )进行校正以使得幅度较大。
[0277](d)右偏移图像信号和(e)左偏移图像信号是由在图9中描述的图像合成单元84生成的信号。
[0278]例如，在从去马赛克处理单元53输入到在图5中描绘的视差图像生成单元56的2D图像是在图14 Ca)中描绘的输入图像的情况下，通过对该输入图像进行右偏移来生成(d)右眼图像信号。此外，通过对该输入图像进行左偏移来生成(e)左眼图像信号。
[0279]具体地，(d)右眼图像信号或(e)左眼图像信号是通过对(a)输入信号(S)和视差强调信号(E’)进行合成而生成的，其中视差强调信号(E’)是对(c)校正(增益控制)之后的校正微分信号(H’ )在非线性转换单元83中进行非线性转换的结果(非线性转换单元83的输出)。
[0280]如在图14 Cd)中描绘的，相比预校正微分信号(H)被合成的情况，在已经借助于大的增益(G3)校正了的校正微分信号(H’)被合成的情况下，生成具有大的右偏移量的图像信号。类似地，在图14 (d)中，生成具有大的左偏移量的图像信号。
[0281]接着，对在图15中描绘的距离小的图像区域(具有很小深度的图像区域)的处理示例进行描述。图15表示图12 (c)下图像部的距离小的图像区域(=Dl ;具有很小深度的图像区域)的处理示例。
[0282]Ca)输入信号和(b)微分信号与在图14中描绘的(a)输入信号和(b)微分信号相同。(b)微分信号(H)是(a)输入信号(S)的微分结果。该微分信号是在图9中描绘的微分器81中生成的信号。如图15所描绘的，由微分器81生成的微分信号在(a)输入信号的亮度变化为正的区域A中取正值，并且在(a)输入信号的亮度变化为负的区域B中取负值。
[0283](C)后校正(增益控制)校正微分信号(H’)是在图9中描绘的增益控制单元82中生成的信号，并且是基于深度信息对图15的(b)微分信号进行了校正(经受增益控制)的信号。
[0284]图15所描绘的示例是距离小的图像区域(具有大的深度的图像区域，例如，图11和图12 (c)的Dl)的处理示例；并且微分信号的幅度借助于参考图11和图12所述的小增益(Gl)被校正成小幅度。
[0285]图15 (c)中描绘的虚线是校正之前的校正信号(=(b)微分信号)，并且在图15(C)中描绘的实线是在与距离对应的校正之后的信号。以此方式，借助与距离对应的增益控制来将幅度校正为较小。
[0286](d)右眼图像信号和(e)左眼图像信号是由在图9中描述的图像合成单元84中生成的信号。图像合成单元84对(a)输入信号(S)和视差强调信号(E’)进行合成，其中视差强调信号(E’)是对校正(增益控制)之后的(c)校正微分信号(H’)在非线性转换单元83中进行非线性转换的结果(非线性转换单元83的输出)，从而生成(d)右眼图像信号或(e)左眼图像信号。
[0287]例如，在从去马赛克处理单元53输入到在图5中描绘的视差图像生成单元56的2D图像是在图15 Ca)中描绘的输入图像的情况下，通过对该输入图像进行右偏移来生成(d)右眼图像信号。
[0288]此外，通过对该输入图像进行左偏移来生成(e)左眼图像信号。
[0289]如在图15 Cd)中描绘的，相比预校正微分信号(H)被合成的情况，在已经借助于小的增益(Gl)校正了的校正微分信号(H’)被合成的情况下，生成具有小的右偏移量的图像信号。类似地，在图14 (d)中，生成具有小的左偏移量的图像信号。
[0290]以此方式，当要生成诸如被感知为距显示屏幕较远的图像的图像时，视差图像生成单元56在距离大的情况下生成具有大的幅度的校正微分信号的校正微分信号(图14和图15中的(c))，并且在距离小的情况下生成具有小的幅度的校正微分信号，并且借助于这些校正微分信号(或作为其非线性转换结果的视差强调信号)与(a)输入信号之间的合成处理，生成与从不同于输入图像的视点观察的图像对应的(d)右眼图像信号或(e)左眼图像信号。
[0291]使用数字公式来对(d)右眼图像信号和(e)左眼图像信号的这种生成处理进行描述。
[0292]与图14和图15的(a)输入信号对应的视频数据的亮度水平取为(S)，并且图14和图15的(b)中描绘的微分信号的信号电平取为(H)。
[0293]此外，用作在增益控制单元82中执行的微分信号的校正结果的校正微分信号的信号电平取为(H’)。
[0294]应当注意，当校正微分信号(H’ )被生成时，与(b)微分信号(H)相乘的增益值(G)由预设函数等基于深度信息(D)来确定。
[0295]在图14中表示的距离大的情况下的增益值取为G3，并且在图15中表示的距离小的情况下的增益值取为Gl。
[0296]在图14和图15所描绘的示例中，假设以下关系:G3>1>G1。
[0297]如果图14和图15的(C)后校正微分信号的信号电平被表达为(H’)，则(H’)可以通过以下表达式表示为使用增益值G3和Gl校正了的信号。[0298]图14中表示的距离大时的情况下的校正微分信号(H’ )如下。
[0299]H’=G3XH
[0300]图15中表示的距离小时的情况下的校正微分信号(H’ )如下。
[0301]H’ =GlXH
[0302]借助于这些表达式计算的信号具有图14和图15的(C)后校正微分信号的信号电平(H，)。
[0303]在图14 (C)所示的距离大的情况下，如果由实线表示的后校正微分信号(H’)与由虚线表示的预校正微分信号(=(b))相比较时，由实线表示的后校正微分信号(H’ )相比虚线表示的预校正微分信号具有较大的幅度。
[0304]另一方面，在图15 (C)所示的距离小的情况下，如果由实线表示的后校正微分信号(H’)与由虚线表示的预校正微分信号(=(b))相比较时，由实线表示的后校正微分信号(H’ )相比虚线表示的预校正微分信号具有较小的幅度。
[0305]这是因为，图14 (c)和图15 (c)中描绘的后校正微分信号是通过与不同增益值的相乘来生成。
[0306]换言之，对于在由视差检测单元55输出的深度图中具有大深度信息(距照相机的大距离)的像素，图14 (c)中表示的后校正微分信号通过将(b)微分信号与大的增益值相乘来生成并且被校正。
[0307]另一方面，对于在由视差检测单元55输出的深度图中具有小深度信息(距照相机的小距离)的像素，图15 (c)中表示的后校正微分信号通过将(b)微分信号与小的增益值相乘来生成并且被校正。
[0308]图14 (c)和图15 (c)中描绘的后校正微分信号根据先前例如参考图13描述的设置在非线性转换单元83中经受非线性转换处理，且生成视差强调信号(E’)。
[0309]图像合成单元84向其中输入与(a)输入信号对应的视频数据(S)和(C)后校正微分信号(H’)经受了非线性转换的视差强调信号(E’)，并且借助于例如以下表达式来生成右偏移图像/[目号(Right)或左偏移图像/[目号(Left)。
[0310]Right=S_E’
[0311]Left=S+E’
[0312]由此获得的/[目号是在图14 (d)和图15 (d)中由实线表不的右偏移图像/[目号,和在图14 (e)和图15 (e)中表不的左偏移图像信号。
[0313]但是，在图14 (d)、(e)和图15 (d)、(e)中用虚线表示的信号与使用视差强调信号(E)而生成的右偏移图像信号和左偏移图像信号对应，对于视差强调信号(E)，预校正微分信号，换言之，(b)微分信号(H)而不是(c)后校正微分信号被应用并且经受非线性转换；换言之，以下表达式被建立。
[0314]Right=S-E
[0315]Left=S+E
[0316]如果对表示图14和图15中的(d)右偏移图像信号和(e)左偏移图像信号的实线和虚线进行比较，则在图14所描绘的距离大的情况下，对于(d)右偏移图像信号和(e)左偏移图像信号两者，实线(后校正微分信号)相比虚线(预校正微分信号)具有较陡的边缘部(信号变化部)，并且该信号偏移相比(a)输入信号较大。[0317]另一方面，在图15所描绘的距离小的情况下，对于(d)右偏移图像信号和(e)左偏移图像信号两者，实线(后校正微分信号)相比虚线(预校正微分信号)具有较平滑的边缘部，并且该信号偏移相比(a)输入信号较小。
[0318]以此方式，视差图像生成单元56对从去马赛克处理单元53输入的2D-RGB图像63执行2D/3D转换处理，其中，从视差检测单元55输入的深度图67被用于执行与对象距离对应的视差设置，生成适于3D图像显示的左眼图像(L图像)71和右眼图像(R图像)72，并且借助于图像输出单元57输出左眼图像(L图像)71和右眼图像(R图像)72。
[0319]如上所述，图5中描绘的图像处理单元17获取根据设置在成像元件16上的偏振器而获取的不同视点的图像，换言之，右眼用图像和左眼用图像，并且基于这些图像，生成用作视差信息的深度图。
[0320]此外，借助于没有设置偏振器的像素来获取正常的二维图像，并且适于3D图像显示的高清左眼用图像和右眼用图像借助于根据该信息的图像处理来输出。
[0321]应当注意，在上述实施方式中，尽管参考图1等描述的第一偏光部12已经被描述为以下配置:水平偏光区域被设置到右侧并且竖直偏光区域被设置到左侧，但是这些设置可反转。
[0322]此外,可以应用不仅具有水平偏光和竖直偏光的组合而且还具有两个不同偏光方向的偏光区域的任意组合的配置，偏光区域诸如使得对角线方向的偏振光能够透过的偏光区域等。
[0323]应当注意，以下是必需的:使得第二偏光部15对应于第一偏光部12的偏光区域的设置，并且将具有相同组合的偏光区域设置为在第一偏光部12中设置的偏光区域。
[0324][2.关于线栅式偏振器的特征和问题]
[0325]如前所述，在图1中描绘的第二偏光部15的偏光区域具有以下配置:例如线栅式偏振器被使用。线栅式偏振器是具有五条线(例如Al (铝)线)以小的间隔并排设置的配置，并且展示出与线设置方向对应的偏光特征的偏光元件。
[0326]该线栅式偏振器的偏光分离特征受线的长度影响，并且如果线的长度很短，则存在不能展示足够的偏光特征的情况。因此，为了获取能够检测视差的状态下的右眼用图像信息和左眼用图像信息，设置在图1所描绘的第二偏光部15中的线栅式偏振器的线长度必须维持成至少恒定长度。
[0327]但是，必须减小固态成像元件的光学大小以减小成本和总体大小，并且还需要减小单一像素的大小以增加像素的数量。
[0328]但是，如果像素大小被减小，则例如在先前在图2和图4中描绘的像素布置中，线栅式偏振器的沿着竖直方向的线长度不可避免地被缩短。
[0329]换言之，例如在图2和图4所描绘的设置中，尽管线栅的沿着水平方向的线长度可以被设置为至多成像元件的横向长度，但是线栅式偏振器的沿着竖直方向的线长度不可避免地被限制成至多为两个像素的长度。
[0330]如果这样的短线被使用，则会出现偏光分离特征恶化的问题。
[0331]必须增加线长度以抑制偏光分离特征的恶化；但是，必须进行处理以将具有两个像素单位的竖直偏光区域15V如在图2和图4中描绘的那些区域设置成例如相比三个或更多个像素的竖直偏光区域较长。[0332]但是，利用这种配置，竖直方向偏光区域像素(PL像素)的数目增加，并且非偏光区域像素(N像素)的数目减少。从而，出现在图5所描绘的非偏光像素插值处理单元52中执行的插值的性能恶化的问题，并且能够生成的二维图像的图像品质下降。
[0333]因此，在如参考图1 (C)和图2描述的偏光区域设置配置等偏光区域设置配置和参考图3和图4描述的偏光区域设置配置被使用的情况下，会出现以下问题:难以(a)确保竖直方向偏光区域像素(PL像素)的偏光分离特征，而且难以(b)确保非偏光区域像素(N像素)的数目。
[0334][3.关于具有短的线长度的线栅式偏振器被省略的实施方式(实施方式2)]
[0335]下文中，作为本公开内容的图像处理设备的实施方式2，关于解决上述问题的配置给出说明，换言之，是关于以下示例性配置:针对成像元件而设置的第二偏光部的具有短的线长度的线栅式偏振器被省略。
[0336]为了解决维持上述线栅式偏振器的偏光分离特征的问题，在下文中描述的图像处理设备具有不需要竖直方向线栅式偏振器的配置；具体地，为以下配置:图1所描绘的成像设备中的第二偏光部15仅具有带有设置在其中的水平方向线栅式偏振器而不带有竖直方向线栅式偏振器的偏光区域(PL像素区域)，以及非偏光区域像素(N像素)。通过实施这种配置，偏光特征不被恶化，此外确保了足够数目的非偏光区域像素(N像素)。
[0337]在下文所述的示例性配置中，第二偏光部不具有竖直方向线栅式偏振器被设置的区域，并且仅由偏光区域构成，上述偏光区域由水平方向线栅式偏振器组成；因此，左眼或右眼中任意一个的视点图像不能从设置有线栅式偏振器的区域获得。但是，用于生成视差信息的左眼图像和右眼图像借助于由下文所述的图像处理单元所进行的处理来生成，并且深度图是基于这些生成的图像来生成。
[0338]此外，可以基于借助于具有足够数目个像素的非偏光区域像素(N像素)的图像的插值处理所生成的高品质2D图像以执行2D/3D转换处理来生成适于3D图像显示的左眼图像(L图像)和右眼图像(R图像)。
[0339]在参考图1所述的配置中，透过图1 (B)中描绘的第一偏光部12的竖直偏光区域12V的竖直偏振光透过图1 (C)中描绘的第二偏光部15的竖直偏光区域15V，并且到达成像设备的竖直偏光区域像素(竖直PL像素=左眼像素(L像素))。
[0340]穿过在图1 (B)中描绘的第一偏光部12的水平偏光区域12H的水平偏振光透过在图1 (C)中描绘的第二偏光部15的水平偏光区域15H，并且到达成像设备的水平偏光区域像素(水平PL像素=右眼像素(R像素))。
[0341]从而，左眼用像素所捕获的图像组成由透过在图1 (B)中描绘的第一偏光部12的左半部分的半圆区域的透射光形成的图像，并且其中，作为光轴中心的视点位于左半圆区域的重心点31。
[0342]此外，右眼用像素所捕获的图像组成由透过在图1 (B)中描绘的第一偏光部12的右半部分的半圆区域的透射光形成的图像，并且其中，作为光轴中心的视点位于右半圆区域的重心点32。
[0343]另一方面，在没有设置图1 (C)所描绘的第二偏光部15的线栅式偏振器的非偏光区域像素(N像素)中，形成以下图像:该图像由在图1 (B)中描绘的第一偏光部12的整体的透射光形成，并且其中，作为光轴的中心的视点位于中心点33。[0344]应当注意，在任一情况下，仅透过第一偏光部12后的阶段处设置的光圈13所限制的区域的光。
[0345]S卩，成像元件16的非偏光区域像素(N像素)获取通过将第一偏光部12的左半部分的半圆区域和第一偏光部12的右半部分的半圆区域这两个区域的透射光相加而产生的光。
[0346]换言之，如果成像元件的水平偏光区域像素(水平PL像素=右眼像素(R像素))的接收光信号取为PL (R)，成像元件的竖直偏光区域像素(竖直PL像素=左眼像素(L像素))的接收光信号取为PL (L)，并且成像元件的非偏光区域像素(N像素)的接收光信号取为N，则以下关系表达式被建立。
[0347]N=PL(R) +PL(L).....(表达式 I)
[0348]参考图16和图17来描述本实施方式中的第二偏光部的配置。
[0349]应当注意，在本实施方式中，成像设备的总体配置是在图1中所描绘的配置。
[0350]但是，第二偏光部15的配置与图像处理单元17的配置和处理不同。
[0351]图16描绘了本实施方式中成像设备的第二偏光部15的配置。
[0352]如图16所描绘的，第二偏光部15具有以下配置:水平偏光区域15H和完全透射(非偏光)区域15A这两个区域沿着竖直方向重复设置。
[0353]图17是第二偏光部15和接收第二偏光部15的透射光的成像元件16被叠加的图。关于成像元件16，作为示例对具有RGB阵列(拜耳阵列)的成像元件进行描绘。
[0354]图17所描绘的示例性配置是以下示例:设置在第二偏光部15中的水平偏光区域15H以成像元件的两行为单位被设置，并且完全透射(非偏光)区域15A以10行为单位被设置。换言之，(a)两行水平偏光区域15H和(b) 12行完全透射(非偏光)区域15V这两种类型的区域沿着成像元件16的竖直方向(Y方向)被重复设置。
[0355]水平偏光区域15H选择性地仅透过水平方向偏振光，换言之，与透过在图1 (B)中描绘的水平偏光区域12H的右眼图像对应的R图像(水平方向偏振光)，并且使得右眼图像(R图像)由成像元件16形成。
[0356]完全透射(非偏光)区域15A允许与透过在图1⑶所描绘的水平偏光区域12H的右眼图像对应的R图像(水平偏振光)和与透过在图1 (B)所描绘的竖直偏光区域12V的左眼图像对应的L图像(竖直偏振光)这两者图像透过。这些图像是与从作为图1 (B)所描绘的重心点31与重心点32之间的中心位置的中心点33看去的图像对应的图像。换言之，这些图像组成与不存在由偏光的影响引起的视点偏差的正常图像相同的图像。
[0357]在该配置中，不提供出现在参考图2和图4描述的配置中的竖直偏光区域15V。
[0358]换言之，在图17所描绘的示例中，水平方向线栅式偏振器仅沿着具有两个水平行的水平偏光区域15H来设置。在水平方向线栅的情况下，线长度可以被延长到至多图像传感器的水平大小，并且可以改善偏光分离特征。
[0359]如果设置有参考图16和图17描述的偏光区域的第二偏光部15用于在图1所描绘的成像设备10中捕获图像，则如以下的图像在成像元件16的区域中被捕获。
[0360]水平偏光区域15H=与右眼图像对应的R图像(水平偏振光)，在该右眼图像中，透过在图1 (B)中描绘的水平偏光区域12H的重心点32用作视点。
[0361]完全透射(非偏光)区域15A=从透过图1 (B)中描绘的水平偏光区域12H和竖直偏光区域12的中心点33看到的图像。
[0362]换言之，如果成像元件的水平偏光区域像素(水平PL像素=右眼像素(R像素))的接收光信号取为PL (R)，成像元件的非偏光区域像素(N像素)的接收光信号取为N，并且光没有被成像元件接收的竖直偏光区域像素(竖直PL像素=左眼像素(L像素))的接收光信号取为PL(L)，则以下关系表达式被建立。
[0363]PL (L) =N-PL (R).....(表达式 2 )
[0364]换言之，如在上面的表达式2中，左眼图像信号可以根据非偏光区域像素(N像素)的图像信号和右眼图像信号(PL(R))的图像信号来获得。
[0365]在本实施方式的成像设备中，在图1所描绘的成像设备100的图像处理单元17中，根据上述关系表达式，左眼图像信号根据非偏光区域像素(N像素)的图像信号和右眼图像信号(PL(R))来计算，并且基于该计算的信号来生成用作视差信息的深度图。
[0366]根据本实施方式的成像设备的总体配置与图1 (A)所描绘的配置相同。
[0367]但是，第二偏光部15的配置与图像处理单元17的配置与处理不同。
[0368]如参考图16和图17所描述的，第二偏光部15具有不包括竖直方向线栅式偏振器的配置，并且其中，具有按s (在图17中，s=2)行为单位布置在其中的水平方向线栅偏振器的偏光区域(PL像素区域)、和具有按t (在图17中，t=10)行为单位设置在其中的非偏光区域像素(N像素)的非偏光区域(N像素区域)沿着成像元件的竖直方向重复地被设置。
[0369]通过实施这种配置，偏光特征不被恶化，此外确保了足够数目的非偏光区域像素(N像素)。
[0370]在成像元件16中，以下两个图像在上述区域中被获取。
[0371]在设置有线栅式偏振器的偏光区域(PL像素区域)像素中，获取以下右眼图像:透过在图1 (B)中描绘的第一偏光部12的右侧的水平偏光区域12H的重心点32用作视点。
[0372]另一方面，在作为没有设置有线栅式偏振器的像素的非偏光区域(N像素区域)像素中，获取以下正常图像:透过在图1 (B)中描绘的第一偏光部12的左侧的竖直偏光区域12V以及右侧的水平偏光区域12H的重心点33用作视点。
[0373]S卩，在成像元件16中，第二偏光部15的设置有线栅式偏振器的偏光区域(PL像素区域)像素获取其中图1 (B)中描绘的重心点32用作视点的左眼图像，并且没有设置线栅式偏振器的非偏光区域(N像素区域)像素获取其中在图1 (B)中描绘的中心点33用作视点的正常图像。
[0374]图18是描绘了本实施方式的图像处理单元17的配置的图。
[0375]如参考图16和图17所描述的，成像元件16被划分成两种类型的区域:(a)水平偏光区域和(b)完全透射(非偏光)区域，并且与这些区域中每个区域对应的信号被输入至图像处理单元17。
[0376]在与水平偏光区域对应的成像元件16的像素中，以下左眼图像被捕获:图1 (B)的第一偏光部12的重心点32用作视点。
[0377]在与完全透射(非偏光)区域对应的成像元件16的像素中，以下正常图像被捕获:图1 (B)的第一偏光部12的中心点33用作视点。
[0378]应当注意，成像元件16的与水平偏光区域对应的像素被称为PL(R)像素。
[0379]与非偏光区域像素(N像素)对应的成像元件16的像素被称为N像素。[0380]关于从图18所描绘的成像元件16中输出的像素信号，偏光区域像素(PL (R)像素)和非偏光区域像素(N像素)的输出的分离处理在图像处理单元17的偏光像素分离单元101中被执行。
[0381]借助于由偏光像素分离单元101进行的分离处理而分离出的N像素信号(非偏光像素信号)121被输入到非偏光像素插值处理单元102。
[0382]非偏光像素插值处理单元102执行对于从N像素信号(非偏光像素信号)121丢失的像素区域，换言之，对于PL(R)像素区域的像素的像素插值处理。具体地，插值处理被执行，其中，例如，参考向上及向下N个像素的像素值来计算并且设置PL(R)像素区域的像素值。
[0383]借助于该像素插值处理，具有丢失像素值的所有PL(R)像素区域的像素值被设置，并且与输入图像具有相同数目个像素的插值图像(2D原始图像)122被生成。作为像素插值处理，可以使用用于针对每种颜色执行线性插值处理的方法、和用于执行方向选择类型的插值处理的方法，在该方法中根据通过颜色信号生成的亮度梯度来选择插值方向。
[0384]应当注意，原始图像是任意RGB的像素值针对像素而设置的图像。
[0385]非偏光像素插值处理单元102所生成的插值图像(2D原始图像)122是以下图像:N图像信号(非偏光图像信号)针对成像元件16的组成像素的所有像素而设置。该图像是一个2D (二维)原始图像，其与从图1 (B)所描绘的第一偏光部12的中心点33观察的图像对应。
[0386]非偏光像素插值处理单元102所生成的插值图像(2D原始图像)122被输入到去马赛克处理单元103。
[0387]去马赛克处理单元103执行用于插值图像(2D原始图像)122的去马赛克处理以及其他照相机信号处理，并且执行到正常二维图像的转换。
[0388]去马赛克处理是其中在所有颜色信号中，例如，RGB颜色的像素值被设置在所有像素位置的处理，并且是在一般照相机中执行的处理。
[0389]由去马赛克处理单元103所生成的2D-RGB图像123被输入到视差图像生成单元107 中。
[0390]应当注意，组成2D-RGB图像123的像素的RGB像素值被写为(R0，B0，G0)，其中2D-RGB图像123是基于N像素信号(非偏光像素信号)而生成的2D图像。
[0391]同时，作为借助于偏光像素分离单元101所进行的分离处理而生成的另一种分离出的信号的PL (R)像素信号(偏光像素信号)125是不具有非偏光区域像素(N像素)的像素值的图像信号，并且仅由偏光区域像素(PL(R)像素)的像素信号组成。
[0392]该PL(R)像素信号(偏光像素信号)125被输入到视差检测用右眼图像生成单元(偏光像素增益调节单元)105。
[0393]视差检测用右眼图像生成单元(偏光像素增益调节单元)105还输入作为由偏光像素分离单元101生成的另一种分离信号的N像素信号(非偏光像素信号)121。
[0394]视差检测用右眼图像生成单元(偏光像素增益调节单元)105执行增益调节处理，其中PL(R)像素信号(偏光像素信号)125的亮度被调节并且使得其与N像素信号(非偏光像素信号)的亮度匹配。换言之，PL(R)像素被设置以具有与正常的N像素近似相同的均值和分布(标准偏差)。[0395]如图19 (A)所描绘的，成像元件的PL(R)像素是透过了在图1 (B)中描绘的第一偏光部12的水平偏光区域12H的半圆区域的信号，而成像元件的N像素是透过了第一偏光部12的整体(圆形区域)的信号。
[0396]因此，如在图19 (B)中描绘的，形成成像元件的PL(R)像素和N像素的平均亮度水平不同的图像。
[0397]视差检测用右眼图像生成单元(偏光像素增益调节单元)105执行以下调节处理:具有设置在其上的线栅式偏振器的PL(R)像素的亮度水平被调节，并且与正常N像素的亮度水平近似相同的平均亮度和分布(标准偏差)例如被维持。增益调节右眼图像126是由于该调节而生成，并且被输出给视差检测单元106和视差检测用左眼图像生成单元104。
[0398]在随后的阶段中描述增益处理的详细示例。
[0399]应当注意，在设置有线栅式偏振器的PL(R)像素的增益处理之后的增益调节右眼图像126的像素值被写为(R1，G1，B1)。
[0400]视差检测用左眼图像生成单元104将非偏光像素插值处理单元102所生成的插值图像(2D原始图像)122、和视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126输入到其中。
[0401]非偏光像素插值处理单元102所生成的插值图像(2D原始图像)122的像素值是(R0, GO, B0),并且视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126的像素值是(R1，G1，B1)。[0402]在视差检测用左眼图像生成单元104中，先前所述表达式2，换言之:
[0403]PL (L) =N-PL (R).....(表达式 2 )
[0404]被建立，其中成像元件的水平偏光区域像素(水平PL像素=右眼像素(R像素))的接收光信号为PL (R)，成像元件的非偏光区域像素(N像素)的接收光信号为N，并且光没有被成像元件接收的竖直偏光区域像素(竖直PL像素=左眼像素(L像素))的接收光信号为PL (L)。
[0405]根据上述表达式2，左眼图像像素值(R2，G2，B2)根据非偏光像素插值处理单元102所生成的插值图像(2D原始图像)122的像素值(1?0，60，80)、和视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126的像素值(R1，G1，B1)来计算。
[0406]例如，根据以下表达式3来计算左眼图像像素值(R2)。
[0407]R2=2 X RO-Rl.....(表达式 3)
[0408]应当注意，在上述表达式3中乘2的理由是增益调节右眼图像126的像素值(Rl)具有增益调节之后的亮度，对与近似为圆形区域的接收光对应的亮度水平的调节是借助于先前参考图19描述的增益调节从半圆形区域执行，并且该亮度水平被调节成近似地加倍。
[0409]通过非偏光像素插值处理单元102所生成的插值图像(2D原始图像)122的亮度(RO)进行加倍并且减去增益调节右眼图像126的像素值(R1)，可以对经受了相同增益调节的左眼图像的像素值(R2)进行计算。
[0410]相同的减法处理还针对其他颜色成分执行，并且左眼图像的像素值(R2，G2, B2)被计算。
[0411]参考图20来描述视差检测用左眼图像生成单元104所执行的处理的具体示例。[0412]图20描绘了非偏光像素插值处理单元102所生成的插值图像(2D原始图像)122、和视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126。
[0413]视差检测用左眼图像生成单元104将该图像数据输入到其中，使用相应的像素位置，换言之，设置在水平偏光区域15H中的RGB像素值，并且根据上述表达式3计算左眼图像127的像素值(1?2，62，82)。
[0414]应当注意，如从附图中很明显的，针对左眼图像127的像素值(R2，G2，B2)的计算的像素区域是以下像素区域:该像素区域被包括在视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126中，并且仅由水平偏光区域15H的像素组成。
[0415]根据上述表达式3等，视差检测用左眼图像生成单元104通过从插值图像(2D原始图像)122的像素值(R0，G0，B0)减去增益调节右眼图像126相应位置处的像素值(R1，G1，B1)来计算左眼图像127的像素值(R2，G2，B2)。
[0416]视差检测用左眼图像生成单元104所生成的左眼图像127被输入到视差检测单元106 中。
[0417]视差检测单元106将以下两个不同的视点图像输入到其中:视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126、和视差检测用左眼图像生成单元104所生成的左眼图像127。
[0418]关于视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126、和视差检测用左眼图像生成单元104所生成的左眼图像127这两个不同的视点图像，视差检测单元106使用块匹配处理等获得相应的像素从而检测对象距离作为视
差/[目息。
[0419]换言之，借助于例如块匹配处理，左眼图像与右眼图像的像素之间的偏差被检测，并且与偏差的量对应的对象距离被计算。
[0420]视差检测单元106例如生成并且输出包括与像素对应的对象距离信息的深度图128。
[0421]应当注意，深度图128是包括针对图像的每个组成像素的对象距离信息的数据。例如，深度图被配置成与对象距离对应的亮度值被设置的图像。
[0422]具体地，例如，具有小的对象距离的区域(靠近照相机)具有高的亮度，并且具有大的对象距离的区域(远离照相机)具有低的亮度，并且视差检测单元106生成已经进行了这种像素值设置的深度图，并且将深度图输出给视差图像生成单元107。
[0423]应当注意，关于视差检测用右眼图像生成单元(偏光像素增益调节单元)105所生成的增益调节右眼图像126的图像、和视差检测用左眼图像生成单元104所生成的左眼图像127，如在图20中描绘的，输入图像中的N像素(非偏光像素)区域没有图像信号；但是，视差检测单元106基于增益调节右眼图像126计算其中右眼图像的插值像素值被设置到N像素区域的右眼图像，并且基于视差检测用左眼图像生成单元104所生成的左眼图像127计算其中左眼图像的插值像素值被设置到N像素区域的左眼图像，以及通过进行这些图像之间的匹配处理来计算与所有像素对应的距离信息。
[0424]应当注意，在像素值插值处理中，例如，可以使用线性插值处理等。[0425]可替代地，在本示例性配置中，可以根据先前参考图7和图8描述的处理来生成深度图。换言之，视差检测单元106可以具有以下配置:包括所有像素区域的距离信息(深度信息)的深度图128是通过将偏光区域中的距离信息(深度信息)的应用扩展到先前参考图8描述的非偏光区域来生成的。
[0426]以此方式，根据这两个图像(右眼图像和左眼图像)，视差检测单元106计算每个图像的相应位置中沿着水平方向的偏差量，并且输出深度图128。应当注意，如以下方法被用于检测图像的相应位置:包括像素的块的绝对差的和被最小化的块匹配方法、和生成图像I与生成图像2的相同行之间的匹配被最佳化的动态编程。
[0427]视差图像生成单元107使用作为从去马赛克处理单元103输出的二维图像的2D-RGB图像123和用作从视差检测单元106输出的视差信息的深度图128来生成左眼图像(L图像)151和右眼图像(R图像)152这两个图像。
[0428]换言之，其中对应于对象距离的视差基于用作视差信息的深度图128被设置的图像转换处理关于2D-RGB图像123来执行，并且左眼图像(L图像)151和右眼图像(R图像)152被生成并且被输出。
[0429]应当注意，在视差图像生成单元107中执行的该图像转换处理是以下处理:借助于基于单个二维图像(2D图像)的图像转换来生成并且输出适用于三维图像显示的左眼图像(L图像)151和右眼图像(R图像)152，并且执行与先前参考图5描述的图像处理单元17中的视差图像生成单元56中相同的2D/3D转换处理。
[0430]例如，可以应用参考图9至图15所描述的2D/3D转换处理。应当注意，可以执行其他已知的2D/3D转换处理。
[0431]由视差图像生成单元107生成并且适于3D图像显示的左眼图像(L图像)151和右眼图像(R图像)152通过图像输出单元108来输出。
[0432]以此方式，在本实施方式中，使用借助于设置在成像元件16上的线栅式偏振器而获取的右眼用图像、和借助于与没有设置线栅式偏振器的正常N图像的减法处理而生成的左眼用图像，通过检测视差来生成深度图。
[0433]实施方式2的配置是以下配置:在图1中描绘的成像设备中的第二偏光部15仅具有设置有水平方向线栅式偏振器而没有竖直方向线栅式偏振器的偏光区域(PL像素区域)、和非偏光区域像素(N像素)。通过实施这种配置，偏光特征不被恶化，此外确保了足够数目的非偏光区域像素(N像素)。
[0434]应当注意，在上述实施方式中，尽管参考图1等描述的第一偏光部12已经被描述为以下配置:水平偏光区域被设置到右侧并且竖直偏光区域被设置到左侧，但是这些设置可被反转。
[0435]此外，可以应用如下配置:该配置不仅具有水平偏光和竖直偏光的组合而且，还具有包括两个不同偏光方向的偏光区域的任意组合，诸如使得对角线方向的偏振光能够透过的偏光区域等。
[0436]应当注意，以下是必需的:使得第二偏光部15对应于第一偏光部12的偏光区域的设置，并且将相同的偏光区域设置为在第一偏光部12中设置的偏光区域的一个偏光部。
[0437]接着，下文将参考图21及其后的附图来对在图18中描绘的图像处理单元17的视差检测用右眼图像生成单元105中执行的增益处理的细节进行描述。[0438]如前所述，视差检测用右眼图像生成单元(偏光像素增益调节单元)105执行增益调节处理，其中PL(R)像素信号(偏光像素信号)125的亮度被使得与N像素信号(非偏光像素信号)的亮度水平匹配。
[0439]成像元件的PL(R)像素是透过了在图1 (B)中描绘的第一偏光部12的水平偏光区域12H的半圆区域的信号，而成像元件的N像素是透过了第一偏光部12的整体(圆形区域)的信号。
[0440]因此，如在图19中所描绘的，成像元件的PL(R)像素的亮度水平为N像素的一半；但是，由于第一偏光部和第二偏光部的特征，PL(R)像素的亮度水平不总是N像素的一半。增益调节处理被执行以校正亮度的该差异。
[0441]视差检测用右眼图像生成单元(偏光像素增益调节单元)105执行增益处理，其中，例如设置有线栅式偏振器的PL (R)像素的平均亮度水平变得近似地与正常N像素的平均亮度水平相同，并且增益调节右眼图像126被生成并且输出至视差检测单元106和视差检测用左眼图像生成单元104。
[0442]参考图21和图22来对视差检测用右眼图像生成单元(偏光像素增益调节单元)105所执行的调节处理的处理示例I进行描述。
[0443]在处理示例I中，归一化被执行以使得对于N像素和PL像素获得整个图像上对于每种颜色的均值和标准偏差，并且正常N像素的颜色的均值和标准偏差与PL像素的颜色的均值和标准偏差变得相同。借助于该处理，设置有线栅式偏振器的PL(R)像素被设置成具有与正常N像素近似相同的均值和分布(标准偏差)。
[0444]具体地，如图21所描绘的，关于非偏光像素(N像素)和偏光像素(PL像素)，整个图像上的均值和标准偏差根据颜色针对[G，B，R]这三种类型的像素来获得，或针对其中根据与R像素相邻或与B像素相邻来区分G像素的[Gr，Gb，B，R]这四种类型的像素来获得。
[0445]例如，在[Gr, Gb, B, R]这四种类型的像素的处理中，首先，针对非偏光像素(N像素)，换言之，NGr, NGb, NB和NR的颜色[Gr，Gb, B, R]获得均值和标准偏差。
[0446]类似地，针对偏光像素(PL (R)像素)，换言之，PL (R) Gr、PL (R) Gb、PL (R) B和PL (R)R的颜色[G r, Gb, B, R]获得均值和标准偏差。
[0447]附加地，按以下方式执行归一化:均值和标准偏差在相应的PL(R)Gr和NGr、PL(R)Gb和NGb, PL (R) B和NB以及PL (R) R和NR之间相同。
[0448]图22是描绘了颜色的均值和标准偏差的归一化处理的具体示例的图。
[0449]例如，图22 (a)描绘了以下比较数据:非偏光像素(N像素)例如NGr像素的一种颜色的均值和标准偏差的非偏光像素(N像素)测量数据201 ;和作为偏光像素(PL (R)像素)的相应颜色的PL(R)Gr像素的均值和标准偏差的偏光像素测量数据202。
[0450]视差检测用右眼图像生成单元(偏光像素增益调节单元)105执行以下处理:使得在图22 Ca)中描绘的偏光像素测量数据202的均值和标准偏差与非偏光像素(N像素)测量数据201匹配。换言之，如在图22 (b)中描绘的，首先，执行以下处理:PL(R)像素的平均売度用作偏移I，并且偏移I被减去。如果偏移I的大小取Fl,则在减去了偏移I之后PL像素的亮度Ipu通过以下表达式来表达。这里，Ipl是PL像素的亮度值。
[0451]Ipli=Ipl-FI
[0452]接着，乘以增益值以使得PL(R)像素的亮度的标准偏差与N像素的亮度的标准偏差相匹配。此处，如果增益值取E，则增益调节之后PL像素的亮度Im通过以下表达式来表达。
[0453]Ipl2=IpliXE
[0454]接着，执行作为N像素的平均亮度的偏移2被相加的处理以使得PL(R)像素的平均亮度与N像素的平均亮度匹配。如果偏移2的大小取F2，则在偏移2被相加之后PL像素的亮度通过以下表达式来表达。
[0455]IPL3=IPL2+F2
[0456]视差检测用右眼图像生成单元(偏光像素增益调节单元)105执行根据例如该处理示例I的处理，并且设置有线栅式偏振器的PL(R)像素的亮度被设置成具有与正常N像素的亮度近似相同的均值和分布(标准偏差)。
[0457]接着，将参考图23来描述作为由视差检测用右眼图像生成单元(偏光像素增益调节单元)105执行的另一个处理示例的处理示例2。
[0458]在处理示例2中，设置有线栅式偏振器的PL(R)像素的像素值(亮度)借助于以下处理来调节。
[0459]视差检测用右眼图像生成单元(偏光像素增益调节单元)105每次一个地从偏光像素(PL(R)像素)选择处理目标像素并且执行处理。
[0460]例如，描述以下情况:来自图23所描绘的水平偏光区域15H内的一个像素(R24)是处理目标。
[0461]首先，与处理目标像素(R24)邻近且具有与其相同颜色的像素被从非偏光区域中选择。换言之，最接近处理目标像素(R24)并且与相同的颜色成分(R)对应的非偏光区域像素(N像素)被选择。
[0462]在本示例中，图23中描绘的R04和R44被选择。
[0463]接着，对于所选的邻近的相同颜色像素R04、R44的亮度比率(E04和E44)借助于以下表达式来计算。
[0464]E=In/Ipl.....(表达式 4)
[0465]在上述表达式4中，In表示N像素的亮度值，Ipl表示PL像素的亮度值。
[0466]例如，如果处理目标像素(R24)的亮度值取R24，R04的亮度值取R04并且R44的亮度值取R44，则亮度比率
[0467]E04=R04/R24
[0468]以及
[0469]E44=R44/R24
[0470]被计算。
[0471]下文中，周围相邻的相同颜色成分的比率以相同的方式来计算。例如，R20与ROO的比率EOO、R20与R40的比率E40、R22与R02的比率E02、R22与R42的比率E42、R26与R06的比率E06和R26与R46的比率E46这六个比率被计算。除此之外，还关于包括E04和E44这两个比率的8个比率来进行中心值的计算。
[0472]该中心值被确定为增益值E。
[0473]根据该处理示例2的在增益处理后的PL像素的亮度通过以下表达式来表达:
[0474]Ipl3=IplXE.....(表达式 5)[0475]其中，IPL是增益处理之前PL像素的亮度，并且Im是增益处理之后PL像素的亮度。
[0476]视差检测用右眼图像生成单元(偏光像素增益调节单元)105每次一个地从偏光像素(PL(R)像素)中选择处理目标像素，并且根据上述表达式5调节所有偏光像素(PL(R)像素)的亮度。
[0477]应当注意，在上述处理示例中，描述了以下示例:7X5像素参考区域301如图23所描绘的被设置为被参考以调节例如处理目标像素R24的亮度的像素。换言之，尽管描述了包括在参考区域301中的4个PL像素和8个N像素的亮度比率被计算以获得增益E的处理示例，但是参考区域的该设置示例是一个示例，且可以具有以下配置:设置较宽或较窄的参考区域。
[0478]以此方式，在处理示例2中，每次一个地从偏光像素(PL (R)像素)选择处理目标像素，相同颜色的包括在参考区域中的偏光像素(PL(R)像素)与非偏光像素(N像素)之间的亮度比率被计算，并且在其中心值用作增益E的情况下，所有偏光像素(PL (R)像素)的亮度值根据上述表达式5来调节。
[0479]该处理的结果作为在图18中描绘的增益调节右眼图像126被输出至视差检测单元 106。
[0480][4.关于其中根据右眼图像和正常图像进行视差检测并且生成深度图的实施方式(实施方式3)]
[0481]接着，作为上述实施方式2的图像处理设备的示例性修改，来描述以下实施方式:根据右眼图像和正常图像执行视差检测，而不需根据右眼图像和正常图像生成左眼图像，并且生成深度图。
[0482]本实施方式3中的总体配置与图1 (A)中描绘的成像设备的配置相同，第二偏光部15和成像元件16具有在上述实施方式2中描述的图16和图17所描绘的配置，并且具有以下配置:水平偏光区域像素(PL (R)像素)和非偏光区域像素(N像素)被重复。
[0483]与上述实施方式2的差别在于图像处理单元17的配置。在图24中描绘了根据实施方式的图像处理单元17的示例性配置。
[0484]图24所描绘的图像处理单元17与在前一实施方式2中描述的图18所描绘的图像处理单元17之间的差别在于:图18所描绘的视差检测用左眼图像生成单元104没有出现在图24所描绘的图像处理单元17中。
[0485]在实施方式3中，在视差检测单元106中输入在视差检测用右眼图像生成单元105中生成的增益调节右眼图像126、和由非偏光像素插值处理单元102生成的插值图像(2D原始图像)122，并且视差检测基于这两个图像来执行以生成深度图128。
[0486]其他配置和处理与上述实施方式2相同。
[0487]实施方式3中的视差检测单元106根据在视差检测用右眼图像生成单元105中生成的增益调节右眼图像126、和由非偏光像素插值处理单元102生成的插值图像(2D原始图像)122来检测在每个图像的相应像素位置中沿水平方向的偏差量，并且将该偏差量作为深度图输出。如以下方法被用于检测图像的相应位置:包括像素的块的绝对差的和被最小化的块匹配方法、和像素的相同行之间的匹配被最佳化的动态编程。
[0488]在实施方式3中，使用直接根据作为右眼图像的增益调节右眼图像126和作为正常图像的插值图像(2D原始图像)122来进行的视差检测来生成深度图，而不需要生成左眼图像。如上所述，正常图像是通过将右眼图像和左眼图像相加而产生的图像，右眼图像与正常图像之间的视差与右眼图像和左眼图像的视差的一半对应。
[0489]因此，视差检测单元106将根据作为右眼图像的增益调节右眼图像126和作为正常图像的插值图像(2D原始图像)122而检测的视差的大小加倍，并且将视差作为深度图128输出。
[0490]视差检测单元106所执行的除了该处理以外的处理与在上述实施方式2中相同。
[0491]在该实施方式3中，有以下优点:对于视差检测的右眼图像生成处理可以被省略，并且图像处理单元的配置和处理被简化。
[0492][5.本公开内容的配置的概要]
[0493]上面已经参考【具体实施方式】详细地描述了本公开内容的配置。但是，很明显的是，本领域技术人员能够在不偏离本公开内容的要旨下实施上述实施方式的修改或替换。换言之，以示例形式公开了本发明，并且不应以限制性方式来解释。在确定本发明的主旨中，应当将权利要求部分考虑在内。
[0494]应当注意，本说明书中所公开的技术还可以采用如以下的配置。
[0495](I) 一种图像处理设备，包括:
[0496]第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；
[0497]第二偏光装置，所述第一偏光装置的透射光进入到所述第二偏光装置，并且所述第二偏光装置由第三偏光区域和完全透射区域组成；所述第三偏光区域仅允许所述第一偏光区域或所述第二偏光区域中任一个的透射光透过，并且所述完全透射区域使所述第一偏光区域和所述第二偏光区域的透射光透过；
[0498]成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及
[0499]图像处理单元，其对所述成像元件的输出信号执行信号处理，
[0500]其中，所述图像处理单元生成通过应用基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像、和基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像来反映对象距离的视差信息，并且借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0501](2)基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像是所述第一偏光装置的中心位置用作视点的正常图像，基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像是所述第一偏光装置的所述第一偏光区域或所述第二偏光区域的重心位置中任一重心位置用作视点的右眼用图像或左眼用图像，以及所述图像处理单元应用作为所述第一视点图像的正常图像和作为所述第二视点图像的右眼用图像或左眼用图像的视点图像来生成左眼用图像或右眼用图像，作为不同于所述第二视点图像的第三视点图像，并且应用所述第二视点图像和所述第三视点图像来生成所述视差信息。
[0502](3)根据(I)或(2)所述的图像处理设备，其中，所述图像处理单元借助于以下处理来生成左眼用图像或右眼用图像作为不同于所述第二视点图像的第三视点图像:从作为所述第一视点图像的所述正常图像的像素值中减去作为所述第二视点图像的右眼用图像或左眼用图像的像素值。[0503](4)根据(I)至(3)中任一项所述的图像处理设备，其中，由所述图像处理单元生成的视差信息是反映图像的对象距离信息的深度图，以及所述图像处理单元借助于所述第一视点图像的应用所述深度图的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0504](5)根据(I)至(4)中任一项所述的图像处理设备，其中，所述第二偏光装置的第三偏光区域和完全透射区域是沿着作为成像元件平面的一个方向的第一方向以多个像素为单位重复设置的配置。
[0505](6)根据(I)至(5)中任一项所述的图像处理设备，其中，所述第二偏光装置的第三偏光区域由线栅式偏振器配置，并且是具有沿着与所述成像元件的所述第一方向垂直的第二方向延伸的线的配置。
[0506](7)根据(I)至(6)中任一项所述的图像处理设备，其中，所述图像处理单元:执行亮度调节，通过该亮度调节，作为基于所述第二偏光装置的所述第三偏光区域的透射光的所述第二视点图像的右眼用图像或左眼用图像的视点图像的亮度水平与基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像的亮度水平匹配，并且应用所述亮度调节之后的所述第二视点图像来生成所述视差信息。
[0507](8)根据(I)至(7)中任一项所述的图像处理设备，其中，所述图像处理单元包括:插值处理单元，其对与所述第三偏光区域对应的像素位置的像素值进行插值，所述第三偏光区域没有包括在如下图像中，该图像基于来自与所述第二偏光装置的所述完全透射区域对应的所述成像元件的像素位置的成像元件输出；和去马赛克处理单元，其借助于由所述插值处理单元生成的插值图像的去马赛克处理来将各颜色的像素值设置到各像素位置，并且生成所述第一视点图像，以及所述图像处理单元对由所述去马赛克处理单元生成的所述第一视点图像执行应用所述视差信息的图像转换处理，并且生成用于三维图像显示的左眼用图像和右眼用图像。
[0508](9)根据(I)至(8)中任一项所述的图像处理设备，其中，由图像处理单元执行的图像转换处理是2D/3D转换处理，利用所述2D/3D转换处理，借助于对作为二维2D图像的所述第一视点图像应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0509](10)根据(I)至(9)中任一项所述的图像处理设备，其中，由所述图像处理单元执行并且应用所述视差信息的图像转换处理是2D/3D转换处理，利用所述2D/3D转换处理，通过对所述第一视点图像执行与对象距离对应的图像偏移处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0510]此外，用于上述处理的方法在上述设备等中执行，并且使得上述处理执行的程序也包括在本公开内容的配置中。
[0511]此外，在说明书中描述的一系列处理可以由硬件、软件或硬件和软件两者的组合来执行。在借助于软件执行处理的情况下，其中记录有处理顺序的程序可以安装在结合至专用硬件的计算机中的存储器中并且被执行，或程序可以安装在能够执行各种处理的通用计算机中并且被执行。例如，程序可以预先记录在记录介质中。除了将程序从记录介质安装至计算机之外，还可以通过如LAN (局域网)和互联网等网络来接收程序，并且程序被安装在如内部硬盘等记录介质上。[0512]应当注意，说明书中所描述的各种类型的处理不仅可以根据所述以时序方式来执行，而且还可以根据执行处理的设备的处理性能或根据需要并行或单独执行。此外，在本说明书中，系统是一组多个装置的逻辑配置，并且每个配置的设备不限于位于同一外壳内。
[0513]工业应用
[0514]如上所述，根据本公开内容的一种实施方式的配置，可以在不造成偏光性能下降的情况下获取多个视点图像并且生成用于三维图像显示的图像。
[0515]具体地，提供了:第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；第二偏光装置，包括第三偏光区域和完全透射区域；所述第三偏光区域仅允许所述第一偏光区域或所述第二偏光区域中任一个的透射光透过，并且所述完全透射区域使所述第一偏光区域和所述第二偏光区域的透射光透过；成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及图像处理单元，其对所述成像元件的输出信号执行信号处理。所述图像处理单元生成通过应用基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像、和基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像来反映对象距离的视差信息，并且借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
[0516]根据本公开内容的一种实施方式的图像处理设备，在通过对设置在光学系统的光圈表面的光进行分离的偏光滤波器获取每个像素的左图像和右图像的照相机设备以及设置在图像传感器成像表面上的线栅式偏振器中，由于仅设置水平方向线栅式偏振器而不需要竖直方向线栅式偏振器，所以即使图像传感器具有小的像素大小也可以实现高偏光分离特征，并且可以维持左图像与右图像之间的视差分辨率性能。
[0517]参考符号列表
[0518]10成像设备
[0519]11拍摄镜头
[0520]12第一偏光部
[0521]13 光圈
[0522]14成像透镜
[0523]15第二偏光部
[0524]16成像元件
[0525]17图像处理单元
[0526]18存储单元
[0527]51偏光像素分离单元
[0528]52非偏光像素插值处理单元
[0529]53去马赛克处理单元
[0530]54偏光像素插值处理单兀
[0531]55视差检测单元
[0532]56视差图像生成单元
[0533]57图像输出单元
[0534]61 N像素信号(非偏光像素信号)
[0535]62插值图像(2D原始图像)[0536]63 2D-RGB 图像
[0537]65 PL像素信号(偏光像素信号)
[0538]66左眼/右眼图像信号
[0539]67深度图
[0540]71左眼图像(L图像)
[0541]72右眼图像(R图像)
[0542]81微分器
[0543]82增益控制单元
[0544]83非线性转换单元
[0545]84图像合成单元
[0546]91增益系数计算单元
[0547]92乘法处理单元
[0548]101偏光像素分离单元
[0549]102非偏光像素插值处理单元
[0550]103去马赛克处理单元
[0551]104视差检测用左眼图像生成单元
[0552]105视差检测用右眼图像生成单元
[0553]106视差检测单元
[0554]107视差图像生成单元
[0555]108图像输出单元
[0556]121 N像素信号(非偏光像素信号)
[0557]122插值图像(2D原始图像)
[0558]123 2D-RGB 图像
[0559]125 PL(R)像素信号(偏光像素信号)
[0560]126增益调节右眼图像
[0561]127左眼图像
[0562]128深度图
[0563]151左眼图像(L图像)
[0564]152右眼图像(R图像)
【权利要求】
1.一种图像处理设备，包括:第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；第二偏光装置，所述第一偏光装置的透射光进入到所述第二偏光装置，并且所述第二偏光装置由第三偏光区域和完全透射区域组成；所述第三偏光区域仅允许所述第一偏光区域或所述第二偏光区域中任一个的透射光透过，并且所述完全透射区域使所述第一偏光区域和所述第二偏光区域的透射光透过； 成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及 图像处理单元，其对所述成像元件的输出信号执行信号处理， 其中，所述图像处理单元生成通过应用基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像、和基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像来反映对象距离的视差信息，并且借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
2.根据权利要求1所述的图像处理设备，其中 基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像是所述第一偏光装置的中心位置用作视点的正常图像， 基于所述第二偏光装置的所述第三偏光区域的透射光的第二视点图像是所述第一偏光装置的所述第一偏光区域或所述第二偏光区域的重心位置中任一重心位置用作视点的右眼用图像或左眼用图像，以及 所述图像处理单元应用作为所述第一视点图像的正常图像和作为所述第二视点图像的右眼用图像或左眼用图像的视点图像来生成左眼用图像或右眼用图像，作为不同于所述第二视点图像的第三视点图像，并且 应用所述第二视点图像和所·述第三视点图像来生成所述视差信息。
3.根据权利要求2所述的图像处理设备，其中 所述图像处理单元借助于以下处理来生成左眼用图像或右眼用图像作为不同于所述第二视点图像的第三视点图像:从作为所述第一视点图像的所述正常图像的像素值中减去作为所述第二视点图像的右眼用图像或左眼用图像的像素值。
4.根据权利要求1所述的图像处理设备，其中 由所述图像处理单元生成的视差信息是反映图像的对象距离信息的深度图，以及所述图像处理单元借助于所述第一视点图像的应用所述深度图的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
5.根据权利要求1所述的图像处理设备，其中，所述第二偏光装置的第三偏光区域和完全透射区域是沿着作为成像元件平面的一个方向的第一方向以多个像素为单位重复设置的配置。
6.根据权利要求5所述的图像处理设备，其中，所述第二偏光装置的第三偏光区域由线栅式偏振器配置，并且是具有沿着与所述成像元件的所述第一方向垂直的第二方向延伸的线的配置。
7.根据权利要求1所述的图像处理设备，其中，所述图像处理单元: 执行亮度调节，通过该亮度调节，作为基于所述第二偏光装置的所述第三偏光区域的透射光的所述第二视点图像的右眼用图像或左眼用图像的视点图像的亮度水平与基于所述第二偏光装置的所述完全透射区域的透射光的第一视点图像的亮度水平匹配，并且 应用所述亮度调节之后的所述第二视点图像来生成所述视差信息。
8.根据权利要求1所述的图像处理设备，其中，所述图像处理单元包括: 插值处理单元，其对与所述第三偏光区域对应的像素位置的像素值进行插值，所述第三偏光区域没有包括在如下图像中，该图像基于来自与所述第二偏光装置的所述完全透射区域对应的所述成像元件的像素位置的成像元件输出；和 去马赛克处理单元，其借助于由所述插值处理单元生成的插值图像的去马赛克处理来将各颜色的像素值设置到各像素位置，并且生成所述第一视点图像，以及 所述图像处理单元对由所述去马赛克处理单元生成的所述第一视点图像执行应用所述视差信息的图像转换处理，并且生成用于三维图像显示的左眼用图像和右眼用图像。
9.根据权利要求1所述的图像处理设备，其中 由图像处理单元执行的图像转换处理是2D/3D转换处理，利用所述2D/3D转换处理，借助于对作为二维2D图像的所述第一视点图像应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
10.根据权利要求1所述的图像处理设备，其中 由所述图像处理单元执行并且应用所述视差信息的图像转换处理是2D/3D转换处理，利用所述2D/3D转换处理，通过对所述第一视点图像执行与对象距离对应的图像偏移处理来生成用于三维图像显示的左眼用图像和右眼用图像。
11.一种对由成像装置捕获的图像执行图像处理的图像处理设备，其中 所述成像装置是对基于第一偏光装置的透射光的图像进行捕获的配置，所述第一偏光装置具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域， 所述图像处理设备: 输入第一视点图像和第二视点图像，所述第一视点图像由所述第一偏光区域和所述第二偏光区域的所有透射光组成，并且所述第二视点图像仅由所述第一偏光区域或所述第二偏光区域中任一个的透射光组成， 生成通过应用所述第一视点图像和所述第二视点图像来反映对象距离的视差信息，并且 借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
12.—种图像处理设备，包括:第一偏光装置，其具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域；第二偏光装置，所述第一偏光装置的透射光进入到所述第二偏光装置，并且所述第二偏光装置由仅允许所述第一偏光区域的透射光透过的第三偏光区域、仅允许所述第二偏光区域的透射光透过的第四偏光区域、和允许所述第一偏光区域和所述第二偏光区域的透射光透过的完全透射区域组成； 成像元件，所述第二偏光装置的透射光被输入至所述成像元件中；以及 图像处理单元，其对所述成像元件的输出信号执行信号处理， 其中，所述图像处理单元应用基于所述第二偏光装置的所述第三偏光区域的透射光的视点图像、和基于所述第四偏光区域的透射光的视点图像来生成反映对象距离的视差信息，并且应用所述视差信息、借助于基于所述第二偏光装置的所述完全透射区域的透射光的视点图像的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
13.一种用于在图像处理设备中对由成像装置捕获的图像执行图像处理的图像处理方法，其中 所述成像装置是对基于第一偏光装置的透射光的图像进行捕获的配置，所述第一偏光装置具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域，以及在所述图像处理方法中，在图像处理单元中， 输入由所述第一偏振区域和所述第二偏振区域的所有透射光组成的第一视点图像、和仅由所述第一偏振区域或所述第二偏振区域中任一个的透射光组成的第二视点图像， 生成通过应用所述第一视点图像和所述第二视点图像来反映对象距离的视差信息，以及 借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
14.一种使得在图像处理设备中对由成像装置捕获的图像执行图像处理的程序，其中 所述成像装置是对基于第一偏光装置的透射光的图像进行捕获的配置，所述第一偏光装置具有各自允许不同的偏振光透过的第一偏光区域和第二偏光区域，以及 所述程序使得在图像处理单元中， 输入由所述第一偏振区域和所述 第二偏振区域的所有所述透射光组成的第一视点图像、和仅由所述第一偏振区域或所述第二偏振区域中任一个的透射光组成的第二视点图像， 生成通过应用所述第一视点图像和所述第二视点图像来反映对象距离的视差信息，以及 借助于所述第一视点图像的应用所述视差信息的图像转换处理来生成用于三维图像显示的左眼用图像和右眼用图像。
【文档编号】H04N13/02GK103718547SQ201280037902
【公开日】2014年4月9日 申请日期:2012年6月21日 优先权日:2011年8月4日
【发明者】小林诚司, 伊藤厚史 申请人:索尼公司