图像处理设备、摄像设备和图像处理方法
【专利摘要】提供了一种图像处理设备、摄像设备和图像处理方法。图像处理设备能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，其包括：存储单元，用于存储摄像条件信息；以及图像处理单元，用于使用摄像条件信息，根据输入图像来生成输出图像，并且图像处理单元获得输入图像，其中，输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；计算同一区域的输入图像的像素组的平均像素值，并且利用平均像素值代替像素组的每个像素值；并且以使利用平均像素值所代替的像素彼此偏移的方式进行合成，以生成输出图像。
【专利说明】图像处理设备、摄像设备和图像处理方法
【技术领域】
[0001]本发明涉及一种图像处理设备，其对输入图像进行重建，以生成具有不同焦点位置的多个输出图像。
【背景技术】
[0002]近来，提供了一种摄像设备，其通过对由摄像元件获得的数据进行计算并且进行与其相对应的数字图像处理来输出各种图像。Ren Ng等的“Light Field Photographywith A Hand-held Plenoptic CAMERA”，2005C0MPUTER Science Technical Report CTSR和 Todor Georgiev 等的“Superresolution with Plenoptic2.0CAMERA”，20090pticalSociety OF America公开了一种摄像设备,其使用“光场摄影”,同时获得被摄体空间中的光的二维强度分布和光束的角度信息、即视差信息。将光的二维强度分布和光束的角度信息统称为光场，并且通过获得光场，能够获得被摄体空间的三维信息。通过使用获得的光场对图像进行重建处理，能够进行诸如改变图像的焦点位置、改变摄像视点和调整景深的再聚焦。
[0003]此外，随着显示装置的发展，要求摄像设备具有进一步高的图像质量。为了高图像质量，减小图像的噪声很重要。日本特开平06-86332公开了通过对通过多个摄像光学系统获得的图像进行合成来减小噪声的方法。
[0004]然而，在日本特开平06-86332公开的噪声减小方法中，针对对同一被摄体进行摄像的像素，简单地进行合成。在这种情况下，当噪声符合泊松(Poisson)分布时,合成N个像素，从而通过求平均使噪声减小冗1/2倍。然而，随着显示装置的发展，要求图像具有进一步高的质量，因此在日本特开平06-86332中公开的噪声减小方法是不够的。
【发明内容】
[0005]本发明提供一种有效地减小通过合成视差图像而获得的图像的噪声的图像处理设备、摄像设备、图像处理方法和图像处理程序。
[0006]作为本发明的图像处理设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理设备包括:存储单元，用于存储所述输入图像的摄像条件信息；以及图像处理单元，用于使用所述摄像条件信息，根据所述输入图像来生成所述输出图像，其中，所述图像处理单元:获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
[0007]作为本发明的另一方面的摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括:成像光学系统；包括多个像素的摄像元件；透镜阵列，用于根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素；以及图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像，其中，所述图像处理单元:获得所述输入图像，其中，所述输入图像是经由所述成像光学系统、所述摄像元件和所述透镜阵列所获得的、从多个视点观看的被摄体空间的信息；计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
[0008]作为本发明的另一方面的摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括:成像光学系统，其包括具有正屈光力的多个光学系统；包括多个像素的至少一个摄像元件；以及图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像，其中，在所述成像光学系统的光瞳是通过对所述多个光学系统的光瞳进行合成而形成的光瞳时，所述多个光学系统被配置为使得根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素，
[0009]作为本发明的另一方面的图像处理方法，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理方法包括如下步骤:获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息；计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
[0010]从以下参考附图对示例性实施例的描述，本发明的其它特征和方面将变得明显。
【专利附图】
【附图说明】
[0011]图1是实施例1中的摄像光学系统的示意性配置图。
[0012]图2是实施例2中的摄像光学系统的示意性配置图。
[0013]图3是实施例2中的摄像光学系统的示意性配置图。
[0014]图4是实施例3中的摄像光学系统的示意性配置图。
[0015]图5是实施例1中的摄像设备的框图。
[0016]图6是实施例1中的摄像光学系统的截面图。
[0017]图7A和7B是示出实施例1中的再聚焦图像生成的图。
[0018]图8是示出实施例1中的再聚焦范围的图。
[0019]图9是示出实施例1中的摄像光学系统和物体距离的关系的图。
[0020]图10是示出实施例1中的摄像元件和透镜阵列的关系的图。
[0021 ]图11是示出实施例1中的摄像场景的示例的图。
[0022]图12A至12D是示出实施例1中的视差图像的示例的图。
[0023]图13A和13B是示出实施例1中的再聚焦图像的示例的图。
[0024]图14是实施例1中的图像处理方法的流程图。
[0025]图15是实施例2中的图像处理系统的框图。
[0026]图16是实施例2中的摄像光学系统的截面图。[0027]图17A和17B是示出实施例2中的再聚焦图像生成的图。
[0028]图18是示出实施例2中的再聚焦范围的图。
[0029]图19是实施例3中的摄像设备的框图。
[0030]图20是实施例3中的摄像光学系统的示意性配置图。
[0031]图21是实施例3中的光学系统的截面图。
[0032]图22A和22B是示出实施例3中的再聚焦图像生成的图。
[0033]图23是示出实施例3中的再聚焦范围的图。
[0034]图24是实施例2和3中的每个中的图像处理方法的流程图。
【具体实施方式】
[0035]下面，参考附图描述本发明的示例性实施例。在附图中的每个中，用相同的附图标记表示相同的要素，并且省略重复描述。
[0036]本实施例的图像处理方法通过对输入图像进行重建，能够生成具有不同焦点位置的多个输出图像。输入图像是从不同视点对被摄体空间进行摄像以获得光场的图像(视差图像)，并且其由下面的摄像设备获得。也就是说，摄像设备被配置为通过排列具有正屈光力的多个光学系统，或者通过在摄像光学系统的图像侧布置透镜阵列，来获得光场。
[0037]图1至4是构成该摄像设备的摄像光学系统的示例。摄像光学系统被配置为包括成像光学系统和摄像元件。当设置透镜阵列时，摄像光学系统被配置为包括透镜阵列。另夕卜，作为获得光场的另一方法，可以想到使用获得被摄体空间的光的二维强度分布的摄像设备来在改变摄像设备的位置的情况下进行多次摄像的方法。在这种情况下，通过在彼此不同的时间对被摄体空间进行摄像来获得光场(视差图像)。由于该原因，当在被摄体空间中存在运动物体时，难以获得正确的信息(视差信息)。因此，如图1至4所示，优选摄像光学系统具有能够同时获得视差图像(多个视差图像)的配置。
[0038]人或者物体不一定存在于图1至4所示的被摄体平面201上。这是因为通过重建处理，能够在进行摄像之后对存在于被摄体平面201后面或者前面的人和物体进行聚焦。另外，为了方便，使用一维系统进行对下面的实施例的描述，但是关于二维系统，相同的讨论也成立。
[0039]实施例1
[0040]首先，参考图5描述本发明的实施例1中的摄像设备的配置。图5是本实施例的摄像设备的框图。由摄像设备的图像处理单元105进行本实施例的图像处理方法。
[0041 ] 摄像元件103是诸如CXD (电荷耦合器件)或者CMOS (互补金属氧化物半导体)的二维摄像元件，其设置有多个像素。经由成像光学系统101 (主镜头单元)和透镜阵列102进入摄像元件103的光束的能量变为电信号(模拟信号)，并且由A/D转换器104转换为数字信号。在图像处理单元105中对数字信号进行预定处理，并且以预定格式将其存储在诸如半导体存储器的图像记录介质110中。在这种情况下，还存储从状态检测单元108获得的摄像设备的摄像条件信息。摄像条件信息是摄像距离、光圈、变焦透镜中的焦距等。状态检测单元108可以从系统控制器111直接获得摄像条件信息，并且可以从光学系统控制器107获得关于摄像光学系统的信息。
[0042]当在显示单元106上显示存储在图像记录介质110中的图像时，图像处理单元105基于摄像条件信息进行重建处理。其结果是，在显示单元106上显示以期望的视点、焦点位置和景深重建的图像。另外，为了高速度，可以预先将期望的图像设置(视点、焦点和景深)存储在存储单元109中，并且可以在不使用图像记录介质110的情况下直接在显示单元106上显示重建图像。另外，记录在图像记录介质110中的图像可以是重建之后的图像。由系统控制器111进行上述一系列控制，并且通过系统控制器111的指示由光学系统控制器107来进行摄像光学系统的机械驱动。
[0043]接下来，参考图1和6描述本实施例中的摄像光学系统的配置。图1是摄像光学系统的示意性配置图。图6是摄像光学系统的截面图。摄像光学系统被配置为包括成像光学系统101、透镜阵列102和摄像元件103。在本实施例中，使用多个透镜(小透镜)构成透镜阵列102，并且小透镜由固体透镜构成。然而，本实施例不限于此，可以使用液体透镜、液晶透镜或者衍射光学元件来构成透镜阵列102。构成透镜阵列102的小透镜的两侧的表面都具有凸起形状。然而，本实施例不限于此，一侧的表面可以是平坦形状，而另一侧的表面可以具有凸起形状。
[0044]透镜阵列102被布置在成像光学系统101的相对于被摄体平面201的图像侧共轭平面。另外，透镜阵列102被配置为使得成像光学系统101的出射光瞳和摄像元件103基本处于共轭的关系。来自被摄体平面201上的同一位置的光束通过成像光学系统101和透镜阵列102，然后根据光束在被摄体平面201上的位置和角度而进入彼此不同的摄像元件103的像素，以获得光场。这里，透镜阵列102用来防止通过被摄体平面201上的不同位置的光束进入同一像素。其结果是，在摄像元件103中，获得了布置有通过从多个视点对被摄体平面201上的同一区域进行摄像而获得的像素组的图像。在图1所示的配置中，由三个像素(在二维上九个像素)对被摄体平面201上的同一位置进行摄像。由于该原因，在本实施例的摄像光学系统中，在仅获得光的二维强度分布的摄像光学系统中，二维空间分辨率降低1/9。即使当对被摄体平面201上的同一位置进行摄像的像素的数量改变时，这在性质上也相同。
[0045]另外，优选构成透镜阵列102的小透镜的图像侧(摄像元件103侧)的表面具有凸起形状。因此，透镜阵列102的散光减小，在摄像元件103上获得的图像变得锐利。相反，当图像侧的表面不是凸起形状时，散光增加，由每个小透镜形成的图像的外周部分模糊。当在重建处理中使用图像模糊部分时，难以获得锐利的重建图像。另外，还优选小透镜的物体侧(成像光学系统101侧)的表面具有平坦或者凸起形状。因此，小透镜的曲率变低，像差减小，能够进一步提高图像的锐度。
[0046]随后，描述本实施例中的再聚焦处理。在“Fourier Slice Photography”(RenNg, 2005ACM Trans.Graph.24, 735-744)中描述了再聚焦处理，因此这里简要地进行描述。参考图7，描述生成再聚焦图像的方法的示例。图7A和7B是具体示出图1所示的摄像光学系统中的透镜阵列102和摄像元件103的一部分的图。图7A和7B中的点划线通过延伸每个像素的中心和通过与该像素相对应的小透镜的图像侧主点的光束的路径而获得。虚拟成像平面203是相对于通过再聚焦要焦距的物体侧平面的、成像光学系统101的图像侧共轭平面。然而，在本实施例中，当图像侧共轭平面的位置比透镜阵列102的物体侧主平面更靠近图像侧时，通过将图像侧共轭平面以透镜阵列102的主平面距离移动到图像侧而获得的平面是虚拟成像平面203。沿着点划线与虚拟成像平面203平行地移动由摄像元件103获得的像素值并将其合成，因此能够在期望的焦点位置生成再聚焦图像。
[0047]例如，为了生成在图1的被摄体平面201上聚焦的图像，如图7B所示，可以将虚拟成像平面203设置在通过被摄体平面201和成像光学系统101的共轭平面、即透镜阵列102的主平面(图像侧主平面)上。在图7A和7B中，在生成再聚焦图像时平行移动的像素用虚线表示，并且以偏移而不重叠的方式示出，以使得容易地看到。如图7A和7B所示，在生成任意再聚焦图像时，当进入像素的光通量所通过的成像光学系统101的光瞳区域相同时，应当理解，该像素具有相同的平行移动量。因此，依据进入像素的光通量所通过的成像光学系统101的光瞳区域，来确定生成再聚焦图像时的像素的操作。
[0048]接下来，描述可再聚焦范围。由于成像光学系统101的开口大小是有限的，因此由摄像元件103获得的光场的角度分量、即视差信息也是有限的。因此，可再聚焦范围被限制在有限范围。这里，将光的二维强度分布称为光场的空间分量。在这种情况下，再聚焦范围由空间分量的采样间距八7和角度分量的采样间距Au确定，并且作为下面的表达式(I)给出其系数α±。
[0049]
【权利要求】
1.一种图像处理设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理设备包括: 存储单元，用于存储所述输入图像的摄像条件信息；以及 图像处理单元，用于使用所述摄像条件信息，根据所述输入图像来生成所述输出图像， 其中，所述图像处理单元: 获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息； 计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及 以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
2.根据权利要求1所述的图像处理设备，其中， 所述图像处理单元以利用所述平均像素值所代替的所述像素组的像素的偏移量是该像素的非整数倍的方式进行合成，以生成所述输出图像。
3.根据权利要求1或2所述的图像处理设备，其中， 在指定了第一焦点位置时，所述图像处理单元生成聚焦于与所述第一焦点位置的差在所述成像光学系统的焦深范围内的第二焦点位置的所述输出图像。
4.根据权利要求1或2所述的图像处理设备，其中， 所述存储单元存储所述输入图像的距离信息作为所述摄像条件信息，以及所述图像处理单元使用所述距离信息、利用所述平均像素值代替所述像素组的每个像素值，并且以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
5.一种摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括: 成像光学系统； 包括多个像素的摄像元件； 透镜阵列，用于根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素；以及 图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像， 其中，所述图像处理单元: 获得所述输入图像，其中，所述输入图像是经由所述成像光学系统、所述摄像元件和所述透镜阵列所获得的、从多个视点观看的被摄体空间的信息； 计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及 以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
6.根据权利要求5所述的摄像设备，其中， 所述透镜阵列被配置在所述成像光学系统的相对于所述被摄体平面的图像侧共轭平面上。
7.根据权利要求5所述的摄像设备，其中， 所述透镜阵列被配置为使得所述成像光学系统的相对于所述被摄体平面的图像侧共轭平面和所述摄像元件彼此共轭。
8.一种摄像设备，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述摄像设备包括: 成像光学系统，其包括具有正屈光力的多个光学系统； 包括多个像素的至少一个摄像元件；以及 图像处理单元，用于根据所述摄像元件所获得的所述输入图像，生成所述输出图像，其中，在所述成像光学系统的光瞳是通过对所述多个光学系统的光瞳进行合成而形成的光瞳时，所述多个光学系统被配置为使得根据来自被摄体平面的同一位置的光束所通过的所述成像光学系统的光瞳区域，使所述光束进入所述摄像元件的彼此不同的像素， 其中，所述图像处理单元: 获得所述输入图像，其中，所述输入图像是经由所述成像光学系统和所述摄像元件所获得的、从多个视点观看的被摄体空间的信息； 计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及 以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
9.一种图像处理方法，其能够通过重建输入图像来生成具有不同焦点位置的多个输出图像，所述图像处理方法包括如下步骤: 获得所述输入图像，其中，所述输入图像是经由成像光学系统和具有多个像素的摄像元件所获得的、从多个视点观看的被摄体空间的信息； 计算所述被摄体空间的同一区域的所述输入图像的像素组的平均像素值，并且利用所述平均像素值代替所述像素组的每个像素值；以及 以使利用所述平均像素值所代替的所述像素组的像素彼此偏移的方式进行合成，以生成所述输出图像。
【文档编号】G03B13/32GK103685922SQ201310415360
【公开日】2014年3月26日 申请日期:2013年9月12日 优先权日:2012年9月12日
【发明者】日浅法人 申请人:佳能株式会社