图像处理设备及方法以及具有图像处理设备的摄像设备的制作方法
【专利摘要】本发明涉及一种图像处理设备及方法以及具有图像处理设备的摄像设备。该图像处理设备用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的所述拍摄图像的微透镜阵列，所述图像处理设备具有：再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像执行再聚焦处理，并产生重构图像；以及缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素。在获取了所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测。在指示了所述再聚焦处理的情况下，对进行了缺陷像素检测的拍摄图像进行再聚焦处理。
【专利说明】图像处理设备及方法以及具有图像处理设备的摄像设备
【技术领域】
[0001]本发明涉及一种图像处理设备，更特别地涉及一种用于对在前侧具有微透镜阵列的摄像元件所获取的拍摄图像进行处理的图像处理设备。
【背景技术】
[0002]在现有技术中，存在许多诸如电子照相机等摄像设备，用于将由诸如(XD、CMOS等的摄像元件所拍摄的静止图像或运动图像记录到作为具有存储元件的存储卡的记录介质中，或者从该记录介质中再现由诸如<XD、CMOS等的摄像元件拍摄所拍摄的静止图像或运动图像。
[0003]日本特开昭61-261974已经提出了关于这种摄像设备的技术的例子。这种摄像设备以如下方式构造:以一个微透镜对应预定数量的多个像素的比率来配置微透镜的微透镜阵列(以下简称MLA)设置在摄像元件的前侧，从而还能够获取入射到摄像元件的光线的入射方向信息(光线方向信息)。
[0004]尽管在Ren.Ng.和另外 7 人，“Light Field Photography with a Hand-HeldPlenoptic Camera”, Stanford Tech Report CTSR2005-02 中，这种摄像设备被称为手持式全光照相机，通常还称为“光场照相机”。
[0005]作为这种摄像设备的一个应用，基于各个像素的输出信号来生成普通的拍摄图像。作为另一个应用，对拍摄图像执行基于光线方向信息的预定图像处理，以重构聚焦于任意焦距的图像(这种处理称为再聚焦处理)，等等。
[0006]另一方面，在近年来的电子照相机中，存在很多配备有具有成百上千万像素的摄像元件的照相机。然而，实际上，全部像素都适当地转换为与入射光量相对应的电信号的摄像元件的制造是非常困难的。因此，若干不能正常运行的“缺陷像素”混合地存在于摄像元件的“像素”中。
[0007]在现有技术的摄像设备中，使用缺陷像素的周边像素的图像信号来进行插值处理等，以校正最终生成的图像。
[0008]存在若干检测作为校正对象的缺陷像素的方法。例如，在日本特开昭61-261974和日本特开2005-026794中，已经提出了如下方法:在摄像设备或摄像元件的制造步骤中，基于拍摄图像将缺陷像素的地址记录并存储至摄像设备的存储器中。
[0009]存在作为另一种检测方法的如下实时缺陷像素检测方法:每次在摄像设备进行拍摄时，基于与拍摄图像的周边像素的图像信号的电平差等，来识别缺陷像素。日本特开2005-286825等提出了这一方法。
[0010]然而，在具有上述MLA的摄像设备的拍摄中，为了实现缺陷像素的实时检测，出现了以下问题。
[0011]即，在缺陷像素的实时检测方法中，基于检测对象像素与其周边像素之间的电平差，来判断出检测对象像素是否是缺陷像素。然而，在具有上述MLA的摄像设备中，以用于执行诸如再聚焦处理等的预定图像处理的重构为前提的摄像设备具有如下问题。即，在从摄像元件进行读取时或者在存储图像数据时的像素信号并非总是与被摄体图像的位置关系相对应地进行排列，因而，该图像数据可能不适合于直接显示以进行观察。因此，如果原样使用这种排列方式，难以如日本特开2005-286825所示根据缺陷像素的周边像素的信号来判断检测对象像素是否是缺陷。
[0012]但是，为了检测缺陷像素，如果为了获取适合于直接显示以对检测用图像进行观察的图像数据而执行某一重构处理，在重构后获取到的图像的一个像素信号成为通过对多个摄像元件的像素信号进行相加所生成的信号。因此，根据重构图像的像素信号，很难检测摄像元件的哪个像素是缺陷像素。
【发明内容】
[0013]因此，本发明的一个方面提供了一种用于对由具有MLA的摄像元件获取的拍摄图像进行适当的缺陷像素检测的图像处理设备、图像处理方法以及程序。
[0014]为解决上述问题，根据本发明的第一方面，提供了一种图像处理设备，其用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理设备包括:获取部件，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素；以及控制部件，用于控制所述再聚焦处理部件和所述缺陷像素检测部件，以使得在所述获取部件获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。
[0015]根据本发明的第二方面，提供了一种图像处理方法，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理方法包括:获取步骤，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理步骤，用于利用再聚焦处理单元、基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；缺陷像素检测步骤，用于利用缺陷像素检测单元从获取到的拍摄图像中检测缺陷像素；以及控制步骤，用于控制所述再聚焦处理单元和所述缺陷像素检测单元，以使得在所述获取步骤获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。
[0016]根据本发明的第三方面，提供了一种摄像设备，包括:摄像光学系统；摄像元件，其中，配置有用于获取包含由所述摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列；根据如上所述的图像处理设备；以及输出部件，用于输出所述拍摄图像和所述重构图像至少之一。
[0017]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【专利附图】
【附图说明】
[0018]包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。[0019]图1是根据本发明第一实施例的摄像设备的框图。
[0020]图2是根据图1所示的摄像设备的摄像光学系统的构造的框图。
[0021]图3是示意性地示出图1中的摄像设备的摄像元件的像素阵列的图。
[0022]图4是构成图3中的像素阵列的单元像素的结构图。
[0023]图5是从被摄体方向观察图2的摄像光学系统中的摄像镜头的孔径的情况下的图。
[0024]图6是示出在图2的摄像光学系统中来自被摄体的光线轨迹的图。
[0025]图7A和7B是描述由图2的摄像光学系统所执行的被摄体距离检测操作的图。
[0026]图8是示出根据本发明第一实施例的摄像设备的拍摄操作的流程的图。
[0027]图9是示出根据本发明第一实施例的缺陷像素检测操作的流程的图。
[0028]图1OA和IOB是描述根据本发明第一实施例的缺陷像素的检测方法的图。
[0029]图11是示出根据本发明第二实施例的摄像设备的拍摄操作的流程的图。
【具体实施方式】
[0030]下面将根据附图详细说明本发明的各个典型实施例、特征和方面。
[0031]第一实施例
[0032]图1是根据本发明第一实施例的摄像设备的框图。
[0033]在图1中，设置有诸如透镜等用于进行拍摄的光学系统101、机械快门102、以及用于将入射光转换为电信号的摄像元件103。摄像元件103具有:用于将入射光转换为电信号的光电转换单元104和用于放大电信号的信号放大单元105。
[0034]模拟信号处理单元106获取从摄像元件103输出的图像信号，并对该图像信号进行模拟信号处理。模拟信号处理单元106具有:用于放大模拟信号的信号放大器107、用于进行水平OB箝位的箝位单元108和用于将模拟信号转换成数字信号的A/D转换器109。
[0035]定时信号生成单元110生成用于使摄像元件103和模拟信号处理单元106运行的信号。驱动单元111驱动光学系统101和机械快门102。数字信号处理单元112对拍摄图像数据执行必要的数字信号处理。数字信号处理单元112包括:图像校正单元113、用于根据本实施例进行缺陷像素检测的缺陷像素检测单元114、用于放大数字信号的信号放大单元115、以及用于对图像数据执行必要的图像处理的图像处理单元116。
[0036]图像存储器117存储进行了信号处理的图像数据。图像记录介质(作为记录介质示出)118可与摄像设备相分离。记录单元119将进行了信号处理的图像数据记录到图像记录介质118。图像显示设备120显示进行了信号处理的图像数据。显示单元121将图像显示在图像显示设备120上。
[0037]系统控制单元122对摄像设备进行总体控制。非易失性存储器(ROM) 123存储:表示系统控制单元122所执行的控制方法的程序、执行程序时使用的诸如参数、表格等的控制数据、以及诸如缺陷地址等的校正数据。当系统控制单元122控制摄像设备时，使用易失性存储器(RAM) 124，存储于非易失性存储器123的程序、控制数据和校正数据被传送并存储至易失性存储器(RAM) 124中。
[0038]拍摄模式设置单元125进行诸如ISO感光度设置等的拍摄条件的设置以及静止图像拍摄和实时取景驱动之间的切换等等。[0039]以下将说明根据本实施例的上述构成的摄像设备的拍摄操作。
[0040]假设在拍摄操作之前，在系统控制单元122开始工作时，例如在摄像设备电源接通时等，必要的程序、控制数据以及校正数据从非易失性存储器123传送并存储到易失性存储器124中。在系统控制单元122控制摄像设备时使用这些程序和数据。尽管如此，系统控制单元122也可以以如下方式来构成:在必要时附加的程序和数据能够从非易失性存储器123传送到易失性存储器124，或者存储在非易失性存储器123中的数据能够被直接读出并使用。
[0041]首先，利用来自系统控制单元122的控制信号来驱动诸如透镜等的光学系统101，并在摄像元件103上形成已设置了适当亮度的被摄体图像。接着，在静止图像拍摄模式下，利用来自系统控制单元122的控制信号来驱动机械快门102，以根据摄像元件103的操作来对摄像元件103进行遮光，从而获取到必要的曝光时间。此时，如果摄像元件103具有电子快门功能，则可利用与机械快门102的协作来确保必要的曝光时间。在运动图像拍摄模式以及实时取景驱动模式下，利用来自系统控制单元122的控制信号，将机械快门102维持在完全打开状态，以在拍摄期间始终对摄像兀件103进彳丁曝光。
[0042]摄像元件103由对应于系统控制单元122所控制的定时信号生成电路110生成的操作脉冲的驱动脉冲来驱动。光电转换单元104利用光电转换将被摄体图像转换为电信号。信号放大单元105将电信号乘以根据入射光量而设置的放大系数，并输出作为模拟图像信号的结果信号。
[0043]利用系统控制单元122所控制的定时信号生成电路110生成的操作脉冲，模拟信号处理单元106对从摄像元件103输出的模拟图像信号进行处理。首先，PGA单元107乘以根据入射光量而设置的放大系数的增益。箝位单元108对在水平OB区域中输出的信号进行箝位以作为基准电压。A/D转换器109将已箝位的信号转换为数字图像信号。
[0044]接着，系统控制单元122所控制的数字信号处理单元112，对从模拟信号处理单元106输出的数字图像信号进行诸如颜色转换、白平衡和伽马校正等的图像处理，分辨率转换处理，以及图像压缩处理等。
[0045]首先，在图像校正单元113中，校正缺陷像素，执行诸如暗阴影校正(dark shadingcorrection)等的各种类型的图像校正处理。缺陷像素检测单元114从拍摄图像中检测缺陷像素。由图像校正单元113校正的缺陷像素是在摄像元件103的制造步骤等中预先检测出的像素，并在该步骤中记录了诸如这种像素的位置等的信息。由缺陷像素检测单元114检测的缺陷像素是如下像素:在摄像元件103的制造步骤等中没有被检测出并且在后续步骤中新成为缺陷的像素，或者诸如在每次拍摄时变成缺陷或没有变成缺陷的RTS噪声等的像素。
[0046]在此之后，在信号放大单元115中，乘以根据入射光量而设置的放大系数的增益。在图像处理单元116中，执行诸如颜色转换、白平衡和伽马校正等的图像处理，以及诸如分辨率转换处理、图像压缩处理等的各种类型的图像处理。在图像处理单元116中，还执行上述的基于光线方向信息的再聚焦处理。
[0047]图像存储器117用于暂存信号处理期间的数字图像信号，或者存储作为进行了信号处理的数字图像信号的图像数据。在数字信号处理单元112中进行了信号处理的图像数据和存储在图像存储器117中的图像数据被输入到记录单元119并被转换为适合于图像记录介质118的数据(例如，具有层结构的文件系统数据)。将转换了的图像数据记录到记录介质118中。还将图像数据输入至数字信号处理单元112中，并对其进行分辨率转换处理。之后，显示单元121将图像数据转换成适合于图像显示设备120的信号(例如，NTSC系统的模拟信号等)，由此在图像显示设备120上显示图像数据。
[0048]这里，响应于来自系统控制单元122的控制信号，数字信号处理单元112可以在不对数字图像信号进行任何信号处理的情况下，将该数字图像信号输出到图像存储器117或记录单元119中。在存在来自系统控制单元122的请求时，数字信号处理单元112将在信号处理步骤中所生成的数字图像信号或图像数据的信息输出给系统控制单元122。例如，图像数据的信息为诸如图像的空间频率、指定区域的平均值、压缩图像的数据量等的信息，或者从中提取的信息。另外，当存在来自系统控制单元122的请求时，记录单元119将诸如图像记录介质118的类型、可用空间等的信息输出给系统控制单元122。
[0049]将说明在将图像数据记录到图像记录介质118的情况下所进行的再现操作。
[0050]根据来自系统控制单元122的控制信号，记录单元119从图像记录介质118中读出图像数据。类似地，如果图像数据为压缩图像，响应于来自系统控制单元122的控制信号，数字信号处理单元112执行图像扩展处理，并将扩展后的数据存储到图像存储器117。数字信号处理单元112对存储在图像存储器117中的图像数据进行再聚焦处理和分辨率转换处理。之后，显示单元121将图像数据转换成适合于图像显示设备120的信号，由此在图像显示设备120上显示图像数据。
[0051]图2是示出在根据本实施例的摄像设备的摄像光学系统的结构的框图。在该图中，与图1中基本相同的构成要素由相同的附图标记表示，并省略其说明。
[0052]在图2中，设置了摄像镜头201和作为摄像元件103的构成要素的MLA202。同样作为摄像元件103的构成要素的传感器阵列203包括多个像素(光电转换元件)的阵列。附图标记204表示被摄体。
[0053]将参照图2说明根据本实施例的摄像设备的拍摄操作。
[0054]在驱动单元111打开机械快门102的状态下，利用摄像镜头201将被摄体204的图像形成在摄像元件103上。入射到摄像元件103上的光信号被MLA202中的各个微透镜(以下简称ML)进一步会聚，并入射到传感器阵列203的各个像素中。下文将参照图3说明MLA202和传感器阵列203的结构。入射到传感器阵列203的光信号在摄像元件103的各个像素中进行光电转换，并作为电信号输出。以与参照图1所描述的方式相同的方式执行后续的处理。
[0055]图3是示意性地示出在从被摄体侧观察根据本实施例的摄像设备中使用的摄像元件的情况下的像素阵列的图。
[0056]在图3中，单元像素301与重构后的图像的一个像素相对应。单元像素301由预定数量(6行X6列)的光电转换元件(以下又称为分割像素(division pixels))302构成。
[0057]在本实施例中，如图2、3及6所示，为便于说明，将传感器阵列的像素阵列设置为5行X5列的单元像素阵列，每一个单元像素由6行X6列的分割像素组成。然而，在实际的摄像设备中，认为设置有成百上千万的单元像素。
[0058]图4是示出单元像素301中的分割像素的阵列排列的图。[0059]如图3所示，通过排列36个(=6X6)分割像素302来构成单元像素301。为了后续的说明，在本实施例中，假设将36个分割像素302分别标记为图4所示的pn至p66。
[0060]图5是示出在从被摄体方向观察摄像镜头201的孔径的情况下的光瞳分割图。
[0061]如图5所示，在将摄像镜头201的光瞳区域分割为数量与一个ML中存在的像素的数量相同的区域的情况下，来自摄像镜头201的一个光瞳分割区域的光线的图像形成在一个分割像素中。现在假设摄像镜头和ML的F值几乎相同。在将图5示出的摄像镜头的光瞳分割区域分别标记为an至a66的情况下，当从光轴的方向观察时，摄像镜头的光瞳分割区域an至a66与图4所示的分割像素区域P11至P66之间是点对称的对应关系。因此，从摄像镜头的光瞳分割区域an出射的光图像形成在位于ML后方的单元像素301的分割像素pn中。以与上述的方式相同的方式，从光瞳分割区域an出射并穿过另一个ML的光图像也形成在位于该ML后方的单元像素301的分割像素P11中。
[0062]图6是示出在根据本实施例的摄像光学系统中，从位于不同距离处的被摄体入射的光线轨迹的图。
[0063]在图6中，从摄像镜头201的光瞳区域B1至a6出射并穿过ML的光分别被后方对应的单元像素的分割像素P1至P6接收。
[0064]被摄体601a是位于如下位置处的被摄体:摄像镜头201将该被摄体的图像形成在包括MLA202的平面A上。在从被摄体601a出射的光线中，用实线表示穿过摄像镜头的最外周并经由存在于光轴上的ML入射到传感器阵列203上的光线。
[0065]被摄体601b是在从摄像镜头201进行观察的情况下，位于比被摄体601a更远的位置处的被摄体。摄像镜头201所形成的被摄体601b的图像形成在比包括MLA202的平面A更靠近摄像镜头的平面B上。在从被摄体601b出射的光线中，用虚线表示穿过摄像镜头的最外周并经由存在于光轴上的ML入射到传感器阵列203上的光线。
[0066]被摄体601c是在从摄像镜头201进行观察的情况下、位于比被摄体601a更近的位置处的被摄体。摄像镜头201形成的被摄体601c的图像形成在比包括MLA202的平面A更远离摄像镜头的平面C上。在从被摄体601c出射的光线中，用点划线表示穿过摄像镜头的最外周并经由存在于光轴上的ML入射到传感器阵列203上的光线。
[0067]如图6示出的各光线的光线轨迹所表示的那样，来自被摄体的光线所入射的传感器阵列203中的分割像素，根据摄像镜头201到被摄体601的距离而不同。这种距离与分割像素之间的位置关系给出了光线方向信息。通过使用这一原理，具有上述的结构的摄像设备在拍摄之后重构图像信号，从而能够生成聚焦到位于不同距离处的被摄体上的图像(再聚焦处理)。
[0068]如参照图6说明的那样，由于图4所示的分割像素P11至P66接收了穿过摄像镜头的不同光瞳区域的光，因此还能够通过使用这些信息来执行用于检测到被摄体的距离的操作。
[0069]图7A和7B是描述根据本实施例的摄像设备中被摄体距离的检测操作的图。
[0070]如图7A所示，将与各个微透镜相对应的分割像素的输出P11至P66相加，形成在水平方向上进行光瞳分割而得到的两个信号，如下面的等式(I)和(2)所示:
【权利要求】
1.一种图像处理设备，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理设备包括: 获取部件，用于获取从所述摄像元件输出的拍摄图像； 再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像； 缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素；以及控制部件，用于控制所述再聚焦处理部件和所述缺陷像素检测部件，以使得在所述获取部件获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。
2.根据权利要求1所述的图像处理设备，其中，构成所述微透镜阵列的各个微透镜与构成所述摄像元件的光电转换元件中的预定数量的光电转换元件相对应，以及 所述缺陷像素检测部件计算所述预定数量的光电转换元件的输出值的标准偏差，并基于计算出的标准偏差的值，决定是否根据所述预定数量的光电转换元件的输出进行缺陷像素的检测。
3.根据权利要求2所述的图像处理设备，其中，所述缺陷像素检测部件将与所述预定数量的光电转换元件的输出中的、相对于所述预定数量的光电转换元件的输出的平均值的差值不在预定范围内的输出相对应的光电转换元件检测为缺陷像素。
4.根据权利要求2所述的图像处理设备，其中，如果与各个微透镜相对应的所述预定数量的光电转换元件的各个光电转换元件的输出和多个周边光电转换元件各自的输出之间的差值不等于预定范围内的值，则所述缺陷像素检测部件将所述各个光电转换元件检测为缺陷像素。
5.根据权利要求3或4所述的图像处理设备，其中，如果基于计算出的标准偏差的值决定进行缺陷像素的检测，则所述缺陷像素检测部件根据计算出的标准偏差的值来改变所述预定范围的大小。
6.根据权利要求5所述的图像处理设备，其中，在所述预定数量的光电转换元件的输出的标准偏差的值小的情况下，所述缺陷像素检测部件减小所述预定范围的大小。
7.根据权利要求3所述的图像处理设备，其中，如果基于计算出的标准偏差的值决定进行缺陷像素的检测，则所述缺陷像素检测部件根据所述预定数量的光电转换元件的周边拍摄图像的离焦量来改变所述预定范围的大小。
8.根据权利要求1所述的图像处理设备，其中，还包括: 再聚焦距离设置部件，用于设置由所述再聚焦处理部件生成的重构图像的被摄体距离。
9.根据权利要求1所述的图像处理设备，其中，还包括: 第一缺陷像素校正部件，用于对由所述缺陷像素检测部件检测到的缺陷像素进行校正。
10.根据权利要求9所述的图像处理设备，其中，还包括: 存储器，用于记录构成所述摄像元件的光电转换元件的缺陷像素的位置；以及 第二缺陷像素校正部件，用于基于所记录的位置来校正缺陷像素的信号。
11.根据权利要求10所述的图像处理设备，其中，还包括: 第三缺陷像素校正部件，用于检测并校正由所述再聚焦处理部件生成的重构图像的缺陷像素。
12.根据权利要求11所述的图像处理设备，其中，所述控制部件根据所述缺陷像素检测部件的缺陷像素的检测结果，决定是否进行利用所述第三缺陷像素校正部件的所述重构图像的缺陷像素的校正。
13.根据权利要求9或10所述的图像处理设备，其中，所述控制部件保留所述缺陷像素检测部件的缺陷像素的检测结果，控制所述第一缺陷像素校正部件，并基于所保留的检测结果进行所述重构图像的缺陷像素的校正。
14.一种图像处理方法，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理方法包括: 获取步骤，用于获取从所述摄像元件输出的拍摄图像； 再聚焦处理步骤，用于利用再聚焦处理单元、基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像； 缺陷像素检测步骤，用于利用缺陷像素检测单元从获取到的拍摄图像中检测缺陷像素；以及 控制步骤，用于控制所述再聚焦处理单元和所述缺陷像素检测单元，以使得在所述获取步骤获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。
15.一种摄像设备，包括: 摄像光学系统； 摄像元件，其中，配置有用于获取包含由所述摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列； 根据权利要求1所述的图像处理设备；以及 输出部件，用于输出所述拍摄图像和所述重构图像至少之一。
【文档编号】H04N5/367GK103685920SQ201310412980
【公开日】2014年3月26日 申请日期:2013年9月11日 优先权日:2012年9月11日
【发明者】铃木聪史, 小林宽和 申请人:佳能株式会社