图像处理装置及其控制方法与流程

本发明涉及摄像元件的缺陷像素检测。

背景技术：

提出了如下的摄像设备：为了检测摄像元素内的缺陷像素，使用与目标像素邻接的像素的信息来进行缺陷像素检测。在日本特开2010-130236中，公开了使用相同颜色的两个或更多邻接像素的信息来进行缺陷像素检测的技术。在日本特开2011-97542中，公开了使用相同颜色的像素和不同颜色的像素的信息来进行缺陷像素检测的技术。

然而，由于阴影的影响，导致在图像信号穿过摄像光学系统以到达摄像元件并且光电传感器接收该图像信号的光的情况下的图像信号的输出值不太可能是均匀的值。也就是说，由于阴影的发生导致亮度根据光电传感器的光接收区域而改变，因此难以适当地进行摄像元件的缺陷像素检测。

技术实现要素：

本发明提供一种用于即使在发生了阴影的情况下也精确地进行缺陷像素检测的技术。

根据本发明的实施例的装置是一种图像处理装置，其用于获取多个像素的输出值并对图像信号进行处理，所述图像处理装置包括：获取部件，用于从像素获取第一输出值，并且获取从所述像素的邻接像素所确定出的第二输出值；以及检测部件，用于通过根据所述第一输出值和所述第二输出值计算所述像素的评价值并将所述评价值与阈值相比较，来进行缺陷像素检测，其中，所述检测部件使用所述第二输出值以及根据所述第一输出值和所述第二输出值所求出的第一评价值来计算第二评价值，并且在所述第二评价值大于所述阈值的情况下将所述像素检测为缺陷像素。

一种图像处理装置，用于获取多个像素的输出值并对图像信号进行处理，所述图像处理装置包括：获取部件，用于从像素获取第一输出值，并且获取从所述像素的邻接像素所确定出的第二输出值；检测部件，用于通过根据所述第一输出值和所述第二输出值计算所述像素的第一评价值并将根据所述第一评价值和所述第二输出值所计算出的第二评价值与阈值相比较，来进行缺陷像素检测；像素校正部件，用于对所述检测部件所检测到的缺陷像素的像素信号进行校正；以及阴影校正部件，用于使用所述像素校正部件校正后的像素信号来进行阴影校正。

一种图像处理装置要执行的控制方法，所述图像处理装置用于获取多个像素的输出值并对图像信号进行处理，所述控制方法包括以下步骤：从像素获取第一输出值，并且获取从所述像素的邻接像素所确定出的第二输出值；以及检测步骤，用于利用检测部件，通过根据所述第一输出值和所述第二输出值计算所述像素的评价值并将所述评价值与阈值相比较来进行缺陷像素检测，其中，所述检测步骤包括：利用所述检测部件，使用所述第二输出值以及根据所述第一输出值和所述第二输出值所求出的第一评价值来计算第二评价值，并且在所述第二评价值大于所述阈值的情况下将所述像素检测为缺陷像素。

一种图像处理装置要执行的控制方法，所述图像处理装置用于获取多个像素的输出值并对图像信号进行处理，所述控制方法包括以下步骤：从像素获取第一输出值，并且获取从所述像素的邻接像素所确定出的第二输出值；利用检测部件，通过根据所述第一输出值和所述第二输出值计算所述像素的第一评价值并将根据所述第一评价值和所述第二输出值所计算出的第二评价值与阈值相比较，来进行缺陷像素检测；利用像素校正部件来对所检测到的缺陷像素的像素信号进行校正；以及利用阴影校正部件，使用所述像素校正部件校正后的像素信号来进行阴影校正。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是本发明的实施例中的摄像设备的示意结构图。

图2是本发明的实施例中的像素阵列的示意图。

图3a和3b是本发明的实施例中的像素的示意性平面图以及示意性截面图。

图4是本发明的实施例中的像素和光瞳分割的示意性说明图。

图5是本发明的实施例中的摄像像素和光瞳分割的示意性说明图。

图6a和6b是本发明的实施例中的视差图像的阴影的说明图。

图7a和7b是本发明的实施例中的缺陷像素检测的说明图。

图8a和8b是本发明的实施例中的从缺陷像素检测到图像显示的流程图。

具体实施方式

以下将参考附图来详细说明本发明的典型实施例。在实施例中，将说明根据本发明的图像处理装置被应用于诸如数字照相机等的摄像设备的示例，但是本发明可以广泛地应用于执行以下图像处理的信息处理装置和电子装置等。

图1是示出根据本发明实施例的包括摄像元件的摄像设备的结构的示例的框图。配置在摄像光学系统(成像光学系统)的前端的第一透镜组101利用镜筒以在光轴方向上能够前后移动的方式被保持。光圈-快门102通过调节其开口直径来调节摄像期间的光量，并且还用作在静止图像拍摄期间的曝光时间调节用快门。光圈-快门102与第二透镜组103一起在光轴方向上前后移动，并且与第一透镜组101的前/后移动连动地提供变倍效果(变焦功能)。第三透镜组105是用于通过在光轴方向上前/后移动来进行焦点调节的调焦透镜。光学低通滤波器106是用于减少所拍摄图像的伪色和摩尔纹的光学元件。摄像元件107例如包括二维互补金属氧化物半导体(cmos)光电传感器和外围电路，并且配置在摄像光学系统的图像形成面中。

变焦致动器111通过转动凸轮筒(未示出)以在光轴方向上移动第一透镜组101和第二透镜组103，来进行变倍操作。光圈-快门致动器112控制光圈-快门102的开口直径以调节摄像用的光量，并且控制静止图像拍摄期间的曝光时间。调焦致动器114在光轴方向上移动第三透镜组105以调节焦点。

在摄像期间使用用于照射被摄体的电子闪光灯115。使用了利用氙管的闪光灯照明装置或具有连续闪光发光二极管(led)的照明装置。自动调焦(af)辅助光源116经由投影透镜将具有预定开口图案的掩模的图像投影在被摄体视场上。由此，提高了低亮度被摄体或低对比度被摄体的焦点检测能力。构成照相机本体单元的控制单元的中央处理单元(cpu)121具有以各种方式控制照相机主单元的控制中心功能。cpu121包括计算单元、只读存储器(rom)、随机存取存储器(ram)、模拟至数字(a/d)转换器、数字至模拟(d/a)转换器和通信接口电路等。根据rom中所存储的预定程序，cpu121驱动照相机中的各种类型的电路，并且执行诸如af控制、摄像处理、图像处理和记录处理等的一系列操作。cpu121进行对本实施例的缺陷像素检测、缺陷像素校正和阴影校正的控制。

电子闪光灯控制电路122根据cpu121的控制命令，与摄像操作同步地控制电子闪光灯115的on(接通)操作。辅助光源驱动电路123根据cpu121的控制命令，与焦点检测操作同步地控制af辅助光源116的on操作。摄像元件驱动电路124控制摄像元件107的摄像操作，并且根据a/d转换对所获取到的摄像信号进行转换以将转换后的摄像信号发送至cpu121。图像处理电路125根据cpu121的控制命令对摄像元件107所获取到的图像进行诸如伽马转换、颜色插值和联合图像专家小组(jpeg)压缩等的处理。图像处理电路125进行用于生成摄像元件107所获取到的所拍摄图像或视差图像的处理。针对所拍摄图像的图像信号进行记录处理或显示处理。此外，在焦点检测、视点改变处理、立体显示、再聚焦处理和重影(ghost)去除处理等中使用视差图像。

调焦驱动电路126根据cpu121的控制命令、基于焦点检测结果来驱动调焦致动器114，并且在光轴方向上移动第三透镜组105，由此调节焦点。光圈-快门驱动电路128根据cpu121的控制命令，驱动光圈-快门致动器112以控制光圈-快门102的开口直径。变焦驱动电路129根据cpu121的控制命令，响应于用户的变焦操作指示来驱动变焦致动器111。

显示单元131具有诸如液晶显示器(lcd)等的显示装置，并且显示与照相机的摄像模式有关的信息、摄像之前的预览图像、摄像之后的确认图像以及焦点检测期间的聚焦状态显示图像等。作为操作开关，操作开关组132包括电源开关、释放(摄像触发器)开关、变焦操作开关和摄像模式选择开关等，并将操作指示信号输出至cpu121。闪速存储器133是相对于照相机本体单元可拆卸的记录介质，并且记录所拍摄图像数据等。

接着，将参考图2来说明本实施例中的摄像元件的像素阵列。图2是示出本实施例中的摄像元件的像素单元和子像素的阵列的示意图。将图2的左右方向定义为x轴方向，将上下方向定义为y轴方向，并且将与x轴方向和y轴方向正交的方向(与纸面垂直的方向)定义为z轴方向。采用4列×4行的范围来示出二维cmos传感器(摄像元件)的摄像像素阵列的示例，并且采用8列×4行的范围来示出焦点检测像素阵列的示例。摄像像素是用于输出像素信号的摄像像素，并且包括对像素进行分割而得到的多个子像素。在本实施例中，示出在预定方向上将像素分割而得到的两个子像素的示例。

2列×2行的像素组200包括像素200r、200g和200b作为一组。像素200r(参见左上位置)是具有红色(r)的光谱灵敏度的像素，并且像素200g(参见右上位置和左下位置)是具有绿色(g)的光谱灵敏度的像素。像素200b(参见右下位置)是具有蓝色(b)的光谱灵敏度的像素。此外，各像素包括采用2列×1行排列的第一子像素201和第二子像素202。各子像素具有用于输出焦点检测信号的焦点检测像素的功能。在图2所示的示例中，可以通过在平面上排列大量的4列×4行的像素(8列×4行的子像素)来获取拍摄图像信号和焦点检测信号。在摄像元件中，假定像素周期p是4微米(μm)，并且假定像素数量n约为20750000(＝5575列×3725行)。此外，假定焦点检测像素的阵列方向周期ps是2μm，并且假定子像素的数量ns约为41500000(＝11150列×3725行)。

图3a示出在从摄像元件的光接收面侧(+z侧)观看时图2所示的摄像元件中的一个像素200g的平面图。将z轴设置在与图3a的纸面垂直的方向上，并且将近侧定义为z轴的正方向。此外，通过将y轴设置在与z轴正交的上下方向上来将向上方向定义为y轴的正方向，并且通过将x轴设置在与y轴正交的左右方向上来将向右方向定义为x轴的正方向。图3b示出沿着图3a的a-a线、从-y侧观看像素时的截面图。像素200g具有用于将入射光会聚在各像素的光接收面侧(+z方向)上的微透镜305，并且包括分割的多个光电转换单元。例如，x方向上的分割数由nh表示，并且y方向上的分割数由nv表示。在图3a和3b中，示出在水平方向上将光瞳区域分割成两部分的示例、即nh＝2并且nv＝1的示例，并且形成用作子像素的光电转换单元301和302。光电转换单元301与作为第一焦点检测像素的第一子像素201相对应，并且光电转换单元302与作为第二焦点检测像素的第二子像素202相对应。

光电转换单元301和302可以被形成为例如具有在p型层和n型之间夹持有本征层的pin结构的光电二极管，或者根据需要可以被形成为省去本征层的p-n结光电二极管。在各像素中，在微透镜305与光电转换单元301和302之间形成有颜色滤波器306。根据需要，可以针对各子像素改变颜色滤波器306的分光透过率，或者可以省去颜色滤波器。

在入射在像素200g上的光被微透镜305会聚、并且进一步被颜色滤波器306分光之后，该光被光电转换单元301和302各自接收。在光电转换单元301和302中，根据光量产生电子-空穴对，并且在电子-空穴对被耗尽层分离之后，具有负电荷的电子累积在n型层(未示出)中。另一方面，空穴经由连接至恒压源(未示出)的p型层而排出至摄像元件的外部。光电转换单元301和302的n型层(未示出)中所累积的电子经由传输门而传输至静电电容单元(fd)，并且被转换成电压信号。

图4是示出像素结构和光瞳分割之间的对应关系的示意性说明图。在图4中，示出了从+y方向观看沿着图3a所示的像素结构的a-a线所截取的切割面时的截面图以及从-z方向观看时的成像光学系统的出射光瞳面(参见出射光瞳400)的图。在图4中，在像素结构的截面图中，示出通过将图3所示的状态反转所获得的x轴和y轴，以与出射光瞳面的坐标轴相对应。

通常将与第一子像素201相对应的第一光瞳部分区域501设置为相对于重心偏向-x方向的光电转换单元301的光接收面经由微透镜305而具有共轭关系。也就是说，第一光瞳部分区域501表示能够由第一子像素201进行受光的光瞳区域，并且在光瞳面上具有偏向+x方向的重心。另外，通常将与第二子像素202相对应的第二光瞳部分区域502设置为相对于重心偏向+x方向的光电转换单元302的光接收面经由微透镜305而具有共轭关系。第二光瞳部分区域502表示能够由第二子像素202进行受光的光瞳区域，并且在光瞳面上具有偏向-x方向的重心。另外，图4所示的区域500是在对光电转换单元301和光电转换单元302(即，第一子像素201和第二子像素202)进行组合的情况下能够通过整个像素200g进行受光的光瞳区域。

入射光通过微透镜而会聚在焦点位置。然而，由于光的波动性导致的衍射的影响，因此光会聚点的直径可能不会小于衍射极限δ，并且具有有限的大小。在光电转换单元的光接收面尺寸约为1～2μm的情况下，微透镜的光会聚点尺寸约为1μm。因而，经由微透镜与光电转换单元的光接收面具有共轭关系的图4的第一光瞳部分区域501和第二光瞳部分区域502由于衍射模糊而导致无法进行清楚的分割，并且具有光接收率分布(光瞳强度分布)。

图5的示意图中示出摄像元件和光瞳分割之间的对应关系。穿过被称为第一光瞳部分区域501和第二光瞳部分区域502的不同光瞳部分区域的光束以不同角度入射在摄像元件的像素上。采用nh(＝2)×nv(＝1)分割的第一子像素201的光电转换单元301和第二子像素202的光电转换单元302各自接收入射光以进行光电转换。在本实施例中已经说明了在水平方向上将光瞳区域分割成两部分的示例，但是根据需要可以将光瞳在垂直方向上进行分割。

如上所述，本实施例的摄像元件具有排列有多个像素单元的结构，其中，多个像素单元各自具有用于接收穿过成像光学系统的不同光瞳部分区域的光束的多个子像素。例如，针对摄像元件的各像素，将子像素201和子像素202的信号相加并读取，以使得cpu121和图像处理电路125生成具有有效像素数的分辨率的所拍摄图像。在这种情况下，通过针对各像素对多个子像素的受光信号进行合成来生成所拍摄图像。此外，在另一方法中，通过收集摄像元件的各像素单元的子像素201的受光信号来生成第一视差图像。通过从所拍摄图像中减去第一视差图像来生成第二视差图像。根据需要，cpu121和图像处理电路125通过收集摄像元件的各像素单元的子像素201的受光信号来生成第一视差图像，并且通过收集各像素单元的子像素202的受光信号来生成第二视差图像。针对不同光瞳部分区域中的各光瞳部分区域，可以根据子像素的受光信号来生成一个或多个视差图像。

视差图像是具有与所拍摄图像的视点不同的视点的图像，进行以下要说明的阴影校正，并且可以同时获取多个视点处的图像。在本实施例中，所拍摄图像、第一视差图像和第二视差图像各自是拜尔阵列的图像。根据需要，可以对拜尔阵列的所拍摄图像、第一视差图像和第二视差图像进行去马赛克处理。

以下将参考图6a和6b来说明阴影。图6a和6b是视差图像的阴影的产生原理和阴影的说明图。以下将从摄像元件的各像素单元中的第一光电转换单元所获取到的图像信号指定为图像信号a，并且将从第二光电转换单元所获取到的图像信号指定为图像信号b。图6a示出图像信号a的入射角光接收特性601a以及图像信号b的入射角光接收特性601b。横轴表示位置坐标x，并且纵轴(z轴)表示光接收灵敏度。图6a还示出出射光瞳框(出射光瞳形状)602以及各图像高度的摄像像素603。+x1的位置在光瞳坐标上与-x2的位置相对应，并且-x1的位置在光瞳坐标上与+x2的位置相对应。图6b示出表示图6a的状态下的图像信号a的阴影的曲线604a以及表示图像信号b的阴影的曲线604b。横轴表示位置坐标x，并且纵轴表示光量。

在图6a中，具有-x1的图像高度的摄像像素603经由出射光瞳框602接收来自光瞳坐标上的+x2的位置的光瞳的光。因而，从入射角光接收特性601a和入射角光接收特性601b可以看到，在将图像信号a和图像信号b的灵敏度相比较的情况下，图像信号b与图像信号a相比具有更高的灵敏度。另一方面，具有+x1的图像高度的摄像像素603经由出射光瞳框602接收来自光瞳坐标上的-x2的位置的光瞳的光。因而，在将图像信号a和图像信号b的灵敏度相比较的情况下，图像信号a与图像信号b相比具有更高的灵敏度。由于这个原因，图6a的状态下的阴影如图6b的曲线604a(图像信号a)和604b(图像信号b)所指示的那样产生。由于阴影的特性根据出射光瞳框602的位置或大小而改变，因此如果出射光瞳距离和光圈值改变，则阴影的状态同样改变。由于在实际的摄像光学系统发生渐晕，因此由于摄像像素的高度而导致的出射光瞳距离和光圈值的改变根据摄像光学系统而有所不同。因此，为了实现高精度的阴影校正，需要考虑到针对摄像光学系统的各摄像条件的渐晕的影响来进行校正。

在镜头可更换型摄像设备的情况下，进行与安装在摄像设备的主体单元上的镜头装置相对应的阴影校正。也就是说，需要将与镜头装置的摄像光学系统信息相对应的阴影校正值预先存储在摄像设备的主体单元内，以在图像记录期间进行阴影校正。这是为了高速地进行图像记录，以使得防止失去摄像设备的连续摄像性能。然而，用于将与针对各镜头装置的摄像光学系统信息相对应的全部阴影校正值存储在存储器中的方法需要巨大的数据存储区域，并且这是不实际的。因此，在图像获取之后不需要阴影校正的快速性的图像再现期间，通过获取阴影校正所需的数据来进行阴影校正。基于与入射光的利用摄像光学系统的渐晕相关的信息以及与入射光的角度变化相对应的像素的灵敏度特性，可以通过组合这两者的信息来计算阴影校正时所使用的校正值。

接着，将参考图7a和7b来说明缺陷像素检测。图7a和7b是在进行缺陷像素检测的情况下用于计算并评价检测像素的输出值(第一输出值)和与该检测像素邻接的周围像素的输出值(第二输出值)之间的差值的方法的说明图。第二输出值是通过计算第一输出值、像素的颜色滤波器、所接收到的光束穿过的光瞳区域以及相加像素的数量中的一个或多个作为相同条件来确定的。图7a示出使用邻接的5×5个像素的区域来进行缺陷像素检测的情况。图7b示出使用邻接的±3行的区域(7×7个像素的区域)来进行缺陷像素检测的情况。通过使用整数变量i和j来表示各像素的位置。在图7a和7b中，通过变量i来表示垂直方向的像素位置，通过变量j来表示水平方向的像素位置，并且通过(i,j)来表示像素位置。

如果像素的输出值由s来表示，则s包括信号分量styp和噪声分量n。此外，噪声分量n包括固定噪声分量nfixed以及随机噪声分量nrandom。因此，输出值s通过以下表达式(1)来表示。

s＝styp+nfixed+nrandom···(1)

将固定噪声分量nfixed恒定输出为固定值的误差。将随机噪声分量nrandom输出为根据信号分量styp的大小而改变的误差。如果固定噪声分量nfixed大，则由于图像的颜色始终以变化的方式显现，因此需要在缺陷像素检测中精确地检测具有大的固定噪声分量nfixed的像素。

固定噪声分量nfixed是如以下表达式(2)所示那样相对于信号分量styp受(由α表示的)增益所影响的分量，并且进行缺陷像素检测以主要检测这种分量。

nfixed＝styp·α···(2)

α：像素变化误差

另一方面，随机噪声分量nrandom是如以下表达式(3)所示那样与信号分量styp的平方根成比例地基于泊松分布(poissondistribution)而改变的分量。

f(t)：摄像时间t的在±1的范围内改变的函数

β：传感器固有值

为了在缺陷像素检测中通过主要检测固定噪声分量nfixed来判断是否存在缺陷像素，在阴影不可能的条件下进行检测，并且通过减小随机噪声分量nrandom来进行测量。然而，难以移除全部随机噪声分量nrandom。因而，进行固定噪声分量nfixed和随机噪声分量nrandom各自的容许值的设置处理，并且基于这两者之和来确定阈值。

作为缺陷像素检测的一种一般方法，存在使用通过选择与作为检测对象的像素邻接的周围像素所获得的代表值或使用邻接周围像素所计算出的代表值与缺陷检测像素的输出值之间的差值的方法。由于没有包括噪声分量的情况的信号分量实际是未知的，因此使用该代表值作为信号分量。进行以代表值为基准的差值是否能够被容许的评价处理。

图7a中的像素位置(i,j)所表示的位置表示进行缺陷像素检测的对象像素。其输出值由s(i,j)表示。如果将图7a所示的区域中的代表值、即5×5个像素的输出值的中值指定为代表值，则由styp(i,j)来表示。替代中值，可以使用平均值等。代表值的设置方法是任意的。

通常的缺陷像素检测的评价值(第一评价值)由像素位置(i,j)和摄像时间t的函数e(i,j,t)来表示。像素的输出值由s(i,j,t)来表示。通过将第一输出值和第二输出值之间的差的绝对值除以第二输出值来计算第一评价值。使用利用预定阈值eerror的以下表达式(4)。

如果将(由sstd表示的)特定标准输出值的预定阈值由eerror0表示、并且容许变化误差由α0表示，则根据表达式(4)的预定阈值eerror0变成以下表达式(5)。

在缺陷像素检测中，如果评价值e超出预定阈值eerror0，则判断为对象像素是缺陷像素。也就是说，使用以下表达式(6)来进行缺陷像素检测。

以亮度来对表达式(6)进行标准化。也就是说，评价值e是标准化后的亮度评价值。如果亮度的变化在数％的范围内，则由于styp(i,j)的变化被认为是非常小的，因此可以精确地进行缺陷像素检测。然而，r、g和b像素的颜色滤波器的透过率的差异或者图6所示的阴影的差异未包括在数％的量级上。特别地，如果在存在阴影的影响的状态下使用表达式(6)，则由于styp(i,j)针对各区域改变，因此难以确保检测精度。

如果镜头可更换型照相机等以各种出射光瞳距离进行摄像，则应当实时进行缺陷像素检测。在这种情况下，即使产生了如图6所示那样的阴影的情况下，也需要针对各图像区域将检测精度维持成相同程度。

输出值已改变的情况下的缺陷像素的条件表达式变成以下表达式(7)。

如果将表达式(7)整体乘以则获得以下表达式(8)。

如果将表达式(5)代入表达式(8)来进行整理，则给出以下表达式(9)。

如果将表达式(9)和表达式(6)相比较，则可以看出，第一评价值e是使用styp和sstd来校正的，并且与固有噪声相关联地添加表达式(9)的右边的第二项。也就是说，通过将第一评价值与包括第二输出值和标准输出值之间的比的平方根的项相乘，来计算第二评价值。表达式(9)的右边的第二项是贡献率在styp相对于sstd的改变增大的情况下增大的项。由此，可以根据styp来改变并评价判断阈值。此外，sstd可以被设置成使得：考虑到所需要的缺陷像素检测精度和计算规模之间的平衡，在表达式(9)的右边，必须小于1。以下表达式(10)是表示在styp中假定的最小值styp_min和判断阈值eerror0*的不等式。在表达式(9)的右边，可以使用表达式(10)所求出的eerror0*通过固定判断阈值来进行评价。

在本示例中已经说明了关注于一个像素的缺陷像素检测，但是同样的概念还可以适用于图7b所示的线状缺陷像素检测的情况，并且适用范围不限于图7b所示的范围。此外，为了提高标准化的精度和缺陷像素检测精度，根据缺陷检测像素和处理条件来设置计算评价值时所使用的代表值styp。处理条件例如是配置在像素上的颜色滤波器、像素所接收到的光束穿过的光瞳部分区域或像素相加等。

在缺陷像素校正处理中，针对缺陷像素检测所检测到的像素，使用周围像素的像素信号、通过双线性方法或双三次方法等来进行校正。通过适当地检测并校正缺陷像素，可以提供高质量的图像。可以通过预定计算方法来进行缺陷像素校正，而无需使用摄像光学系统的信息。此外，通过在图像处理装置内进行硬件处理，与通过外部装置(pc等)的软件处理相比，可以更高速地进行缺陷像素校正。因此，在缺陷像素的提取之后，在摄像设备内执行缺陷像素校正处理。

将参考图8a和8b来说明视差图像的生成处理。图8a和8b是示出使用阴影产生时的像素数据来进行图像生成、图像记录和图像显示的处理的流程图。图8a是示出从摄像到图像记录的处理的流程图。图8b是示出读取所记录的图像数据并且显示图像的处理的流程图。

如参考图2所述，通过仅使用子像素数据来生成图像，可以生成具有与所拍摄图像的视点不同的视点的视差图像。然而，如果产生了阴影，则需要按照适当过程来进行缺陷像素检测、缺陷像素校正和阴影校正，以通过降低阴影的影响来生成高质量图像。

在图8a的s801中，进行从摄像元件107的各像素单元的子像素中获取像素数据的处理。在接着的步骤s802中，cpu121使用上述条件表达式来进行缺陷像素检测。将所计算出的评价值超过预定判断阈值的像素检测为缺陷像素。在s803中，cpu121进行缺陷像素校正。针对s802中所检测到的缺陷像素，进行使用与缺陷像素邻接的像素的数据的诸如线性插值等的处理。例如，使用与缺陷像素邻接的像素的信息，通过双线性方法或双三次方法等来进行孤立点处的缺陷像素校正。此外，如果缺陷像素彼此邻接，则进行邻接缺陷像素校正。在s804中，cpu121进行用于记录从包括s803中校正后的像素的各个像素中所获取到的图像数据的控制。例如，将视差图像的图像信号存储在装置内部的存储器或者外部存储器中。

在图8b的s805中，cpu121执行从存储器读取像素数据的处理，并且处理移动至s806。在s806中，cpu121获取阴影校正所需的数据，并且对s805中所获取到的图像数据进行阴影校正。在阴影校正中，使用预定的校正值表来校正图像数据。例如，假定如下情况：图像处理电路125基于利用摄像元件从针对各像素单元的多个光电转换单元各自所输出的像素信号，根据图像信号a来生成第一视差图像，并且根据图像信号b来生成第二视差图像。在这种情况下，使用与图像信号a相对应的校正值a和与图像信号b相对应的校正值b。也就是说，由于阴影校正值在图像信号a和图像信号b之间有所不同，因此需要分开使用阴影校正值。此外，由于校正值根据图像高度而改变，因此分开使用与不同的图像高度相对应的校正值。此外，由于阴影校正值还根据f值(光圈值)和镜头单元的出射光瞳距离而改变，因此使用与f值(光圈值)和出射光瞳距离相对应的校正值。在镜头可更换型照相机系统中，根据安装在照相机本体单元上的镜头装置来选择阴影校正值。基于根据各种类型的条件所选择的校正值，来进行视差图像的阴影校正。在s807中，显示单元131显示与s806中进行了阴影校正的图像信号相对应的图像。

在本实施例中，可以基于在产生了阴影的情况下所标准化的亮度评价值来适当地进行缺陷像素检测。因此，可以基于进行了缺陷像素校正和阴影校正的图像信号来提供高质量图像。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2016年3月1日提交的日本专利申请2016-039156的优先权，这里通过引用将其全部内容包含于此。