摄像装置、图像校正方法以及记录介质与流程

本发明涉及防止由重影光引起的画质降低的摄像装置。

背景技术：

近年来，开发了搭载有内设焦点检测用像素的摄像元件的摄像装置。很多时候在焦点检测用像素中设置有透射特性等与通常的图像生成用像素不同的滤色器。根据透射特性等的差异，重影(ghost)(也称作光斑)的影响在焦点检测用像素的周围像素和其他像素中不同。因此，在内设有焦点检测用像素的摄像元件中，重影的影响根据像素而不同，由此在产生重影时有时会在图像中产生噪声。

也提出了防止由该重影引起的画质劣化。例如，提出了如下的摄像装置：在判定为产生了重影的情况下，利用权重系数对焦点检测用像素的周围的摄像用像素的像素值进行校正，使校正后的摄像用像素的像素值平滑化从而进行重影抑制处理(专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2013-13007号公报

如上所述，在内设有焦点检测用像素的摄像元件中，有时由于重影的影响而在焦点检测用像素的周围产生噪声，需要应对该情况。

技术实现要素：

本申请发明是鉴于上述课题而完成的，其目的在于，提供能够对由于重影而在摄像元件的焦点检测用像素的周围产生的噪声进行校正的摄像装置。

为了达成上述目的，摄像装置具有：摄像元件，其具有生成图像用的信号的图像用像素和生成焦点检测用的信号的焦点检测用像素；重影检测部，其检测在从所述摄像元件取得的信号中产生的重影；校正对象像素设定部，其在由所述重影检测部检测到产生了重影的情况下，将与所述焦点检测用像素相邻的图像用像素中的、受到由所述重影引起的串扰的影响的图像用像素设定为校正对象像素；以及像素校正部，其基于根据所述校正对象像素附近的图像用像素而计算出的校正值来校正所述校正对象像素。

根据本发明，能够提供对由于重影而在摄像元件的焦点检测用像素的周围产生的噪声进行校正的摄像装置。

附图说明

图1是示出应用本发明的摄像装置的结构例的功能框图。

图2A是示出遮光方式的摄像元件中的像素排列的图。

图2B是示出遮光方式的摄像元件的构造的图。

图3A是示出PD分割方式的摄像元件中的像素排列的图。

图3B是示出PD分割方式的摄像元件的构造的图。

图4是对串扰产生的情形进行说明的图。

图5A是示出(B、Gb、B、Gb)像素列中的串扰的图。

图5B是示出(R、Gr、R、Gr)像素列中的串扰的图。

图5C是对在与焦点检测用像素相邻的像素中串扰量增加的情况进行说明的图。

图6是示出重影检测部的详细内容的框图。

图7是由软件实现重影检测部的情况下的功能框图。

图8是对串扰校正处理的步骤进行说明的流程图。

图9是对校正对象像素的设定处理的步骤进行说明的子程序。

图10A是示出光源位置位于摄像面的上边的情况下的校正对象像素的位置的图。

图10B是示出光源位置位于摄像面的下边的情况下的校正对象像素的位置的图。

图10C是示出光源位置位于摄像面的右边的情况下的校正对象像素的位置的图。

图10D是示出光源位置位于摄像面的左边的情况下的校正对象像素的位置的图。

图11A是示出光源位置位于摄像面的右斜上的情况下的校正对象像素的位置的图。

图11B是示出光源位置位于摄像面的左斜上的情况下的校正对象像素的位置的图。

图11C是示出光源位置位于摄像面的右斜下的情况下的校正对象像素的位置的图的。

图11D是示出光源位置位于摄像面的左斜下的情况下的校正对象像素的位置的图。

图12是示出光源位置位于摄像面的右斜上的情况下的校正对象像素的位置的图。

图13A是示出光源位置位于图像面内的情况下的校正对象像素的位置的图。

图13B是示出光源位置位于图像面内的情况下的校正对象像素的位置的图。

图13C是示出光源位置位于图像面内的情况下的校正对象像素的位置的图。

图14A是作为重影检测用的区域分割例而均等分割成格子状的例子。

图14B是示出产生了重影的画面例的图。

图14C是光源位置位于图像面外的左斜上或右斜下的情况下的区域分割例。

图14D是光源位置位于图像面外的左斜上的情况下的区域分割例。

图15是对在G色特性的焦点检测用像素F中设定校正对象像素的例子进行说明的图。

标号说明

10：照相机系统；100：照相机主体；104：摄像元件；106：模拟处理部；108：A/D转换部；110：相位差信息处理部；120：重影检测部；121：产生判定部；122：产生区域判定部；123：光源位置判定部；124：强度检测部；130：校正对象像素设定部；132：像素校正部；134：图像处理部；150：微型计算机；170：ASIC；180：控制部；200：更换式透镜；400：微透镜；402：滤色器；404：布线层；406：遮光帘；408：光电二极管。

具体实施方式

以下，基于附图对本发明的实施方式进行说明。图1是示出应用本发明的摄像装置(照相机系统10)的结构例的功能框图。照相机系统10具有照相机主体100和更换式镜头200，该更换式镜头200相对于照相机主体100进行装卸。另外，本发明的摄像装置也可以是镜头固定式的照相机，并且可以是内设于便携终端(智能手机)的摄像装置。

照相机主体100具有机械快门102、摄像元件104、模拟处理部106、A/D转换部108、相位差信息处理部110、AF处理部112、AE处理部114、重影检测部120、校正对象像素设定部130、像素校正部132以及图像处理部134。

机械快门102控制被摄体光束的通过时间。机械快门102例如是公知的焦平面快门。

摄像元件104拍摄被摄体像而进行光电转换，输出图像信号。摄像元件104中，将构成各像素的光电二极管二维地配置成矩阵状。

本实施方式所使用的摄像元件104在通常的像素(图像用像素)之间具有焦点检测用像素。图像用像素是图像生成用的像素。焦点检测用像素是输出相位信息的焦点检测用的像素。在焦点检测方式中具有遮光方式和PD分割方式等。对于摄像元件104，后面使用图2A～图3B进行描述。

模拟处理部106对从摄像元件104读出的图像信号实施模拟处理。在模拟处理中包含有相关双采样处理和增益调节处理等。

A/D转换部108是模拟数字转换器，将在模拟处理部106中进行模拟处理后的图像信号转换成数字形式的图像信号(像素数据)。

相位差信息处理部110根据从摄像元件104的焦点检测用像素输出的相位信息而输出被摄体的距离信息和合焦状态信息等。

AF处理部112根据来自相位差信息处理部110的输出来计算合焦评价值。AE处理部114根据图像数据来测定被摄体亮度，输出被摄体亮度信息。

重影检测部120进行图像面内有无产生重影的判定、重影产生区域的判定、重影光源位置的判定、重影强度检测等。重影(也称作重影像)是指在透镜表面或镜框内表面发生了反射的不需要的光(也称作杂散光)进入到摄像元件104从而形成的光学像。以下，也将形成重影的不需要的光称作重影光。并且，以下，不特意区分重影和光斑。

以下，对重影检测部120使用图像数据进行重影检测的例子进行说明，但重影的检测手段不限于此。例如，也可以是，设置检测在摄像元件104周边发生反射的不需要的光的传感器，重影检测部120根据传感器的输出而进行重影检测。使用图6对重影检测部120的详细内容进行说明。

校正对象像素设定部130在与焦点检测用像素相邻的图像用像素中将受到重影光的串扰的影响的图像用像素设定为校正对象像素。以下，将通过焦点检测用像素而漏入到相邻像素的重影光称作串扰。

像素校正部132进行各种像素校正。像素校正部132对受到了串扰的影响的校正对象像素进行校正。像素校正部132通过周边的图像用像素的插值运算而生成校正值，对校正对象像素进行校正。而且，像素校正部132进行如下的处理：通过周围的图像用像素对焦点检测用像素进行校正，从而对焦点检测用像素进行插值。并且，像素校正部132也进行通过周围的图像用像素对被判定为缺陷像素的像素进行校正的处理。

图像处理部134进行白平衡(WB)校正、拜耳数据的情况下进行的同时化处理、颜色再现处理、伽马校正处理、彩色矩阵运算、降噪(NR)处理、边缘强调处理等。

而且，照相机主体100具有图像压缩部136和图像解压缩部138。图像压缩部136在静态图像的情况下按照JPEG方式将图像数据压缩，并且在动态图像的情况下按照MPEG等各种方式进行压缩。图像解压缩部138为了图像再生显示而进行JPEG图像数据和MPEG图像数据的解压缩。

并且，照相机主体100具有微型计算机150、SDRAM(Synchronous Dynamic Random Access Memory：同步动态随机存取存储器)152、闪存154、显示驱动器156、显示部158、存储器接口160、记录介质162、操作部164以及镜头接口166。

微型计算机150是总括地控制照相机系统10整体的处理器。微型计算机150读入存储在闪存154中的控制程序，执行控制程序，进行照相机的各种序列。微型计算机150与操作部164、镜头接口166连接。

SDRAM 152是用于暂时存储图像数据等的能够电改写的易失性存储器。SDRAM 152暂时存储从A/D转换部108输出的图像数据和在图像处理部134等中进行处理后的图像数据。

闪存154除了上述的控制程序之外还存储有更换式镜头200的光学特性和调节值等各种信息。

显示驱动器156根据从SDRAM 152和记录介质162读出并且被图像解压缩部138解压缩后的图像数据，使显示部158显示图像。显示部158例如由LCD构成，显示从显示驱动器156输出的图像。

存储器接口160与记录介质162连接，进行将图像数据或附加于图像数据的头等数据写入到记录介质162或从记录介质162读出的控制。

记录介质162是相对于照相机主体100装卸自如的存储器卡等记录介质。记录介质162也可以是内设于照相机主体100的硬盘等。

操作部164包含电源按钮、释放按钮、动态图像按钮、再生按钮、菜单按钮、十字键、OK按钮等各种输入按钮和各种输入键等操作部件(未图示)。操作部164将这些操作部件的操作状态通知微型计算机150。

镜头接口166是用于进行更换式镜头200内的微型计算机210与照相机主体100内的微型计算机150彼此之间的通信的接口。

更换式镜头200具有透镜202、光圈204、微型计算机210、闪存212以及驱动器214。

透镜202由用于形成被摄体像的多个光学透镜(包含调焦用的对焦透镜)构成。透镜202可以是定焦透镜或变焦透镜。光圈204的开口直径是可变的，该光圈204对通过透镜202的被摄体光束的光量进行控制。

微型计算机210将闪存212的信息发送给照相机主体100内的微型计算机150。微型计算机210是对更换式镜头200进行控制的处理器。闪存212除了控制程序之外还存储有更换式镜头200的光学特性和调节值等各种信息。

驱动器214进行包含于透镜202的对焦透镜等的位置控制和光圈204的开口径的控制。

另外，在图1中，单点划线所包围的范围的部位(相位差信息处理部110和微型计算机150等)设置于ASIC(Application Specific Integrated Circuit：专用集成电路)170内。并且，ASIC 170所进行的这些处理的一部分或全部可以由门阵列等硬件、基于DSP或CPU的软件处理中的任意方式实现。

接下来，使用图2A至图3B，简单地对在本实施方式中使用的摄像元件104的像素排列和焦点检测用像素的构造进行说明。如上所述，在焦点检测方式中具有遮光方式和PD分割方式两种，焦点检测用像素的构造根据焦点检测方式而不同。

图2A和图2B是对遮光方式的摄像元件104进行说明的图。图2A是示出遮光方式的摄像元件104中的像素排列的图。以下，作为滤色器的排列，以拜耳阵列为例，但滤色器的排列不限于拜耳阵列，能够使用各种排列。

R、B、Gr、Gb所示的各像素是图像用像素。并且，R、B、Gr、Gb表示滤色器颜色。另外，Gr、Gb都是绿色的像素，但将配置于红色(R)行的G作为Gr、将配置于蓝色(B)行的G作为Gb而进行区分。并且，将水平方向称作横向，将垂直方向称作纵向。在图像用像素之间配置有由粗框示出的焦点检测用像素。由标号F示出焦点检测用像素。另外，W表示焦点检测用像素的滤色器是透明的。

图2B是示出遮光方式的焦点检测用像素的构造的图。图2B是焦点检测用像素的剖视图。焦点检测用像素具有微透镜400、滤色器402、布线层404、遮光帘406、光电二极管408、基板410以及基座412。微透镜400、布线层404、光电二极管408、基板410以及基座412与通常的图像用像素相同，因此省略说明。

在遮光方式中，关于焦点检测用像素的滤色器402，很多时候设置与图像用像素的滤色器不同的滤色器。在本例中，以具有透明(White)的滤色器402的焦点检测用像素为中心进行说明。

透明滤镜的优势在于与有色的滤色器相比能够接受更多的光。当然，有色的滤色器也可以用于相位检测中。遮光帘406遮蔽入射光K的左右或上下中的任意一方。在图2B的例子中，遮蔽入射光K的右侧。例如，通过检测左区域的信号与右区域的信号的相位差来判定焦点的偏离。

图3A和图3B是示出PD分割方式的摄像元件104的图。图3A是示出PD分割方式的摄像元件104中的像素排列的图。与图2A同样地，由粗框和标号F示出焦点检测用像素。图3B是示出PD分割方式的焦点检测用像素的构造的图。焦点检测用像素具有微透镜400、滤色器402、布线层404、光电二极管408、基板410以及基座412。

PD分割方式的焦点检测用像素具有一对光电二极管408。左侧的光电二极管408接受通过了微透镜400的左侧的入射光K。右侧的光电二极管408接受通过了微透镜400的右侧的入射光K。一对光电二极管408的方向也可以不是左右而是上下。

图3A是将焦点检测用像素的滤色器402按照拜耳阵列排列的颜色的例子，但是不限于此。例如，也可以与图2A的情况同样地，为了增加焦点检测用像素的入射光量而将焦点检测用像素的滤色器402设为透明。并且，焦点检测用像素的滤色器402也可以是有色的，设为与图像用像素的滤色器不同的颜色。

接下来，简单地对由于重影光而产生串扰的原理进行说明。图4是对由于在透镜表面或镜框内表面发生了反射的重影光(不需要的光)而产生串扰的情形进行说明的图。假设重影光M以较小的角度入射到图4的右侧的像素。通过了右侧的像素的微透镜400和滤色器402的重影光M在左右像素的边界的布线层404的上表面上发生反射而进入到左侧像素。进入到了相邻的像素的重影光M成为串扰C(串扰光)。

左侧的像素的光电二极管408除了原本的入射光K之外还接受作为噪声的串扰C。而且，由于重影光M通过右侧的滤色器402而衰减，因此串扰C的量根据重影光M所通过的右侧的滤色器402的特性而发生变化。

图5A～图5C是对漏入到相邻的像素的串扰C的大小根据重影光M所入射的滤色器402的特性而发生变化的情况进行说明的图。

图5A是示出(B、Gb、B、Gb)像素列中的串扰的情形的图。通过Gb像素的滤色器402而漏入到相邻的B像素的重影光M1为串扰Bcross。通过B像素的滤色器402而漏入到相邻的Gb像素的重影光M2为串扰Gbcross。

图5B是示出(R、Gr、R、Gr)像素列中的串扰的情形的图。通过Gr像素的滤色器402而漏入到相邻的R像素的重影光M1为串扰Rcross。通过R像素的滤色器402而漏入到相邻的Gr像素的重影光M2为串扰Grcross。

这里，由于滤色器的透射率不同，一般情况下，

Rcross≒Bcross＞Grcross＞Gbcross成立。其结果为，与原本的RGB平衡相比，由于串扰的影响，R信号和B信号变多。由于R信号和B信号变多而导致在画面中品红(紫)增加。即，在重影的区域中，品红变得突出。因此，也能够通过检测画面内的品红来判定重影的产生。

图5C是对在与焦点检测用像素相邻的像素中串扰量增加的情况进行说明的图。图5C是(B、Gb、W、Gb)像素列的例子。另外，这里，以遮光方式的摄像元件104为例。设焦点检测用像素的滤色器402为透明(W)，将焦点检测用像素称作W像素。

通过Gb像素的滤色器402而漏入到相邻的B像素的重影光M1为串扰Bcross。通过W像素的滤色器402而漏入到相邻的Gb像素的重影光M2为串扰Gbcross。通过Gb像素的滤色器402而漏入到相邻的W像素的重影光M3为串扰Wcross。

图5C的像素排列是针对图5A的像素排列将从右数第二个B像素变更为焦点检测用像素而成的。因此，图5C中的Gbcross大于图5A中的Gbcross。这是因为：焦点检测用像素的滤色器402是透明的，因此焦点检测用像素的滤色器402的光谱透射率大于像素的滤色器402。即，针对与焦点检测用像素相邻的Gb像素的串扰量大于针对不与焦点检测用像素相邻的Gb像素的串扰量。

这样，在焦点检测用像素的滤色器与图像用像素的滤色器不同的情况下，在位于焦点检测用像素周边的图像用像素和位于远离焦点检测用像素的位置的图像用像素中，泄漏进来的串扰量不同。而且，串扰量的差在画面中以噪声的形式体现。

图6是示出重影检测部120的详细内容的框图。重影检测部120具有产生判定部121、产生区域判定部122、光源位置判定部123以及强度检测部124。

重影检测部120根据图像数据而将画面分割成规定的区域，在各区域中检测Gr像素与Gb像素的差分和品红色的彩度。根据检测到的各区域中的Gr像素与Gb像素的差分和品红色的彩度而进行以下的判定处理和检测处理。

产生判定部121判定有无产生重影。具体而言，产生判定部121单独使用或者组合使用在各区域中Gr像素与Gb像素之差是否在规定以上、或者品红色的彩度是否在规定以上的情况来判定重影产生。

产生区域判定部122判定重影产生区域在哪个部分以多大范围存在。产生区域判定部122根据存在Gr像素与Gb像素之差的区域或品红色的彩度高的区域位于画面内的何处来判定产生区域。

光源位置判定部123判定重影光源的位置。光源位置判定部123根据由产生区域判定部122判定的重影产生区域来判定重影光源的位置。例如，光源位置判定部123在重影区域偏向画面的上端侧的情况下，判定为重影光源位于摄像元件104的上侧。以下，也将重影光源简称作光源。另外，光源位置判定部123也可以按照与产生区域判定部122不同的条件，在Gr像素与Gb像素之差较大的区域或品红色彩度高的区域中判定重影光源的位置。

强度检测部124检测重影强度。具体而言，强度检测部124在由产生区域判定部122判定为产生了重影的区域中，根据Gr像素与Gb像素的差分值或品红色的彩度的高低来检测重影强度。

关于上述的重影检测部120进行的区域分割，对几个例子进行说明。图14A～图14D是重影检测用的区域分割例。图14A是将整个画面均等分割成格子状的区域的例子，是基本的区域分割的例子。重影检测部120以图14A的格子状的各区域为单位进行产生区域等的判定。

并且，图14B是示出产生了重影的画面例的图。由S示出光源位置。在图14B中，假设光源位于图像面外的左斜上。根据光源，例如在画面的左上角及其周围的区域产生重影。P所示的区域是重影的产生区域。

如上所述，只要预先设置判断重影的传感器，重影检测部120就能够根据传感器的输出来判定重影产生和光源位置。而且，在由传感器确定了光源位置之后，检测用的区域分割也可以不是图14A那样的均匀的分割，而是以光源位置为基点的分割(图14C、图14D)。例如，也可以是，在由上述的传感器确定了光源位置之后，强度检测部124在以光源位置为基点的分割的区域中检测重影的强度。由此，能够省略不需要的区域的检测，从而能够缩短处理时间。

图14C是光源位置位于图像面外的左斜上或右斜下的情况下的区域分割例。并且，图14D是光源位置位于图像面外的左斜上的情况下的区域分割例。在图14D的例子中，接近光源位置的左上的部分被分割得较细致，随着变远而粗略分割。即，在接近光源的位置，检测的区域被设定得较小，在远离光源的位置，检测的区域被设定得较大。由此，能够细致地判定接近光源位置并且受到重影的串扰的影响的区域。

另外，图14C和图14D所示的斜方向的分割的例子示出了光源位置位于图像面外的情况，但斜方向的分割也可以适用于光源位置位于图像面内的情况。

另外，上述的品红色的判定可以使用图像处理前的RAW数据实施，也可以使用实施了图像处理后的YC数据实施。无论哪种情况下，为了排除光源的颜色之差，优选能够使用满足白平衡的数据进行实施。

并且，重影检测部120可以在静态图像摄影后利用静态图像图像而实施各判定或检测，也可以在静态图像摄影前的实时取景显示中利用实时取景图像而实施各判定或检测。并且，如果是动态图像摄影中，重影检测部120可以使用动态图像的当前帧和过去的帧而实施各判定或检测。

图7是由软件实现重影检测部120等的情况下的功能框图。在图1中示出了由硬件构成了重影检测部120、校正对象像素设定部130以及像素校正部132的例子。但是，也能够通过微型计算机150的软件处理而实现重影检测部120等。控制部180是由读入了存储在闪存154中的控制程序的微型计算机150实现的。而且，包含于控制部180中的重影检测部120、校正对象像素设定部130以及像素校正部132也由读入了控制程序的微型计算机150实现。

图8是对校正处理尤其是串扰校正处理的步骤进行说明的流程图。重影检测部120进行重影判定(步骤S10)。在步骤S10中，由包含于重影检测部12中的产生判定部121、产生区域判定部122、光源位置判定部123以及强度检测部124进行重影产生的判定和检测等处理。由于各部分的具体的处理已经在图6中说明过了，因此省略。

产生判定部121判定是否产生了重影(步骤S12)。当产生判定部121判定为产生了重影时(步骤S12的“是”)，校正对象像素设定部130进行校正对象像素的设定(步骤S14)。当产生判定部121判定为没有产生重影时(步骤S12的“否”)，前进到步骤S16。

图9是对校正对象像素的设定处理的步骤进行说明的子程序。校正对象像素设定部130将摄像元件104的像素一个个地设为对象像素，判定是否将对象像素设定为校正对象像素。该判定也可以仅对由产生区域判定部122判定为存在重影的影响的区域实施。

校正对象像素设定部130判断该对象像素是否是焦点检测用像素的相邻像素(步骤S100)。当校正对象像素设定部130判断为该对象像素不是焦点检测用像素的相邻像素时(步骤S100的“否”)，前进到步骤S112。另外，在相邻像素中可以不仅包含上下左右的像素还包含斜的像素。

校正对象像素设定部130在判定为对象像素是焦点检测用像素的相邻像素(步骤S100的“是”)时，判定重影光源位置是否在图像面内。校正对象像素设定部130根据光源位置判定部123的判定结果来判定光源位置是否在图像面内。校正对象像素设定部130在判定为重影光源位置图像面外时(步骤S102的“否”)，根据图像面外的判定条件来设定校正对象像素(步骤S104)。

校正对象像素设定部130在判定为光源位置位于图像面外的情况下，根据与光源位置的关系，从与焦点检测用像素相邻的图像用像素中设定校正对象像素。另外，在判定为光源位置位于图像面外的情况下，不论是哪个焦点检测用像素，校正对象像素设定部130将在相同的方向上相邻的图像用像素设定为校正对象像素。这是因为：在光源位置位于图像面外的情况下，从光源观察时，能够将受到重影的影响的区域的各焦点检测用像素看作相同方向。

以下示出具体例子。

1)在重影光源位置在摄像面的上下左右的边之外的情况下，校正对象像素设定部130将与焦点检测用像素相邻的图像用像素中的、位于与光源位置相反方向的像素设定为校正对象像素。将位于与光源位置相反方向的像素称作处于对极关系。

并且，对极关系的像素也能够表现为在相邻的图像用像素中、与光源位置的距离较远的像素。因此，在光源的位置位于图像面外的情况下，也可以说，校正对象像素设定部130在与焦点检测用像素相邻的图像用像素中按照与光源位置之间的距离从远到近的顺序，将一个以上的像素设定为校正对象像素。

以下示出具体例子。在图10A等中，由S示出光源位置，由F示出焦点检测用像素，由阴影示出校正对象像素。

a)在光源位置位于摄像面的上边的上侧的情况下，与焦点检测用像素F的下侧相邻的斜线的像素被设定为校正对象像素(参照图10A)。

b)在光源位置位于摄像面的下边的下侧的情况下，与焦点检测用像素F的上侧相邻的斜线的像素被设定为校正对象像素(参照图10B)。

c)在光源位置位于摄像面的右边的右侧的情况下，与焦点检测用像素F的左侧相邻的斜线的像素被设定为校正对象像素(参照图10C)。

d)在光源位置位于摄像面的左边的左侧的情况下，与焦点检测用像素F的右侧相邻的斜线的像素被设定为校正对象像素(参照图10D)。

另外，在上述a)～d)中，对所设定的校正对象像素是一个的情况进行了说明，但可以是多个。例如，在图10A中，也可以将P1所示的校正对象像素(Gr像素)的左右的R像素加到校正对象像素中。只要根据重影强度来判定左右的像素是否也包含在校正对象像素中即可。

2)在重影光源位置位于图像面外并且位于摄像面的角部周边(附近)的情况下，校正对象像素设定部130判定为任意两个方向的像素处于对极关系。

a)在光源位置位于摄像面的右斜上的情况下，与焦点检测用像素的下侧和左侧相邻的斜线的像素被设定为校正对象像素(参照图11A)。

b)在光源位置位于摄像面的左斜上的情况下，与焦点检测用像素的下侧和右侧相邻的斜线的像素被设定为校正对象像素(参照图11B)。

c)在光源位置位于摄像面的右斜下的情况下，与焦点检测用像素的上侧和左侧相邻的斜线的像素被设定为校正对象像素(参照图11C)。

d)在光源位置位于摄像面的左斜下的情况下，与焦点检测用像素的上侧和右侧相邻的斜线的像素被设定为校正对象像素的(参照图11D)。

3)并且，在重影光源位置位于图像面外并且位于摄像面的对角方向的情况下，校正对象像素设定部130不仅将上下左右也将斜方向的像素设定为校正对象像素。在该情况下，判定为任意三个方向的像素处于对极关系。例如，在光源位置位于摄像面的右斜上的情况的情况下，校正对象像素设定部130将下侧、左侧以及左斜下的斜线的像素设定为校正对象像素(参照图12)。

根据以上内容，也可以说，校正对象像素设定部130在所判定的光源的位置位于图像面外并且位于画面的角部周边的情况下，在与焦点检测用像素相邻的图像用像素中，按照与光源的位置的距离从远到近的顺序，将两个以上的像素设定为校正对象像素。

返回到步骤S102。校正对象像素设定部130在判定为重影光源位置位于图像面内时(步骤S102的“是”)，根据图像面内的判定条件来设定校正对象像素(步骤S106)。

校正对象像素设定部130在光源位置位于图像面内的情况下，根据图像面内的光源位置与焦点检测用像素的位置关系，从与焦点检测用像素相邻的图像用像素中设定校正对象像素。

具体而言，校正对象像素设定部130将与焦点检测用像素相邻的图像用像素中的、光源位置与焦点检测用像素的位置关系处于对极关系的图像用像素设定为校正对象像素。即，校正对象像素设定部130根据光源与焦点检测用像素的具体的位置关系，将在上下左右中任意方向上相邻的像素设定为校正对象像素。以下示出实例。

a)例如，对于位于光源的右侧的焦点检测用像素Fa，校正对象像素设定部130将焦点检测用像素Fa的右侧的斜线的像素设定为校正对象像素(参照图13A)。同样地，对于位于光源的下侧的焦点检测用像素Fb，校正对象像素设定部130将焦点检测用像素Fb的下侧的斜线的像素设定为校正对象像素(参照图13A)。

b)并且，对于从光源观察时位于右上方的焦点检测用像素Fc，校正对象像素设定部130将焦点检测用像素Fc的右侧和上侧的斜线的像素设定为校正对象像素(参照图13B)。同样地，对于从光源观察时位于左下方的焦点检测用像素Fd，校正对象像素设定部130将焦点检测用像素Fd的左侧和下侧的斜线的像素设定为校正对象像素(参照图13B)。

c)而且，在重影强度大于规定的阈值的情况下，校正对象像素设定部130也可以将斜的像素设定为校正对象像素。例如，对于从光源观察时位于右上方的焦点检测用像素Fe，除了焦点检测用像素Fe的右侧和上侧的斜线的像素之外，校正对象像素设定部130也可以将与右斜上相邻的斜线的像素设定为校正对象像素(参照图13C)。

像以上那样，由于焦点检测用像素在摄像面内配置于各种各样的位置，因此即使光源位置固定，光源位置与焦点检测用像素的位置关系也不是恒定的。因此，在光源位置位于图像面内的情况下，优选为，校正对象像素设定部130针对各焦点检测用像素，分别判定与光源的位置关系，进行校正对象像素的设定。

在该对象像素在步骤S104或S106中被设定为校正对象像素的情况下，校正对象像素设定部130进一步针对该对象像素，判定是否重影强度＞阈值T(步骤S108)。这是因为：在重影强度较低的情况下，串扰也小，校正的必要性低。阈值T存储在闪存154中。

校正对象像素设定部130根据由强度检测部124检测到的结果，对包含该对象像素在内的规定区域的重影强度和规定的阈值T进行比较，判定是否重影强度＞阈值T。另外，校正对象像素设定部130在该对象像素在步骤S104或S106中没有被设定为校正对象像素的情况下，前进到步骤S112。

在校正对象像素设定部130判定为重影强度＞阈值T时(步骤S108的“是”)，校正对象像素设定部130将该对象像素设定为校正对象像素(步骤S110)。然后，校正对象像素设定部130针对摄像面的所有有效像素判断判定是否结束(步骤S112)。并且，在校正对象像素设定部130判定为不是重影强度＞阈值T时(步骤S108的“否”)，前进到步骤S112。

在校正对象像素设定部130判断为所有像素的判定结束时(步骤S112的“是”)，结束图9的处理，前进到图8的步骤S16。在校正对象像素设定部130判断为所有像素的判定没有结束时(步骤S112的“否”)，返回到步骤S100。

返回到图8的步骤S16。像素校正部132进行串扰校正、焦点检测用像素的像素校正、或者像素缺陷校正等像素校正(步骤S16)。像素校正部132仅对被校正对象像素设定部130设定为校正对象像素的像素进行串扰校正。像素校正部132根据校正对象像素的周边的图像用像素的像素值来计算校正值，并将其设为校正对象像素的像素值。像素校正部132利用基于块匹配的加权方式等来计算校正值。

并且，像素校正部132可以采用周边的图像用像素的像素值的平均值作为校正值，也可以采用根据校正对象像素与周边的通常像素的距离进行加权而得到的平均值作为校正值。并且，像素校正部132在这里也同样地对焦点检测用像素进行校正。

并且，在没有产生重影的情况下，像素校正部132在步骤S16中不进行串扰校正，而进行焦点检测用像素的像素校正或像素缺陷校正等像素校正。

图像处理部134对像素校正后的图像进行图像处理(步骤S18)，生成输出图像。图像处理的内容是WB(White Balance：白平衡)、去马赛克、颜色校正、伽马校正、降噪等。

接下来，对在设置有G滤色器的焦点检测用像素F中设定校正对象像素的例子进行说明。图15是设置有G滤色器的焦点检测用像素F中的、像素排列的例子。粗框所包围的像素(F1～F8)是焦点检测用像素F。

具体而言，在图像用像素的B像素中、在规定的位置配置有G色特性(标记为Gb)的焦点检测用像素F1、F2。并且，在图像用像素的R像素中、在规定的位置配置有G色特性(标记为Gr)的焦点检测用像素F3、F4。即，关于焦点检测用像素F1和焦点检测用像素F2的颜色特性，如果从颜色排列的顺序来说的话，原本是“B”，但现在为“Gb”。并且，关于焦点检测用像素F3和焦点检测用像素F4的颜色特性，如果从颜色排列的顺序来说的话，原本是“R”，但现在为“Gr”。即，焦点检测用像素F1～焦点检测用像素F4是与图像用像素的颜色排列的颜色不同的颜色特性的像素。

另一方面，焦点检测用像素F5～焦点检测用像素F8在图像用像素的Gr像素中配置在规定的位置。由于焦点检测用像素F5～焦点检测用像素F8的颜色特性是Gr，因此焦点检测用像素F5～焦点检测用像素F8为与图像用像素的颜色排列的颜色相同的颜色特性的像素。即，焦点检测用像素F5～焦点检测用像素F8的滤色器是按照图像用像素的颜色排列的顺序的滤色器。

而且，在焦点检测用像素F的颜色特性与图像用像素的颜色排列的颜色不同的情况(F1～F4)下，从与该焦点检测用像素F相邻的图像用像素中设定校正对象像素。在本例中，由于光源S的位置位于下边的下侧，因此校正对象像素的设定规则应用上述的图10B的例子。与焦点检测用像素F1～焦点检测用像素F4的上侧相邻的像素被设定为校正对象像素。由斜线示出校正对象像素。

并且，在焦点检测用像素F的颜色特性与图像用像素的颜色排列的颜色相同的情况下，不将与该焦点检测用像素相邻的图像用像素设为校正对象像素。即，与焦点检测用像素F5～焦点检测用像素F8相邻的像素被排除在校正对象像素之外。如果焦点检测用像素的颜色特性与图像用像素的颜色排列的颜色相同，则在位于焦点检测用像素的周边的图像用像素与位于远离焦点检测用像素的位置的图像用像素之间，泄漏进来的串扰量之差较小。即，这是因为：由于重影而引起的串扰的影响较小。由此，能够限定校正对象像素。

像以上那样，对于G色特性的焦点检测用像素F，也与透明(W)的颜色特性的焦点检测用像素F同样地，根据各光源相对于摄像面的位置而设定校正对象像素。具体的方式与在图11A等、图12、图13A等中进行了说明的情况相同，因此省略详细内容。由此，在设置有G色特性的焦点检测用像素F的摄像元件104中也改善了由于串扰引起的噪声。

<变形例>

在上述实施方式中，对校正对象像素设定部130根据重影光源位置来设定校正对象像素的情况进行了说明，但设定方法不限于此。例如，校正对象像素设定部130也可以根据与焦点检测用像素相邻的图像用像素的像素值之差来设定校正对象像素。具体而言，也可以是，校正对象像素设定部130对焦点检测用像素的相邻像素的像素值和周围的同色像素的像素值进行比较，在差大于规定以上的情况下，判断为该相邻像素比周围的同色像素产生更多的串扰，将其设定为校正对象像素。

而且，校正对象像素设定部130也可以利用在步骤S104或S106中进行了说明的重影光源位置的信息和像素值之差双方来设定校正对象像素。例如，也可以是，即使是根据重影光源位置的信息而被设定为校正对象像素的像素，只要与周围的像素的像素值之差没有超过规定的阈值，校正对象像素设定部130就判断为串扰的影响较小，将该像素排除到校正对象像素之外。

<效果>

·根据以上内容，在本实施方式中，由于适当判断需要串扰校正的校正对象像素而执行校正，因此能够可靠地抑制因重影引起的画质裂化。

·并且，由于判定受到串扰的影响的像素而进行校正，因此能够避免对不需要校正的像素的校正。能够防止由校正引起的不良影响。

·并且，由于以重影光源位置为基准来设定校正对象图像，因此能够适当地选择需要串扰校正的像素。

另外，本发明不限于上述的实施方式，能够在实施阶段、在不脱离其主旨的范围内对结构要素进行变形并具体化。并且，也能够通过适当组合上述实施方式所公开的多个结构要素而形成各种各样的发明。例如，可以适当组合实施方式所示的所有结构要素。而且，也可以适当组合不同的实施方式中的结构要素。当然能够在这样的不脱离发明的主旨的范围内进行各种各样的变形和应用。