图像处理装置、成像装置以及图像处理方法和程序的制作方法

专利名称：图像处理装置、成像装置以及图像处理方法和程序的制作方法
技术领域：
本公开涉及一种图像处理装置，具体地涉及一种处理由成像元件产生的图像数据的图像处理装置、该图像处理装置的处理方法、以及使得计算机执行该方法的程序。
背景技术：
近年来，诸如数字静物照相机的成像装置已经得以普及，所述成像装置通过使用成像元件对诸如人的被摄体进行成像来产生捕捉的图像，并且记录所产生的捕捉图像。作为光电转换元件，通常，使用这样的元件在该元件上，滤色器按照Bayer (拜耳)阵列的形式设置在布置于光感测表面上的像素中。然而，随着这种成像装置具有多功能和高图像质量，作为布置在成像元件上的像素，布置有除用于图像产生的像素以外的像素的成像元件、或者布置有包含除按照Bayer 阵列的形式使用的(R、G、B的)滤色器以外的滤色器的像素的成像元件被讨论。换句话说， 讨论这样的成像元件在该成像元件上，过去的用于图像产生的像素(图像产生像素)和用于多功能和高图像质量的新的像素一起被布置。例如，作为包含这种成像元件的成像装置，已经提出了这样一种成像装置，其中 例如对于通过成像透镜的光执行光瞳分割的像素(相差检测元件)被布置在成像元件上 (例如，参见日本未审专利申请公开NO.2009-14M01的图15)。该成像装置通过在成像元件中提供相差检测像素来形成一对图像，并且通过测量这样形成的图像之间的间隔来计算焦点的偏离量，所述相差检测像素通过阻挡由光接收元件接收的被摄体的光的一半来执行光瞳分割。另外，成像装置基于计算的焦点的偏离量来计算成像透镜的移动量，并且，通过基于计算的移动量调整成像透镜的位置来执行自动聚焦。

发明内容
由于在上述的现有技术中在一个成像元件中提供相差检测像素和图像产生像素二者，所以不必在成像装置中单独地提供作为用于焦点检测的成像元件和用于捕捉图像的成像元件的两种成像元件。然而，在上述的现有技术中，存在这样的情况，S卩因为与图像产生像素相邻的像素在与相差检测像素相邻的图像产生像素和与相差检测像素不相邻的图像产生像素之间不同，所以出现像素的特性的差异。据认为，由于这种特性差异而导致图像质量劣化。例如，由于在相差检测像素中不包含滤色器，所以，从相差检测像素泄露到图像产生像素的光量相对比较大。由于这个原因，假定和与相差检测像素不相邻的图像产生像素相比，与相差检测像素相邻的图像产生像素具有大量的从相邻像素泄露的光。由于这个原因，存在由包含相差检测像素和图像产生像素二者的成像元件产生的图像看来很差的担心。因此，一种考虑与相差检测像素相邻的图像产生像素的特性和与相差检测像素不相邻的图像产生像素的特性之间的差异的图像校正处理是必要的。另外，一种对于由有图像产生像素和其它不同的像素(例如，白色像素)二者的成像元件产生的图像考虑这种特性差异的图像校正处理是必要的。本公开考虑了以上情形，并且，希望适当地校正由包含图像产生像素和其它像素二者的成像元件产生的图像数据。根据本公开的实施例，提供一种图像处理装置及其图像处理方法和用于使得计算机执行该方法的程序，该装置包括输入单元，该输入单元输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且所述图像数据包含由所述像素中的每一个产生的亮度值；以及颜色混合校正单元， 其基于输入的图像数据来校正颜色混合，使得基于与第一图像产生像素相邻的所述特定像素中的每一个的亮度值来计算由从所述特定像素泄露到第一图像产生像素的光导致的亮度的变化值，并且，基于计算的变化值执行对由泄露的光导致的第一图像产生像素的颜色混合的校正。因此，表现了校正由从所述特定像素泄露到第一图像产生像素的光导致的第一图像产生像素的颜色混合的效果。另外，根据本公开的实施例，可以将用于基于每一个特定像素的亮度值计算从特定像素泄露的光量的值设置为光量计算系数，可以将泄露的光量和亮度的变化值之间的相关值(correlation value)设置为颜色混合校正系数，并且，颜色混合校正单元可以通过以下方式来校正颜色混合基于光量计算系数和每一个特定像素的亮度值，计算从特定像素泄露到第一图像产生像素的光量；基于计算的光量和颜色混合校正系数，计算与第一图像产生像素有关的亮度的变化值；以及从第一图像产生像素的亮度值减去计算的亮度的变化值。因此，表现了使用光量计算系数和颜色混合校正系数来校正由从所述特定像素泄露到第一图像产生像素的光导致的第一图像产生像素的颜色混合的效果。另外，在这种情况下， 还可以包含光量计算系数保持单元，其针对第一图像产生像素中的每一个保持和与第一图像产生像素相邻的每一个特定像素有关的光量计算系数；以及颜色混合校正系数保持单元，其针对第一图像产生像素中的每一个保持颜色混合校正系数。因此，表现了针对第一图像产生像素中的每一个使用和与第一图像产生像素相邻的每一个特定像素有关的光量计算系数和颜色混合校正系数进行校正的效果。另外，根据本公开的实施例，还可以包含透过率校正单元，该透过率校正单元执行校正，使得第一透过值和第二透过值之间的相关值被设置为灵敏度校正系数，第一透过值是第一图像产生像素的亮度值当中的基于透过第一图像产生像素的滤色器的光的亮度值，第二透过值是具有与第一图像产生像素相同的光谱特性的滤色器的第二图像产生像素的亮度值当中的基于透过第二图像产生像素的滤色器的光的亮度值，将颜色混合被校正了的第一图像产生像素的亮度值设置为第一灵敏度值，并且，基于该亮度值和灵敏度校正系数，对入射到第一图像产生像素的微透镜且在光感测元件上感测到的光量和入射到第二图像产生像素的微透镜且在光感测元件上感测到的光量之间的差异执行校正。因此，表现了校正入射到微透镜且在光感测元件上感测到的光量之间的差异的效果。另外，根据本公开的实施例，具有与图像产生像素不同的配置的特定像素可以是用于通过相差检测执行聚焦确定的相差检测像素。因此，表现了校正由从相差检测像素泄露到第一图像产生像素的光导致的第一图像产生像素的颜色混合的效果，所述相差检测像素用于通过相差检测来执行聚焦确定。另外，在这种情况下，可以将使用光学黑色区域计算的第二图像产生像素的暗电流值和第一图像产生像素的暗电流值之间的相关值设置为暗电流校正系数，并且，还可以包含暗电流校正单元，该暗电流校正单元通过如下方式来校正第一图像产生像素的暗电流基于与输入的图像数据有关的第二图像产生像素的暗电流值和暗电流校正系数来计算第一图像产生像素的暗电流值；以及从第一图像产生像素的亮度值减去计算的暗电流值。因此，表现了使用暗电流校正系数校正与相差检测像素相邻的第一图像产生像素的暗电流的效果。另外，根据本公开的实施例，具有与图像产生像素的滤色器不同的滤色器的特定像素可以是具有白色滤波器的像素，其中可见光区的波长的光透过所述白色滤波器。因此， 表现了校正由从具有白色滤波器的像素泄露到第一图像产生像素的光导致的第一图像产生像素的颜色混合的效果。另外，根据本公开的实施例，在成像元件中，可以在与特定方向正交的正交方向上交替地布置第一像素组和第二像素组，第一像素组的特定像素被配置为在所述特定方向上布置，第二像素组的图像产生像素被配置为在所述特定方向上布置。另外，表现了校正由这样的成像元件产生的图像的效果，在该成像元件中，在与特定方向正交的正交方向上交替地布置第一像素组和第二像素组，第一像素组的特定像素被配置为在所述特定方向上布置，第二像素组的图像产生像素被配置为在所述特定方向上布置。另外，在这种情况下，在成像元件中，图像产生像素在第二像素组中可以按照Bayer阵列的形式布置。因此，表现了校正由这样的成像元件产生的图像的效果，在该成像元件中，图像产生像素在第二像素组中按照Bayer阵列的形式布置。另外，根据本公开的另一实施例，提供一种成像装置，该成像装置包括成像元件和颜色混合校正单元，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且产生包含由每一个像素产生的亮度值的图像数据，颜色混合校正单元基于产生的图像数据来校正颜色混合，使得基于与第一图像产生像素相邻的所述特定像素中的每一个的亮度值来计算由从所述特定像素泄露到第一图像产生像素的光导致的亮度的变化值，并且，基于计算的变化值执行对由泄露的光导致的第一图像产生像素的颜色混合的校正。因此，表现了校正由从所述特定像素泄露到第一图像产生像素的光导致的第一图像产生像素的颜色混合的效果。另外，根据本公开的另一实施例，提供一种图像处理装置，该图像处理装置包含输入单元和透过率校正单元，输入单元，该输入单元输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，所述图像数据包含由所述像素中的每一个产生的亮度值，并且，使用第一图像产生像素和具有与第一图像产生像素相同的光谱特性的滤色器的第二图像产生像素之间的入射到微透镜且在光感测元件上感测到的光量的差异的相关值，透过率校正单元基于输入的图像数据来校正该差异。因此，表现了使用第一图像产生像素和具有与第一图像产生像素相同的光谱特性的滤色器的第二图像产生像素之间的入射到微透镜且在光感测元件上感测到的光量的差异的相关值来校正该差异的效果。另外，根据本公开的另一实施例，提供一种图像处理装置，该图像处理装置包含输入单元和暗电流校正单元，输入单元，该输入单元输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，所述图像数据包含由所述像素中的每一个产生的亮度值，并且，暗电流校正单元基于与输入的图像数据有关的第二图像产生像素的暗电流值和第一图像产生像素的暗电流值的相关值来校正输入的图像数据中的第一图像产生像素的暗电流。因此，表现了基于与输入的图像数据有关的第二图像产生像素的暗电流值和第一图像产生像素的暗电流值的相关值来校正输入的图像数据中的第一图像产生像素的暗电流的效果。根据本公开的实施例，因为可以适当地校正由包含图像产生像素和其它像素二者的成像元件产生的图像数据，所以将会表现出良好的效果。


图1是示出本公开第一实施例中的成像装置的功能配置的例子的框图；图2是示出在本公开第一实施例中计算校正系数时成像装置的操作(校正系数计算操作)中的信号的流程的例子的示意图；图3是示出本公开第一实施例中的成像元件的像素区域的例子的示意图；图4是示出在本公开第一实施例中的成像元件中包含的像素的布置的例子的示意图；图5是示意性地示出在本公开第一实施例中的成像元件的区域中的像素的布置的例子的顶视图；图6A和6B是示出本公开第一实施例中的用于图示校正系数计算单元的暗电流校正系数的计算的成像元件的像素布置的示图；图7A和7B是示意性地示出本公开第一实施例中的由于与相差检测像素相邻的图像产生像素的颜色混合所导致的颜色混合起因光(color mixture-derived light)的示意图；图8是示出本公开第一实施例中的与相差检测像素相邻的R像素的颜色混合起因光的检测的例子的示意图；图9A和9B是示出本公开第一实施例中的用于图示R像素的颜色混合校正系数的计算的成像元件的像素布置的示图；图10是示出本公开第一实施例中的与相差检测像素相邻的Gr像素的颜色混合起因光的检测的例子的示意图；图IlA和IlB是示出本公开第一实施例中的用于图示Gr像素的颜色混合校正系数的计算的成像元件的像素布置的示图；图12是示出本公开第一实施例中的用于图示R像素的灵敏度校正系数的计算的成像元件的像素布置的示图；图13是示出本公开第一实施例中的校正系数计算操作中的由成像装置执行的校正系数计算处理的过程的例子的流程图；图14是示出本公开第一实施例中的校正系数计算操作中的暗电流校正系数计算处理(步骤S910)的过程的例子的流程图；图15是示出本公开第一实施例中的校正系数计算操作中的颜色混合校正系数计算处理(步骤S920)的过程的例子的流程图；图16是示出本公开第一实施例中的校正系数计算操作中的灵敏度校正系数计算处理(步骤S940)的过程的例子的流程图；图17是示出本公开第一实施例中的在校正与相差检测像素相邻的图像产生像素的亮度值时成像装置的操作(校正操作)中的信号的流程的例子的示意图；图18是示出本公开第一实施例中的校正单元的功能配置的例子的框图；图19A和19B是示出本公开第一实施例中的经过成像装置中的与相差检测像素相邻的图像产生像素的亮度值的校正的捕捉图像和未经过现有技术的成像装置中的校正的捕捉图像的示意图；图20是示出根据本公开第一实施例的校正操作中的在成像装置校正相差检测像素的亮度值时的校正处理的过程的例子的流程图；图21是示出根据本公开第二实施例的成像元件中包含的像素的布置的例子的示意图；图22是示出根据本公开第二实施例的校正单元的功能配置的例子的框图；图23是示出根据本公开第二实施例的校正系数计算操作中的成像装置中的校正系数计算处理的过程的例子的流程图；图M是示出根据本公开第二实施例的成像装置的校正操作中的校正处理的过程的例子的流程图；图25是示出根据本公开第三实施例的成像装置的功能配置的例子的框图。
具体实施例方式在下文中，将描述本公开的实施例(在下文中，称为“实施例”)。将按照以下顺序提供描述。1.第一实施例(亮度值校正控制布置有相差检测像素和图像产生像素的成像元件的例子)2.第二实施例(亮度值校正控制布置有白色像素和图像产生像素的成像元件的例子)3.第三实施例(亮度值校正控制不包含校正系数计算操作的成像装置的例子)<1.第一实施例>[成像装置的功能配置的例子]图1是示出根据本公开第一实施例的成像装置100的功能配置的例子的框图。成像装置100是通过捕捉被摄体而产生图像数据并记录产生的图像数据作为图像内容(记录的图像)的成像装置。
9
成像装置100包含透镜单元110、驱动单元115、快门单元120、快门驱动单元125、 成像元件200、A/D(模拟/数字)转换单元130和切换开关160。另外，成像装置100还包含校正系数计算单元300、RAM(随机存取存储器)140和闪速ROM(只读存储器)500。另外， 成像装置100包含校正单元400、图像处理单元151、保存处理单元152、取景器153、记录介质154、操作接收单元171和控制单元172。透镜单元110用于使来自被摄体的光(被摄体光)会聚。透镜单元110包括变焦透镜111、光阑112和聚焦透镜113。变焦透镜111通过由驱动单元115的驱动在光轴方向上移动来改变焦距，并且调整被摄体的放大率以包含在捕捉图像中。光阑112是用于通过驱动单元115的驱动改变开口度并调整入射到成像元件200 的被摄体光的量的遮蔽材料。聚焦透镜113是通过由驱动单元115的驱动在光轴方向上移动来调整焦点的。驱动单元115用于驱动变焦透镜111、光阑112和聚焦透镜113。例如，驱动单元 115使聚焦透镜113根据在控制单元172中计算的聚焦透镜113的驱动量移动。快门单元120使用向上下方向移动的帘子(curtain)来打开和阻挡从被摄体入射到成像元件200的入射光的光路，并由快门驱动单元125驱动。另外，当光路打开时，快门单元120将来自被摄体的入射光供应给成像元件200。快门驱动单元125使快门单元120中的快门驱动。成像元件200执行将来自被摄体的入射光转换为电信号的光电转换，并通过接收来自被摄体的入射光产生模拟电信号。另外，成像元件200是通过例如CMOS(互补金属氧化物半导体)传感器和CCD (电荷耦合器件)传感器来实现的。在成像元件200中，布置基于接收到的被摄体光产生用于产生捕捉图像的信号的像素(图像产生像素)和产生除了用于产生捕捉图像的信号以外的信号的其它像素(特定像素)。在本公开的第一实施例中，作为其它像素(特定像素)，布置产生用于以相差检测方法执行焦点的聚焦确定的信号的像素(相差检测像素)。这里，相差检测方法为焦点检测方法，即其中，通过对通过成像透镜的光执行光瞳分割来形成一对图像，测量这样形成的图像的间隔(或者图像间的偏离量)(或者检测相差)，从而检测聚焦的程度。另外，在成像元件200上，通过透过红光的滤色器感测红色(R)光的像素(R像素) 和通过透过绿光的滤色器感测绿色(G)光的像素(G像素)被布置作为图像产生像素。另外，在成像元件200上，除了 R像素和G像素以外，通过透过蓝光的滤色器感测蓝色(B)光的像素(B像素)还被布置作为这样的图像产生像素。此外，将参照图3到图5描述成像元件 200。A/D转换单元130用于将从成像元件200供应的模拟信号转换为数字信号。A/D 转换单元130针对每一个捕捉图像(图像数据)将通过数字信号的转换而产生的信号(亮度值)供应给切换开关160。切换开关160切换从A/D转换单元130供应的图像数据的供应目的地。当要计算校正系数时，切换开关160连接A/D转换单元130和校正系数计算单元300。另外，当校正系数的计算结束时，切换开关160连接A/D转换单元130和校正单元400。换句话说，当在工厂中制造成像装置100的过程中要计算校正系数时，切换开关160连接A/D转换单元130和校正系数计算单元300。另外，当用户使用成像装置100对被摄体进行成像时，A/D转换单元130和校正单元400通过切换开关160相互连接。校正系数计算单元300用于在计算校正系数的处理(校正系数计算操作)中计算用于校正与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的特性的差异的校正系数。校正系数计算单元300计算暗电流校正系数、颜色混合校正系数和灵敏度校正系数作为用于校正特性的差异的校正系数。这里，暗电流校正系数是用于校正相差检测像素中的金属层的高密度所产生的暗电流中的差异的系数。另外，颜色混合校正系数是用于校正由于从相差检测像素泄露的光而发生的颜色混合的程度的差异的系数。另外，灵敏度校正系数是用于校正由于与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的配置的细微差异而发生的灵敏度的差异的系数。暗电流校正系数的计算将参照图6A和图6B进行描述。颜色混合校正系数的计算将参照图7A到图IlB进行描述。灵敏度校正系数的计算将参照图12进行描述。校正系数计算单元300以RAM 140作为工作存储器使用从A/D转换单元130供应的图像数据来计算每一个校正系数。校正系数计算单元300使闪速ROM 500记录计算的校正系数。RAM 140为成像装置100中的工作存储器。闪速ROM 500用于记录由校正系数计算单元300计算的每一个校正系数。另外， 闪速ROM 500记录用于基于相差检测像素的光感测量计算从相差检测像素泄露的光(颜色混合起因光)的量的系数(光量计算系数)。此外，光量计算系数将参照图9A到IlB进行描述。当校正与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的特性的差异(校正操作)时，闪速ROM 500将保持的校正系数和光量计算系数供应给校正单元 400。校正单元400用于校正由用户的成像操作产生的图像数据中的与相差检测像素相邻的图像产生像素的亮度值，并且用于校正与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的特性差异。由校正单元400进行的校正将参照图18到图19B 进行描述。校正单元400将其中与相差检测像素相邻的图像产生像素的亮度值通过校正而被改变的图像数据(校正的图像数据)供应给图像处理单元151。图像处理单元151对从校正单元400供应的校正的图像数据执行预定的信号处理，以制备显影图像数据。图像处理单元151遵照例如来自控制单元172的控制信号，补偿校正的图像数据中的颜色信息，校正白平衡，并且执行伴随伽马校正的显影的信号处理。另外，图像处理单元151将制备的显影图像数据供应给取景器153和保存处理单元152。保存处理单元152基于从图像处理单元151供应的显影图像数据产生要记录在记录介质巧4上的记录数据。保存处理单元152将从图像处理单元151供应的显影图像数据压缩为例如JPEG (联合图片专家组)格式，并且将通过压缩产生的JPEG数据(记录数据) 记录到记录介质154中。取景器153用于基于从图像处理单元151供应的显影图像数据向用户显示图像。 取景器153通过例如彩色液晶面板来实现。记录介质巧4用于记录从保存处理单元152供应的记录数据作为图像内容(图像文件)。作为记录介质154，例如，可以使用诸如包括存储卡的半导体存储器或者包括DVD (数字多功能盘)的盘的可移动记录介质(一个或多个记录介质)。另外，这样的记录介质可以被包含在成像装置100中，或者可以安装到成像装置100上或从成像装置100中去除。操作接收单元171用于接收来自用户的操作。例如，当快门按钮(未在图中示出) 被按下时，操作接收单元171将与按下有关的信号作为操作信号供应给控制单元172。控制单元172用于控制在成像装置100中的每一个单元的操作。控制单元172由包含存储有控制程序的ROM的微计算机构成。例如，当快门按钮被按下并且接收到用于开始记录静止图像的操作信号时，控制单元172将与静止图像的记录执行有关的信号(静止图像成像操作信号)供应给每一个单元。另外，当要执行焦点的控制时，控制单元基于由相差检测像素产生的信号(相差检测数据)确定是否对要被聚焦的目标被摄体(聚焦目标) 进行了聚焦。然后，当进行了聚焦时，用于保持聚焦透镜113的当前位置的信号被供应给驱动单元115。另外，当没有对聚焦目标进行聚焦时，计算聚焦中的偏移量(散焦量)，基于计算的散焦量和聚焦透镜113的位置计算驱动量，并且将指示驱动量的信号供应给驱动单元 115。[校正系数计算操作中的信号的流程的一个例子]图2是示出在本公开第一实施例中计算校正系数时成像装置100的操作(校正系数计算操作)中的信号的流程的例子的示意图。在该图中，在图1中示出的成像装置100中的组成元件当中，与校正系数计算操作有关的组成元件由实线框示出，并且与校正系数计算操作无关的组成元件由虚线框示出。 另外，在图2中，从当成像元件200感测到光时至当闪速ROM 500记录校正系数时的信号的流程由粗黑箭头示出。另外，在图2中，为了描述的方便，省略了操作接收单元171和控制单元172。如图所示，在校正系数计算操作中，A/D转换单元130和校正系数计算单元300通过切换开关160彼此连接。因此，由成像元件200对被摄体成像而产生的图像数据由A/D 转换单元130数字化并被供应给校正系数计算单元300。另外，校正系数计算单元300使用RAM 140作为工作存储器来计算每一个校正系数(暗电流校正系数、颜色混合校正系数和灵敏度校正系数)，并将计算的校正系数记录在闪速R0M500上。在图3到图5中，将描述成像元件200。将在图6A和图6B中描述暗电流校正系数的计算，在图7A到图IlB中描述颜色混合校正系数的计算，并且在图12中描述灵敏度校正系数的计算。[成像元件中的像素区域的例子]图3是示出根据本公开第一实施例的成像元件200的像素区域的例子的示意图。在该图中，在白色区域中示出的光感测像素区域210和在灰色区域中示出的光学黑色区域220被示出为成像元件200中的区域。另外，作为光学黑色区域220的一部分，示出相差检测像素暗电流测量区域221和图像产生像素暗电流测量区域222。光感测像素区域210是布置可以感测被摄体光的像素的区域，该区域也可以被称为有效像素区域。光学黑色区域220是布置遮光的像素的区域。即使当光感测像素区域210中的像素感测光并产生与感测到的光量相对应的信号时，光学黑色区域220中布置的像素也可以输出黑色(非光感测)信号。由光感测像素区域210产生的黑色信号可以用作指示光感测像素区域210中的像素的暗电流的信号。相差检测像素暗电流测量区域221是光学黑色区域220中的布置用于测量相差检测像素的产生的暗电流的量的相差检测像素的区域。例如，校正系数计算单元300和校正单元400计算从布置在相差检测像素暗电流测量区域221中的相差检测像素输出的信号 (亮度值)的平均值，并且将计算的平均值设置为相差检测像素的产生的暗电流的量(相差检测像素暗电流值)。此外，计算平均值的操作是每当产生新的图像数据时(或每当成像时)执行的，并且用来从相差检测像素的信号去除由于暗电流所导致的噪声(暗电流校正)。图像产生像素暗电流测量区域222是光学黑色区域220中的布置用于测量与相差检测像素不相邻的图像产生像素(正常像素)的产生的暗电流的量(正常像素暗电流值) 的图像产生像素的区域。例如，为了计算与相差检测像素不相邻的R像素(正常R像素)的产生的暗电流的量，校正系数计算单元300和校正单元400计算从在图像产生像素暗电流测量区域222中布置的多个正常R像素输出的信号的平均值。以相同的方式，基于从在图像产生像素暗电流测量区域222中布置的多个正常Gr像素输出的信号的平均值，计算与相差检测像素不相邻的Gr像素(正常Gr像素)的产生的暗电流的量。另外，以相同的方式，基于从在图像产生像素暗电流测量区域222中布置的多个正常B像素输出的信号的平均值， 计算与相差检测像素不相邻的B像素(正常B像素)的产生的暗电流的量。以与相差检测像素的产生的暗电流的量相同的方式，计算平均值的这种操作是每当成像时执行的，并且在针对图像产生像素的信号执行暗电流校正时被使用。此外，通过减去这种正常像素暗电流值，执行捕捉图像的图像数据中的正常像素的暗电流的校正。[成像元件中的像素的布置的例子]图4是示出根据本公开第一实施例的成像元件200中包含的像素的布置的例子的示意图。在该图中，在假定在左右方向上具有Y轴且在上下方向上具有X轴的XY轴的情况下，将提供描述。另外，在该图中，右下角被设置为XY轴的原点，从下侧到上侧的方向被设置为X轴的+侧，并且，从右侧到左侧的方向被设置为Y轴的+侧。此外，在成像元件200 中读取信号的方向被设置为X轴方向(或者按照行的单位读取信号)。在该图中，为了方便起见，将使用构成成像元件200的像素中的某些像素(18 行XM列的像素)的区域(区域211)提供描述。此外，成像元件200中的像素的布置为这样的布置即，其中，在区域211中示出的像素布置被设置为一个单元，并且对应于该单元(对应于区域211的像素布置)的像素布置在X轴方向和Y轴方向上重复。在该图中，一个像素由一个正方形表示。图像产生像素由示出指示在像素中提供的滤色器的符号的正方形表示。另外，关于G(绿色)像素，在包含R像素(R像素611)的行 (线)中的G(绿色)像素由Gr像素(Gr像素612)指示，并且在包含B像素(B像素614) 的行(线)中的G像素由( 像素(( 像素613)指示。另外，相差检测像素由灰色正方形表示。此外，在相差检测像素中，入射光没有在遮光层中被遮蔽并且光感测元件感测光的一侧(具有开口部分的遮光层的一侧)由白色矩形表示。
这里，将描述在图中示出的相差检测像素(相差检测像素621和622)。相差检测像素621为被形成有遮光层的相差检测像素，从而使得入射到相差检测像素621的微透镜上的被摄体光中的通过出射光瞳的右半部分的被摄体光被遮蔽。换句话说，相差检测像素621遮蔽经过分割为出射光瞳的左右侧(X轴方向上的+和-侧)的光瞳分割的光中的右半部分的光，并感测其左半部分经过光瞳分割的光。相差检测像素622为被形成有遮光层的相差检测像素，从而使得入射到相差检测像素622的微透镜上的被摄体光中的通过出射光瞳的左半部分的被摄体光被遮蔽。换句话说，相差检测像素622遮蔽经过分割为出射光瞳的左右侧(X轴方向上的+和-侧)的光瞳分割的光中的左半部分的光，并感测其右半部分经过光瞳分割的光。另外，相差检测像素 622形成如在一对相差检测像素621中正在使用的一对图像。这里，将描述成像元件200中的像素的布置。在成像元件200中，布置图像产生像素的多行(线)和布置相差检测像素的一行 (线)在与读取方向正交的方向(本公开的第一实施例中的列方向)上交替地布置。图4 示出图像产生像素的连续行的数量为五的例子。此外，在图像产生像素的连续行中，图像产生像素按照Bayer阵列的形式定位。另外，该图示出与相差检测像素的行相邻的图像产生像素的行的例子，在该行图像产生像素中布置有R像素和Gr像素。此外，图像产生像素的连续行的数量为与相差检测像素不相邻的这样发生的图像产生像素的数量所述图像产生像素包含具有与同相差检测像素的行相邻的图像产生像素中包含的滤色器相同的光谱特性的滤色器。换句话说，在只有R像素和Gr像素与相差检测像素的行相邻的本公开的第一实施例中，图像产生像素的连续行的数量高于其中布置与相差检测像素不相邻的R像素和 Gr像素的五行。这样，在成像元件200中，布置与相差检测像素相邻的R像素和Gr像素、以及与相差检测像素不相邻的R像素和Gr像素。由于与相差检测像素相邻的R像素和Gr像素的特性不同于与其不相邻的R像素和Gr像素的特性，因此校正是必要的。接着，将参照图5描述本公开的第一实施例中的作为校正目标的像素(与相差检测像素相邻的R像素和Gr像素)，着重描述包含在区域212中的像素(13X4个像素)。[成像元件中的校正目标像素的例子]图5是示意性地示出根据本公开第一实施例的成像元件200的区域212中的像素的布置的例子的顶视图。此外，在该图中，通过将左右方向设置为X轴并将上下方向设置为 Y轴来假定X轴和Y轴。另外，信号的读取方向被设置为X轴方向(按照行单位读取)。在该图中，作为在本公开的第一实施例的成像元件200中的像素布置，示出对应于图4的区域212的像素。另外，图5示出下述两个区域示出作为校正单元400中的校正目标的像素的区域(区域261到沈4)和示出将不被校正的像素的区域(区域271到272)。区域到沈4中的每一个像素都与三个相差检测像素和五个图像产生像素相邻。另一方面，区域271和272中的每一个像素都与全是图像产生像素的八个像素相邻。 换句话说，在区域261到沈4中的R像素与在区域271和272中的R像素之间的像素电路的配置和相邻像素的滤色器的模式(pattern)中出现差异(这同样适用于Gr像素)。因此，由于从相邻像素泄露的光量的差异和在微透镜的光会聚到光感测元件的光感测的过程中损失的光量的差异，即使感测到相同量的光，在产生的信号的大小(亮度值)上也出现差异。另外，由于相邻像素的配置的不同而导致的变形(distortion)的细微差异，在产生的暗电流的量中出现差异。因此，为了校正这些特性的差异，在校正系数计算操作中计算暗电流校正系数、颜色混合校正系数和灵敏度校正系数。[通过校正系数计算单元计算暗电流校正系数的计算例子]图6A和6B是示出根据本公开第一实施例的用于图示计算校正系数计算单元300 的暗电流校正系数的成像元件200的像素布置的示图。为了解释与相差检测像素相邻的R像素的暗电流校正系数，图6A示出包含在图5 中示出的区域212的R像素的一列。在图6中，描述与相差检测像素322相邻的R像素325和326的暗电流校正系数的计算。由于相差检测像素中的金属层的高密度的影响造成的配置的轻微变形，与相差检测像素相邻的图像产生像素(校正目标像素)的产生的暗电流量不同于与相差检测像素不相邻的图像产生像素(正常像素)的产生的暗电流量。因此，需要执行与正常像素的暗电流校正不同的暗电流校正，正常像素的暗电流校正是通过减去图像产生像素暗电流测量区域222中的正常像素的暗电流的平均值得到的。如果成像元件200的温度改变或者暴露在光中的时间延长，那么产生的暗电流量根据温度的变化或曝光时间的长度而增加。另外，使图像产生像素暗电流测量区域222中的像素的产生的暗电流量与校正目标像素的产生的暗电流量相关联(成比例的关系)。由于这种原因，在校正系数计算操作中，可以使用在无光状态中捕捉的图像(全黑图像)计算这样的值(暗电流校正系数)该值指示在图像产生像素暗电流测量区域222中的正常像素的产生的暗电流量的平均值与校正目标像素的产生的暗电流量之间的关系。例如，使用下面的公式1计算在图6A中示出的R像素325的暗电流校正系数
(SR325)Sr325 = lR325(BK)/laVedknE(BK)......公式 1。这里，IE325(BK)为全黑图像(BK)中的R像素325的信号的值(亮度值)，并且是R 像素325的所谓的暗电流。另外，IaVedkn_)是全黑图像中的图像产生像素暗电流测量区域 222中的正常R像素的亮度值的平均值。针对成像元件200的光感测像素区域210中的与相差检测像素相邻的每一个图像产生像素计算暗电流校正系数。例如，通过下面的公式2来计算R像素326的暗电流校正系数(Sk326)，其中，公式1的IK325(BK)被设置为全黑图像中的R像素3 的亮度值(IK326_)Sr326 = IR326(BK)/IavedknR(BK)......公式 2。在图6B中，示出与相差检测像素342相邻的Gr像素345和346。以与使用公式1 的R像素325的情况中相同的方式，使用下面的公式3计算Gr像素345的暗电流校正系数
(^345):SGr345 一 I Gr 34 5 (BK) /1 aVedknGr (BK)......公式 3。这里，IGr345(BK)为全黑图像中的Gr像素345的亮度值。另外，IavedknGr(BK)是全黑图像中的图像产生像素暗电流测量区域222中的正常Gr像素的亮度值的平均值。另外，Gr像素346的暗电流校正系数(Sto346)是通过将公式3的亮度值(Ito345(BK))
15设置为全黑图像中的Gr像素346的亮度值(Ite346to0)来计算的。这样，在校正系数计算操作中，校正系数计算单元300针对与相差检测像素相邻的每一个图像产生像素计算暗电流校正系数。此外，如公式1到3所示，这样的暗电流校正系数通过这样的公式计算，其中，分子为全黑图像中的暗电流校正系数的计算目标像素的亮度值，分母为全黑图像中的图像产生像素暗电流测量区域222中的正常像素的产生的暗电流量的平均值。接下来，颜色混合校正系数的计算将参照图7A到图IlB进行描述。[在与相差检测像素相邻的图像产生像素中的颜色混合起因光的一个例子]图7A和7B是示意性地示出本公开第一实施例中的由于与相差检测像素相邻的图像产生像素的颜色混合所导致的颜色混合起因光的示意图。此外，在这些图中，如图7A所示，将在假定如下布置的情况下提供描述其中，其右侧被遮蔽光并且左侧为开口部分的相差检测像素和R像素左右相邻(相差检测像素在左并且R像素在右)。换句话说，假定这样的布置其中，在成像元件200中相差检测像素622 和R像素611左右相邻。在图7B中，示出在图7A中示出的线Ll的横截面配置。在图7B中，作为相差检测像素622的横截面配置，示出微透镜651、布线652、布线653和光感测元件654。另外，作为 R像素611的横截面配置，示出微透镜661、布线662、布线663、光感测元件664和R滤波器 665。此外，在图7B中，示出的箭头361和362示意性地指示从相差检测像素622向R像素611泄露的光。此外，假定相差检测像素622不包含滤色器。微透镜651为用于将被摄体光会聚到光感测元件654的透镜。布线652和653为用于连接相差检测像素622中的每一个电路的布线。在图7B 中，布线652和653示出为其中，三条导线(wire)对于光轴以层状布置。布线653包含突出到光感测元件654的中心附近的一条导线。突出部被形成为覆盖光感测元件6M和微透镜651之间的光感测元件654的右半部分，并且遮蔽通过出射光瞳的左半部分的被摄体光。另一方面，布线652没有被布置在从微透镜651到光感测元件 654的被摄体光的光路上，而是被布置在光路的周边。此外，布线652和653还起到遮蔽来自相邻像素的光的作用。光感测元件肪4通过将接收的光转换为电信号(光电转换)来产生具有与接收到的光量相对应的强度的电信号。光感测元件654由例如光电二极管(PD)构成。R像素611的微透镜661为用于以与相差检测像素622的微透镜651相同的方式将被摄体光会聚到光感测元件664的透镜。另外，由于光感测元件664和6M类似，所以将不再重复其描述。布线662和663为用于连接R像素611中的每一个电路的布线。此外，布线662 和663没有被布置在从微透镜661到光感测元件664的被摄体光的光路上，而是被布置在光路的周边。R滤波器665为透过红色(R)光的滤色器。这里，将使用箭头361和362描述从相差检测像素622向R像素611泄露的光(颜色混合起因光)。如箭头361和362示意性地示出的，在布线之间迷走的被摄体光在相邻像素之间被多次反射的同时行进，由此很少有光在相邻像素的光感测元件上被感测到。由于相差检测像素包含使特定波长的光从其透过而其它波长的光被吸收的滤色器(包括其中包含可见光谱中的全部光都透过的白色滤色器的情况)，因此相差检测像素比图像产生像素具有更大量的入射光。由于入射光量的增加，到与相差检测像素相邻的图像产生像素的颜色混合起因光的量相对地增加。另外，在相差检测像素中，存在包括充当遮光层的大布线的一侧(在图7B的相差检测像素622中的布线653侧)。由于充当遮光层的大布线反射光，因此到与大布线相邻的像素(图7B的R像素611)的颜色混合起因光量比与没有充当遮光层的布线的一侧(布线 652 一侧)相邻的图像产生像素的颜色混合起因光量大。根据上述内容，与相差检测像素相邻的图像产生像素的颜色混合起因光的量比与相差检测像素不相邻的图像产生像素的颜色混合起因光的量大。[与相差检测像素相邻的R像素的颜色混合起因光的检测例子]图8是示出本公开第一实施例中的与相差检测像素相邻的R像素的颜色混合起因光的检测的例子的示意图。在该图中，示出在图7B中示出的相差检测像素622和R像素611的横截面图和在成像元件200中只透过蓝光的滤波器(B滤波器380)的横截面图。另外，蓝光的通过状态由带有B的虚线箭头示意性地示出。以相同的方式，绿光的通过状态由带有G的虚线箭头示意性地示出，并且红光的通过状态由带有R的虚线箭头示意性地示出。这里，关于校正系数计算操作中的与相差检测像素相邻的R像素的颜色混合起因光的检测方法，将使用相差检测像素622和R像素611提供描述。R像素611的滤色器(R滤波器66 使得红色波长的光透过，但吸收其它波长的光。另外，由于相差检测像素622不包含滤色器，因此该相差检测像素使得由微透镜651会聚的光中的所有波长的光从其透过，到达光感测元件肪4侧。换句话说，通过从被摄体光中去除红色波长的光，可以只感测在R像素的光感测元件上的颜色混合起因光。在该图中，示出这样一个例子其中，为了从被摄体光中去除红色波长的光，通过在光源和成像元件200之间插入只透过蓝光的B滤波器380，捕捉用于计算与相差检测像素相邻的R像素的颜色混合校正系数的图像。如图所示，通过使用B滤波器380捕捉图像，蓝光中的透过出射光瞳的右侧的光 (箭头36 在相差检测像素622中的光感测元件肪4上被感测。另一方面，R像素611处于在其中不存在透过R滤波器665的光的状态。但是，在R像素611中，从相差检测像素622 泄露的蓝光(箭头364)在光感测元件664上被检测。[通过校正系数计算单元计算R像素的颜色混合校正系数的计算例子]图9A和9B是示出本公开第一实施例中的用于图示R像素的颜色混合校正系数的计算的成像元件200的像素布置的示图。在如图8所示的校正系数计算操作中，从使用B滤波器380捕捉的图像(蓝色滤波图像)计算与相差检测像素相邻的R像素的颜色混合校正系数。在颜色混合校正系数的计算中，首先，计算计算目标的R像素(校正目标R像素)的亮度值当中的由从相差检测像素泄露的光导致的值(颜色混合量)。随后，基于计算的颜色混合量和根据相邻的相差检测像素的感测光量假定的泄露光量之间的关系计算颜色混合校正系数。因此，颜色混合量的计算将在图9A中描述，并且颜色混合校正系数的计算将在图9B中描述。此外，当使用B滤波器380产生捕捉图像时，假定透过整个成像元件200的光具有均勻的波长和强度(没有不均勻性)。另外，假定光源的光量为其中即使使用B滤波器380 也可以在短时间段内捕捉明亮的图像的量，并且图像被假定为在可以忽略暗电流的发生的状态中使用B滤波器380捕捉的。在图9A中，为了图示校正目标R像素的颜色混合的计算，示出像素布置。此外，像素布置与在图5中示出的包含区域212的R像素的三列相同。在图9A中，颜色混合量的计算将着重于与相差检测像素321和323相邻的R像素(R像素325和326)和正常R像素(R 像素3 和327)进行描述。在使用B滤波器380的捕捉图像中的R像素325的颜色混合量(EK325(B))是通过从作为颜色混合校正系数的计算目标(校正目标)的R像素325的亮度值减去不是校正目标的R像素的亮度值来计算的。使用减法，可以获得由从相邻的相差检测像素泄露的光导致的颜色混合量。R像素325的颜色混合量(Ek325w)使用例如下面的公式4来计算Er325(B) — Ir325(B)~ (Ir324(B)+Ir327(B)) /2......公式 4。这里，ΙΚ325ω为在使用B滤波器380捕捉的图像⑶中的R像素325的信号的值(亮度值)。以相同的方式，Ie324(B)为在使用B滤波器380捕捉的图像中的R像素324的信号的亮度值，并且ΙΚ327(Β)为该图像的R像素327的亮度值。换句话说，公式4的ακ324(Β)+ΙΚ327(Β)) /2 是用于计算不是校正目标的R像素(正常R像素)的亮度值的平均值。此外，作为用于获得颜色混合量的正常R像素，为了避免对亮度值的其它影响，希望使用布置在靠近作为用于计算颜色混合量的目标的R像素的位置的正常R像素。针对光感测像素区域210中的与相差检测像素相邻的图像产生像素中的每一个， 计算颜色混合量。例如，使用R像素326的亮度值(ΙΚ326(Β))，以与颜色混合量(ΕΚ325(β))相同的方式，计算R像素326的颜色混合量(ΕΚ326(β))。使用公式5计算R像素326的颜色混合
量(Er326Q3))Ee326(B) — Ir326(B)_ (Ir324(B)+Ir327(B))/2......公式 5。在图9B中，为了图示校正目标R像素的颜色混合校正系数的计算，示出像素布置。 在图9B中，示出图9A中所示的相差检测像素321至323以及R像素325和326。另外，示出指示从相差检测像素321至323中的每一个到R像素325的颜色混合起因光的箭头(箭头331至33 和指示从相差检测像素321至323中的每一个到R像素326的颜色混合起因光的箭头(箭头334至336)。随着从每一个相邻的相差检测像素(相差检测像素321至32 泄露的光(颜色混合起因光)的量变大，使用B滤波器380捕捉的图像中的R像素325的颜色混合量(EK325(b)) 具有大的值。另外，随着相差检测像素321至323中的感测的光量变大，从相差检测像素 321至323中的每一个泄露的光量变大。换句话说，使相差检测像素321至323的感测的光量(亮度值)和颜色混合量(EK325(b))相关联。因此，基于相差检测像素321至323的亮度值和R像素325的颜色混合量(EK325(B)) 之间的相关性(比例关系)来计算颜色混合校正系数。使用例如下面的公式6来计算R像素325的颜色混合校正系数(Tk325)Te325 = ER325(b)/(ffruD321 X Id321 (β)+ffcuD322 X Id322⑶+ffluD323 X ID323(b))......6。
1
这里，Wrura21是用于基于相差检测像素321的信号的值(亮度值)假定从相差检测像素321(D321)泄露到位于其右上侧的R像素325的光量的系数(光量计算系数(右上方))。以相同的方式，Wcud皿是用于基于相差检测像素322的感测的光量假定从相差检测像素322(D322)泄露到位于其正上侧的R像素325的光量的系数(光量计算系数(正上方))。 另外，WIUd323是用于基于相差检测像素323的感测的光量假定从相差检测像素323 (D323) 泄露到位于其左上侧的R像素325的光量的系数(光量计算系数(左上方))。另外，I11321 (B)是相差检测像素321 (D321)的信号的值(亮度值)。以相同的方式， Id322 (B)是相差检测像素322 ￠32 的亮度值，ID323(B)是相差检测像素323(D32!3)的亮度值。换句话说，公式6的右边的分母是用于计算指示从相差检测像素321至323泄露到R像素325的光量的值。针对光感测像素区域210中的与相差检测像素相邻的图像产生像素中的每一个， 计算颜色混合校正系数。例如，以与R像素325的颜色混合校正系数(Tk325)相同的方式，使用下面的公式7来计算R像素326的颜色混合校正系数(Tk326) Tr326 — Er326(B)/(WrSD32i X ID321(B)+WcSD322 X ID322(B)+W1sD323 X ID323(B))......公式 7。这里，Wrsra21是用于基于相差检测像素321的感测的光量假定从相差检测像素 32KD321)泄露到位于其右下侧的R像素326的光量的系数(光量计算系数(右下方))。 以相同的方式，Wcsd322是用于基于相差检测像素322的感测的光量假定从相差检测像素 322(D322)泄露到位于其正下侧的R像素326的光量的系数(光量计算系数(正下方))。 另外，WISd323是用于基于相差检测像素323的感测的光量假定从相差检测像素323 (D323) 泄露到位于其左下侧的R像素326的光量的系数(光量计算系数(左下方))。这种光量计算系数是用于作为校正目标的每一个图像产生像素的系数，并在成像元件的设计和试生产的阶段中针对作为校正目标的每一个图像产生像素被确定，并且，将确定的值记录在闪速ROM 500中。这样，通过使用蓝色滤波图像来计算校正目标R像素的颜色混合校正系数。接下来，将参照图10至IlB描述与相差检测像素相邻的Gr像素的颜色混合校正系数的计算。[与相差检测像素相邻的Gr像素的颜色混合起因光的检测例子]图10是示出本公开第一实施例中的与相差检测像素相邻的Gr像素的颜色混合起因光的检测的例子的示意图。该图对应于图8中所示的R像素的颜色混合起因光的检测。由于这种原因，这里将主要描述Gr像素的颜色混合起因光的检测和R像素的颜色混合起因光的检测之间的差已升。在该图中，示出用于仅仅透过红光到达成像元件200的滤波器(R滤波器390)，而不是图8中所示的B滤波器380。可以用R滤波器390从被摄体光去除绿光。因此，可以在 Gr像素612的光感测元件664上仅仅感测颜色混合起因光。如图所示，通过使用R滤波器390捕捉图像，红光(箭头36 中的通过出射光瞳的右侧的光在相差检测像素622中的光感测元件6M上被感测。另一方面，Gr像素612处于在其中不存在透过G滤波器667的光的状态。但是，在Gr像素612中，从相差检测像素 622泄露的红光(箭头366)在光感测元件664上被感测。
[通过校正系数计算单元计算颜色混合校正系数的计算例子]图IlA和IlB是示出本公开第一实施例中的用于图示Gr像素的颜色混合校正系数的计算的成像元件200的像素布置的示图。该图对应于图9A和9B中所示的R像素的颜色混合起因光的检测。由于这种原因， 这里将描述与R像素的颜色混合校正系数的计算相同的Gr像素的颜色混合校正系数的计算相同的要点。以与R像素的颜色混合校正系数的计算相同的方式，通过下述方式来执行Gr像素的颜色混合校正系数的计算计算由从相邻的相差检测像素泄露的光所导致的颜色混合的量；然后，基于计算的颜色混合的量，计算作为计算目标(校正目标Gr像素)的Gr像素的颜色混合校正系数。使用例如下面的公式8来计算Gr像素345的颜色混合量(Eto34500)Ecr345(R) = IGr345(E)~ (IGr344(E) +1Gr347(E)) /2......公式 8。此外，使用例如下面的公式9来计算Gr像素346的颜色混合量(Eto34600)EGr346(R) 一 I&r346(E)~ (I&r344(E)+^Gr347(E)) /2......公式 9。另外，使用下面的公式10来计算Gr像素345的颜色混合校正系数(Tto345)，并且， 使用下面的公式11来计算Gr像素346的颜色混合校正系数(Tto346)T0r345 = E0r345(R)/ (WruD341X ID34i (R)+Wcud342 X ID342(E) +W1ud343 ^ ID343(E)) · · ....公式 10。T0r346 一 EGr346(R)/ (WrsD341 X Id341 (R)+WcsD342 X ID342(R)+WlsD343 X ID:343(R))......公式 11。这里，IGr344(E)至Ito347ao是使用R滤波器390捕捉的图像(R)中的Gr像素344至 Gr像素347的亮度值。另外，ID341(E)至Ira43te)是使用R滤波器390捕捉的图像(R)中的相差检测像素341至Gr像素343的亮度值。另外，Wrura41、Wcud342和WIud343是与Gr像素345 相邻的三个相差检测像素(D341至D343)中的对于Gr像素345的光量计算系数。另外， Wrsro41 >ffcsD342和Wkra43是与Gr像素346相邻的三个相差检测像素(D341至D343)中的对于Gr像素346的光量计算系数。这样，针对每一个校正目标像素计算颜色混合校正系数，并且，将计算的颜色混合校正系数记录在闪速ROM 500上。另外，在计算颜色混合校正系数之前还分别针对每一个校正目标像素来确定光量计算系数，并且，将确定的光量计算系数记录在闪速ROM 500上。接下来，将参照图12描述与相差检测像素相邻的图像产生像素(R像素和Gr像素)的灵敏度校正系数的计算。[通过校正系数计算单元计算灵敏度校正系数的计算例子]图12是示出本公开第一实施例中的用于图示R像素的灵敏度校正系数的计算的成像元件200的像素布置的示图。在该图中，首先，将描述与相差检测像素相邻的R像素和与其不相邻的R像素之间出现的灵敏度的差异。这里，将描述这样的例子其中，由于入射到与相差检测像素相邻的 R像素的微透镜且在光感测元件上感测到的光量和入射到与相差检测像素不相邻的R像素的微透镜且在光感测元件上感测到的光量之间的差异而出现灵敏度差异。作为该例子，将在下述假设的情况下提供描述当与相差检测像素相邻的R像素的滤色器和布线之间的透明层的厚度比与相差检测像素不相邻的R像素的滤色器和布线之间的透明层的厚度稍厚时，出现灵敏度差异。
在该图中，示出图9A中所示的R像素3M和R像素325的横截面配置。在图12 中，关于滤色器和布线之间的透明层的厚度，示出R像素325的厚度(箭头67 和R像素 324的厚度(箭头676)之间的差异。另外，在该图中，由R像素325的光感测元件肪4感测的光量由箭头677示意性地示出，并且，由R像素324的光感测元件6M感测的光量由箭头 678示意性地示出。此外，箭头678由比箭头677大的箭头示出，从而指示由R像素324的光感测元件6M感测的光量大于由R像素325的光感测元件6M感测的光量。这里，将描述通过灵敏度校正系数的校正的目的。在制造成像元件200的过程中，如果采用仅仅相差检测像素的一部分不同的配置，则这种采用还影响与其相邻的像素的配置。例如，让我们假定，在形成R像素的R滤波器之前，针对相差检测像素形成滤色器的层(透明层)。在这种情况下，在与受透明层(例如，在滤色器变厚之前的透明层)的形成的影响的相差检测像素相邻的像素的配置中出现稍微的变化。因此，在与相差检测像素相邻的像素和与相差检测像素不相邻的像素之间出现在从光入射到微透镜到在光感测元件上感测的过程中损失的光量的差异。在与相差检测像素不相邻的图像产生像素中，由于与每一个图像产生像素相邻的像素相同，所以这种配置差异不会出现。换句话说，仅仅在与相差检测像素相邻的图像产生像素和与相差检测像素不相邻的图像产生像素之间出现配置差异。这样，在与相差检测像素相邻的图像产生像素(R像素32 和与相差检测像素不相邻的图像产生像素(R像素324)之间出现在从光入射到微透镜到在光感测元件上感测的过程中损失的光量的差异。换句话说，如图12的箭头677和678所示，即使入射到微透镜的光量相同，在入射到微透镜且在光感测元件上感测到的光量中也出现差异(灵敏度差异)。接下来，将描述灵敏度校正系数的计算。为了计算灵敏度校正系数，将均勻的光照射在整个成像元件200上，以捕捉用于灵敏度校正系数的计算中的图像。换句话说，由于使用该图像计算R像素的灵敏度校正系数和Gr像素的灵敏度校正系数，所以在所有波长处具有相同的灵敏度的光源是期望的。首先，通过下述方式来执行灵敏度校正系数的计算从校正目标像素的亮度值减去颜色混合量，并且，计算排除颜色混合的影响的亮度值(颜色混合校正之后的亮度值)。 然后，基于减去了颜色混合量的亮度值和正常像素的亮度值之间的相关性(比例关系)来计算灵敏度校正系数。使用例如下面的公式13来计算R像素325的颜色混合校正之后的亮度值(I^25)。 另外，使用例如下面的公式14来计算R像素325的灵敏度校正系数(Uk325)。Fe325 — Ir325(w)_Tr325 X (WrUd32i X Id321(w)+WcUd322 X Id322 (w)+w1ud323 X Id323(w))......公式
13Ue325 = ((Ir324(W)+Ir327(W))/2)/Fe325......公式 14这里，Ik325w是白色图像(W)中的R像素325的亮度值。以相同的方式，ID32lW、 Ι 322 (W)和 ID323(W) 是白色图像(W)中的相差检测像素321、322和323中的每一个的亮度值。 另外，Ir324和Ik327w是白色图像(W)中的R像素3M和327中的亮度值。在公式I3 中，用 Tk325 X (Wru11321X Id321 (w)+Wcud322 X I職⑶+WIud323 X Id323(w))计算白色图像(W)中的R像素325的亮度值中包含的由于颜色混合引起的亮度值(颜色混合量)。 换句话说，在公式13中，通过从白色图像(W)中的R像素325的亮度值(Ik325w)减去颜色混合量来计算颜色混合校正之后的亮度值(FK325)。在公式14中，基于颜色混合校正之后的亮度值(Fk325)和正常像素的亮度值之间的相关性(比例关系)来计算灵敏度校正系数(Uk325)。针对光感测像素区域210中的校正目标像素中的每一个，计算灵敏度校正系数。 使用例如下面的公式15和16来计算R像素326的灵敏度校正系数(Uk326)。另外，使用下面的公式17和18计算Gr像素345的灵敏度校正系数(Uto345)，并且，使用下面的公式19和 20计算Gr像素346的灵敏度校正系数(Uto346)。Fr326 — Ir326(W)_Tr326 X 0 *SD32i X ID321 (W)+W。Sd322 X ID322 (W)+Wl Sd323 X ID323 (W))......公式
15Ue326 = ( (Ir324(W)+Ir327(W)) /2) /Fr326......公式 16F0r345 一 IGr345(W)-T0r345 X (WrUD321 X Id341(W)+^CUD322 ^ Id322 (W)+ WIud323 X ID323(W))......公
式17U0r345 = ( (lcr344(W)+lGr347(W)) /2) /F0r345......公式 18F0r346 一 Icr346 (W)-T0r346 X (Wr Sd341 X Id341 (W)+^Gsd342 X Id342(W)+^1SD343 ^ Id343(W))......公
式19U0r346 = ( (lcr344(W)+lGr347(W)) /2) /F0r346......公式 20这样，针对每一个校正目标像素计算灵敏度校正系数，并且，将计算的灵敏度校正系数记录在闪速ROM 500上。[校正系数计算操作中的成像装置的操作例子]接下来，将参照附图描述本公开第一实施例的校正系数计算操作中的成像装置 100的操作。图13是示出本公开第一实施例中的校正系数计算操作中的由成像装置100执行的校正系数计算处理的过程的例子的流程图。在制造成像装置100的过程中的计算校正系数的处理中执行校正系数计算处理的过程。首先，执行用于计算用于校正与相差检测像素相邻的图像产生像素(校正目标像素)的暗电流的系数(暗电流校正系数)的暗电流校正系数计算处理(步骤S910)。此外， 将参照图14描述暗电流校正系数计算处理(步骤S910)。然后，执行用于计算用于校正校正目标像素中的颜色混合(由从相差检测像素泄露的光所导致的亮度的变化)的系数(颜色混合量校正系数)的颜色混合量校正系数计算处理。此外，将参照图15描述颜色混合量校正系数计算处理(步骤S920)。另外，执行用于计算用于校正校正目标像素和正常像素之间的灵敏度的差异(入射到微透镜且在光感测元件上感测到的光量的差异)的系数(灵敏度校正系数)的灵敏度校正系数计算处理(步骤S940)。此外，将参照图16描述灵敏度校正系数计算处理(步骤 S940)。当暗电流校正系数计算处理(步骤S910)、颜色混合量校正系数计算处理(步骤 S920)和灵敏度校正系数计算处理(步骤S940)结束时，校正系数计算处理的过程结束。图14是示出本公开第一实施例中的校正系数计算操作中的暗电流校正系数计算处理(步骤S910)的过程的例子的流程图。首先，在没有光的状态中使用成像元件200捕捉图像(全黑图像)(步骤S911)。接下来，基于图像产生像素暗电流测量区域222中的每一个正常像素，由校正系数计算单元300计算全黑图像中的每一个正常像素的暗电流的值(步骤S912)。其后，针对光感测像素区域210中的每一个校正目标像素，基于校正目标像素的亮度值和具有与校正目标像素相同的颜色的正常像素的暗电流值，由校正系数计算单元300计算暗电流校正系数(步骤 S913)。然后，将用于每一个校正目标像素的计算的暗电流校正系数记录在闪速ROM 500 上(步骤S914)。图15是示出本公开第一实施例中的校正系数计算操作中的颜色混合校正系数计算处理(步骤S920)的过程的例子的流程图。首先，针对成像元件200的光感测像素区域210中的与相差检测像素相邻的每一个图像产生像素(校正目标像素)设置光量计算系数(步骤S921)。然后，将设置的光量计算系数记录在闪速ROM 500 (步骤S922)。接着，使用B滤波器380，使用成像元件200来捕捉图像(蓝色滤波图像)(步骤 S923)。然后，从闪速ROM 500读取每一个校正目标R像素的光量计算系数(步骤S9M)。接着，基于蓝色滤波图像中的校正目标R像素的亮度值和光量计算系数中的每一个，由校正系数计算单元300分别针对每一个校正目标R像素计算校正目标R像素的颜色混合校正系数(步骤S925)。然后，将计算的颜色混合校正系数记录在闪速ROM 500上(步骤 S926)。其后，使用R滤波器390，由成像元件200捕捉图像(红色滤波图像)(步骤S927)。 然后，从闪速ROM 500读取每一个校正目标Gr像素的光量计算系数(步骤。接着，基于红色滤波图像中的校正目标Gr像素的亮度值和光量计算系数中的每一个，由校正系数计算单元300分别针对每一个校正目标Gr像素计算校正目标Gr像素的颜色混合校正系数(步骤。然后，将计算的颜色混合校正系数记录在闪速ROM 500上 (步骤 S930)。图16是示出本公开第一实施例中的校正系数计算操作中的灵敏度校正系数计算处理(步骤S940)的过程的例子的流程图。首先，使用在所有波长之上具有相同的强度的光源(均勻光源)，由成像元件200 捕捉图像(步骤S941)。然后，从闪速ROM 500读取校正目标像素的颜色混合校正系数(步骤S942)。另外，从闪速ROM 500读取每一个校正目标像素的光量计算系数(步骤S942)。接着，对于每一个校正目标图像，基于使用3200K的光源的图像中的亮度值、颜色混合校正系数和光量计算系数，由校正系数计算单元300分别计算灵敏度校正系数(步骤 S944)。然后，将计算的灵敏度校正系数记录在闪速ROM 500上(步骤S945)。这样，通过校正系数计算操作，计算用于校正与相差检测像素相邻的图像产生像素和与相差检测像素不相邻的图像产生像素之间的特性差异的校正系数(暗电流校正系数、颜色混合校正系数和灵敏度校正系数)。[校正操作中的信号的流程的一个例子]图17是示出本公开第一实施例中的在校正与相差检测像素相邻的图像产生像素的亮度值时成像装置100的操作(校正操作)中的信号的流程的例子的示意图。在该图中，校正操作中涉及的图1中所示的成像装置100的各配置当中的配置由实线框示出，校正操作中不涉及的配置由虚线框示出。另外，在图17中，从由成像元件200 感测光至将捕捉图像记录在记录介质1 上的信号的流程由粗黑箭头示出。另外，在图17 中，为了描述的方便，省略了操作接收单元171和控制单元172。如图所示，在校正操作的情况中，A/D转换单元130和校正单元400通过切换开关 160彼此连接。因此，由A/D转换单元130数字化的图像数据被供应到校正单元400。另外，校正单元400从闪速R0M500读取每一个校正系数，并且使用RAM 140作为工作存储器来校正每一种特性(暗电流、颜色混合和灵敏度)。另外，校正单元400将校正了校正目标像素的亮度值的图像数据(校正后的图像数据)供应到图像处理单元151，并且，将从校正后的图像数据显影的图像记录在记录介质巧4上或者显示在取景器153上。[校正单元的功能配置例子]图18是示出本公开第一实施例中的校正单元400的功能配置的例子的框图。在该图中，示出闪速ROM 500和校正单元400。闪速ROM 500包含暗电流校正系数保持单元510、颜色混合校正系数保持单元520、光量计算系数保持单元530和灵敏度校正系数保持单元讨0。暗电流校正系数保持单元510是闪速ROM 500中的保持了暗电流校正系数的区域。暗电流校正系数保持单元510保持由校正系数计算单元300在校正系数计算操作中计算的暗电流校正系数。暗电流校正系数保持单元510将保持的暗电流校正系数供应到校正目标像素校正单元410中的暗电流校正单元420。颜色混合校正系数保持单元520是闪速ROM 500中的保持了颜色混合校正系数的区域。颜色混合校正系数保持单元520保持由校正系数计算单元300在校正系数计算操作中计算的颜色混合校正系数。颜色混合校正系数保持单元520将保持的颜色混合校正系数供应到校正目标像素校正单元410中的颜色混合校正单元430。光量计算系数保持单元530是闪速ROM 500中的保持了光量计算系数的区域。光量计算系数保持单元530保持针对每一个校正目标像素设置的光量计算系数。光量计算系数保持单元530将保持的光量计算系数供应到校正目标像素校正单元410中的颜色混合校正单元430。灵敏度校正系数保持单元540是闪速ROM 500中的保持了灵敏度校正系数的区域。灵敏度校正系数保持单元540保持由校正系数计算单元300在校正系数计算操作中计算的灵敏度校正系数。灵敏度校正系数保持单元540将保持的灵敏度校正系数供应到校正目标像素校正单元410中的灵敏度校正单元440。校正单元400包含校正目标像素校正单元410、暗电流值计算单元450、暗电流值减算单元460、校正图像数据输出单元470和图像数据输入单元480。当从A/D转换单元130输入图像数据时，图像数据输入单元480将输入的图像数据中的每一个像素的亮度值输出到暗电流值减算单元460和校正目标像素校正单元410。 图像数据输入单元480将与相差检测像素相邻的图像产生像素(校正目标像素)的亮度值输出到校正目标像素校正单元410。另外，图像数据输入单元480将与相差检测像素不相邻的图像产生像素(正常像素)的亮度值和相差检测像素的亮度值供应到暗电流值减算单元 460。另外，图像数据输入单元480将在光学黑色区域220中布置的像素的数据供应到暗电流值计算单元450。此外，图像数据输入单元480是权利要求中描述的输入单元的例子。
24
校正目标像素校正单元410用于校正校正目标像素的亮度值。校正目标像素校正单元410包含暗电流校正单元420、颜色混合校正单元430和灵敏度校正单元440。暗电流值计算单元450用于计算在图3中示出的正常像素的暗电流值和相差检测像素的暗电流值。在图像被捕捉时，暗电流值计算单元450计算相差检测像素暗电流测量区域221的相差检测像素的亮度值(相差检测像素暗电流值)的平均值。另外，暗电流值计算单元450计算图像产生像素暗电流测量区域222中的正常像素的亮度值(正常像素暗电流值)的平均值。此外，针对每一种像素(针对在光瞳分割后感测的光的方向和滤色器的每一种颜色)计算相差检测像素暗电流值和正常像素暗电流值。暗电流值计算单元450 将计算的正常像素暗电流值供应给暗电流值减算单元460。另外，暗电流值计算单元450将计算的相差检测像素暗电流值供应给暗电流校正单元420和暗电流值减算单元460。暗电流值减算单元460用于通过从捕捉图像中的相差检测像素和正常像素的信号(亮度值)中减去暗电流值来校正相差检测像素和正常像素的暗电流。暗电流值减算单元460将校正的亮度值供应给颜色混合校正单元430和校正图像数据输出单元470。暗电流校正单元420用于校正在校正目标像素的信号(亮度值)中的暗电流。暗电流校正单元420基于相差检测像素暗电流值和暗电流校正系数计算(假定)校正目标像素的产生的暗电流的量，并且通过从校正目标像素的亮度值减去计算的产生的暗电流的量来执行暗电流的校正。暗电流校正单元420将暗电流被校正的校正目标像素的亮度值(暗电流校正后的亮度值)供应给颜色混合校正单元430。颜色混合校正单元430用于校正校正目标像素的颜色混合。基于校正目标像素的暗电流校正后的亮度值，以及与校正目标像素相邻的相差检测像素的暗电流校正后的亮度值、颜色混合校正系数和光量计算系数，颜色混合校正单元430通过从暗电流校正后的亮度值中减去由颜色混合导致的值(颜色混合量)来校正颜色混合。换句话说，颜色混合校正单元430基于与校正目标像素相邻的相差检测像素的每一个亮度值计算由从相差检测像素泄露到校正目标像素的光导致的亮度的变化值(颜色混合量)，并基于计算的变化值校正颜色混合。颜色混合校正单元430将通过减去(校正)颜色混合量获得的亮度值(暗电流和颜色混合校正的亮度值)供应给灵敏度校正单元440。灵敏度校正单元440用于校正校正目标像素的灵敏度。灵敏度校正单元440基于暗电流与颜色混合的亮度值和校正目标像素的灵敏度校正系数，产生通过校正校正目标像素与正常像素之间的灵敏度的差异获得的亮度值。换句话说，灵敏度校正单元440基于颜色混合被校正的校正目标像素的灵敏度校正系数和亮度值，校正由在入射到校正目标像素和正常像素之间的微透镜上的光在光感测元件上被感测到之前损失的光量的差异导致的感测光量的差异。灵敏度校正单元440将通过校正灵敏度获得的亮度值(校正的亮度值) 供应给校正图像数据输出单元470。此外，灵敏度校正单元440为权利要求中的透过率校正单元的例子。校正图像数据输出单元470用于基于通过校正校正目标像素的特性获得的亮度值(校正的亮度值)和通过校正相差检测像素和正常像素的暗电流获得的亮度值来输出校正的图像数据。校正图像数据输出单元470将校正的图像数据经由信号线401供应给图像处理单元151。这里，将使用计算公式描述校正目标像素校正单元410中的校正。通过用户的成像操作产生的图像数据中的R像素325的亮度值(Ik325)的校正(参照图9A和9B)使用例如下面的公式21计算I' R325 = ( (Ir325-Se325 X IavedknE) -Te325 X (WruD321 X I ‘ D321+ffcuD322 X I ‘ D322+ff Iud323 X
I D323) ) XUr325......公式 21。这里，Iaved-为使用在由用户的成像操作产生的图像数据中的成像元件200的图像产生像素暗电流测量区域222中的正常R像素的亮度值的平均值计算的暗电流值。 I' D321为通过校正相差检测像素321的暗电流获得的亮度值。此外，校正亮度值(Γ D321) 是在暗电流值减算单元460中通过从亮度值(Id321)减去相差检测像素暗电流值计算的。以相同的方式，Γ 为通过校正相差检测像素322的暗电流获得的亮度值，并且I' 为通过校正相差检测像素323的暗电流获得的亮度值。这里，将描述公式21的右边。公式21的(Ik325-Sk325 X IaVedknE)对应于暗电流校正单元420中的校正。R像素325的产生的暗电流的量由Sk325 X IaVedknK计算，并且从R像素 325的亮度值(Ik325)减去计算的暗电流的量，从而校正R像素325的暗电流。另外，从通过减去公式21的暗电流量获得的值减去Tk325 X (Wrura21X I ‘ D321+ffcuD32 2ΧΓ D322+WluD323 Xr D323)对应于颜色混合校正单元430中的校正。换句话说，R像素325 的颜色混合是通过从暗电流量被减去的亮度值减去R像素325的颜色混合量而校正的。另外，通过校正暗电流量和颜色混合获得的值与U懸的乘积对应于灵敏度校正单元440中的校正。换句话说，通过将透过R像素325的滤色器且在光感测元件上感测的光的亮度值(通过校正暗电流量和颜色混合而获得的值)与灵敏度校正系数相乘来校正R像素325的灵敏度。这样，校正与相差检测像素相邻的图像产生像素的亮度值。此外，以与校正系数的计算相同的方式，针对与相差检测像素相邻的图像产生像素中的每一个，执行校正。例如， 使用公式22来计算对于图9A和9B的R像素326的校正，使用公式23来计算对于图IlA 和IlB的Gr像素345的校正，并且，使用公式M来计算对于Gr像素346的校正。I R326 一 ( (Ir326_SR326 X IaVedknR) -TR326 X (WrSD32i X I D321+WCSD322 X I D322+^1SD323 ^
I D323) ) XUr326......公式 22Γ Gr345 = ((IGr345-SGr345 XIavedknGr)-TGr345 X (WruD341Xr D341+WcuD342 X Γ D342+WluD3 43 X I D343) ) X U0r345......公式 23I Gr346 一 ( (lGr346_SGr346 X IaVedknGr) _TGr346 X (WrSd341 X I D34i+WcSd342 X I D342+W1SD3 43 X I D343) ) X U0r346......公式 24这样，通过校正单元400，产生通过校正与相差检测像素相邻的图像产生像素和与相差检测像素不相邻的图像产生像素之间的三种特性(暗电流、颜色混合和灵敏度)的差异而获得的亮度值。[通过校正操作产生的图像的一个例子]图19A和19B是示出本公开第一实施例中的经过成像装置100中的与相差检测像素相邻的图像产生像素的亮度值的校正的捕捉图像和未经过现有技术的成像装置中的校正的捕捉图像的示意图。在图19A中，示出现有技术的成像装置中的捕捉图像(捕捉图像199)，其中，与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的差异没有被校正。
在捕捉图像199中，在与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间存在特性的差异，并且，示出由于该差异而导致的包含在该图像中的横向条纹(在捕捉图像199中由虚线指示)。在图19B中，示出捕捉图像(捕捉图像190)，捕捉图像是这样的情况，即其中，通过根据本公开第一实施例的成像装置100的校正单元400校正与相差检测像素相邻的图像产生像素的亮度值。在捕捉图像190中，作为通过校正(改变)相差检测像素的亮度值来校正与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的特性差异的结果，示出横向条纹被减少了的有利的捕捉图像。这样，通过使用校正单元400来执行校正，可以抑制由于与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的特性差异所导致的图像的劣化。[校正操作中的成像装置的操作例子]接下来，将参照附图描述本公开第一实施例的校正操作中的成像装置100的操作。图20是示出根据本公开第一实施例的校正操作中的在成像装置100校正相差检测像素的亮度值时的校正处理的过程的例子的流程图。每当用户使用成像装置100捕捉图像时，执行校正处理的过程。首先，用户通过操作成像装置100来对被摄体进行成像(步骤S951)。换句话说， 输入由成像元件200产生的图像数据。接下来，基于在图像产生像素暗电流测量区域222 和相差检测新像素暗电流测量区域221的像素对被摄体进行成像时产生的信号，通过暗电流值计算单元450计算每一个正常像素和相差检测像素的暗电流的值(步骤S952)。然后， 通过减去每一个暗电流值，校正光感测像素区域210中的相差检测像素和正常像素的暗电流(步骤S95!3)。此外，步骤S951是权利要求中描述的输入过程的例子。随后，由暗电流校正单元420读取在闪速ROM 500中保持的暗电流校正系数(步骤3%4)。接着，基于校正目标像素的亮度值、相差检测像素暗电流值和暗电流校正系数，通过暗电流校正单元420来校正与相差检测像素相邻的图像产生像素(校正目标像素)的暗电流(步骤S955)。随后，由颜色混合校正单元430读取在闪速ROM 500中保持的颜色混合校正系数 (步骤S956)。另外，由颜色混合校正单元430读取在闪速ROM 500中保持的光量计算系数 (步骤S957)。然后，基于校正目标像素的暗电流校正之后的亮度值、与校正目标像素相邻的相差检测像素的暗电流值校正之后的亮度值、颜色混合校正系数和光量计算系数，由颜色混合校正单元430校正校正目标像素的颜色混合(步骤S958)。此外，步骤S958是权利要求中描述的颜色混合校正的过程的例子。随后，由灵敏度校正单元440读取在闪速ROM 500中保持的灵敏度校正系数(步骤S959)。接着，基于校正目标像素的暗电流和颜色混合校正之后的亮度值、以及灵敏度校正系数，由灵敏度校正单元440校正校正目标像素的灵敏度(步骤S960)。接着，输出对于所有的像素完成校正的校正图像(步骤S961)，并且，校正处理的过程结束。这样，根据本公开的第一实施例，通过校正与相差检测像素相邻的图像产生像素的亮度值，可以校正与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的特性的差异。换句话说，根据本公开的第一实施例，可以适当地校正由包含图像产生像素和其它像素二者的成像元件产生的图像数据。<2.第二实施例>在本公开的第一实施例中，描述了这样的成像元件200的例子在该成像元件200 中布置了被设置为除图像产生像素以外的像素的相差检测像素。然而，除图像产生像素以外的像素不限于相差检测像素。当在与作为其它像素的像素(特定像素)相邻的图像产生像素和与其不相邻的图像产生像素之间的暗电流、颜色混合和灵敏度中的任何特性中出现差异时，本实施例可以适用于此。为了提高成像元件的灵敏度，例如，已经考虑除了布置图像产生像素以外还布置白色像素(W像素)的成像元件，但是，本公开的实施例也可以适用于这种成像元件。因此，在本公开的第二实施例中，将参照图21至对描述包含这样的成像元件的成像装置的例子，在该成像元件中布置了图像产生像素和白色像素。[成像元件中的像素的布置例子]图21是示出根据本公开第二实施例的成像元件中包含的像素的布置的例子的示意图。在该图中，示出了构成成像元件的像素当中的某些像素(18行对列的像素)的区域(区域711)。此外，该图对应于图4中示出的区域211。因此，这里将描述区域711和 211之间的差异。如图21所示，在本公开第二实施例的成像元件中，布置了白色像素(W像素712)， 而不是图4中所示的区域211中布置的相差检测像素。W像素712包括滤波器(白色滤波器)，可见光区中的所有波长的光都透过该滤波器。此外，W像素712仅仅在滤色器的光谱特性的方面不同于图像产生像素。W像素712的横截面配置类似于例如图7A和7B中所示的R像素611。换句话说，由于金属层的强度相同，所以与W像素712相邻的图像产生像素中产生的暗电流的量和在与W像素712不相邻的图像产生像素中产生的暗电流的量相同。此外，关于颜色混合，由于具有不同的光谱特性的滤色器的与W像素712相邻的图像产生像素和与W像素712不相邻的图像产生像素彼此相邻，所以，以与本公开的第一实施例相同的方式，在颜色混合量中出现差异。另外，由于在入射到微透镜的光在光感测元件上被感测到之前损失的光量的差异而导致的感测光量中出现差异，所以在灵敏度方面出现差异。换句话说，当作为除图像产生像素以外的像素布置了白色像素时，在校正系数计算操作中计算颜色混合校正系数和灵敏度校正系数。接着，使用计算的颜色混合校正系数和灵敏度校正系数，在校正操作中校正与白色像素相邻的图像产生像素中的颜色混合和灵敏度。[校正单元的功能配置例子]图22是示出根据本公开第二实施例的校正单元730的功能配置的例子的框图。根据本公开第二实施例的成像装置包含校正单元730和闪速ROM 720，而不是在本公开第一实施例中所示的校正单元400和闪速ROM 500 (参见图1)。闪速ROM 720包含颜色混合校正系数保持单元520、光量计算系数保持单元530和灵敏度校正系数保持单元M0。此外，由于除了这里不包含暗电流校正系数保持单元510以外闪速ROM 720是与图18中所示的闪速ROM 500相同的闪速ROM，所以，给出相同的附图标记，并且，这里将不会重复其描述。校正单元730包含校正目标像素校正单元731、暗电流值计算单元450、暗电流值减算单元732、校正图像数据输出单元470和图像数据输入单元733。此外，由于除了计算白色像素(W像素)的暗电流值而不是相差检测像素的暗电流值以外暗电流值计算单元450 是与图18中所示的暗电流值计算单元450相同的暗电流值计算单元，所以给出相同的附图标记，并且这里将不会重复其描述。另外，由于校正图像数据输出单元470与图18中所示的校正图像数据输出单元相同，所以给出相同的附图标记，并且这里将不会重复其描述。校正目标像素校正单元731用于校正与W像素相邻的图像产生像素(校正目标像素)的亮度值。校正目标像素校正单元731包含颜色混合校正单元430和灵敏度校正单元 440。此外，由于除了校正在暗电流值减算单元732中校正了暗电流的校正目标像素的亮度值以外颜色混合校正单元430与第一实施例中示出的颜色混合校正单元430相同，所以给出相同的附图标记，并且这里将不会重复其描述。另外，灵敏度校正单元440与第一实施例中的灵敏度校正单元相同，给出相同的附图标记，并且这里将不会重复其描述。 图像数据输入单元733与图18中示出的图像数据输入单元480相同，并且将校正目标像素、正常像素和W像素的亮度值供应到暗电流值减算单元732。另外，图像数据输入单元733将在光学黑色区域220中布置的像素的数据供应到暗电流值计算单元450。暗电流值减算单元731从W像素、校正目标像素和与W像素不相邻的图像产生像素(正常像素)的亮度值当中减去暗电流值。换句话说，暗电流值减算单元732校正图像数据中的所有像素的暗电流。这样，当与W像素不相邻的图像产生像素是校正目标像素时，以与正常像素的暗电流的校正相同的方式，可以执行校正目标像素的暗电流的校正。由于这种原因，校正单元 730可以在不使用暗电流校正系数的情况下校正校正目标像素的亮度值。[校正系数计算操作中的成像装置的操作例子]接下来，将参照附图描述本公开第二实施例的校正系数计算操作中的成像装置的操作。图23是示出根据本公开第二实施例的校正系数计算操作中的成像装置的校正系数计算处理的过程的例子的流程图。该图对应于示出本公开第一实施例的校正系数计算处理的过程的例子的图13。因此，将描述与图13的不同之处。如图23中所示，本公开第二实施例的校正系数计算操作不包含暗电流校正系数计算处理(步骤S910)。换句话说，在执行颜色混合校正系数计算处理(步骤S920)之后，执行灵敏度校正系数计算处理(步骤S940)。然后，当灵敏度校正系数计算处理(步骤S940) 结束时，校正系数计算处理的过程结束。[校正操作中的成像装置的操作例子]图M是示出根据本公开第二实施例的成像装置的校正操作中的校正处理的过程的例子的流程图。此外，该图对应于图20中所示的本公开第一实施例的校正处理的过程的例子。换句话说，处理的过程是图20的变型例子，并且在校正目标像素的暗电流的校正方法中具有不同之处。另外，由于除了这一点以外该图与图20相同，所以对于与图20共同的部分给出相同的附图标记，并且将不会重复其描述。当对被摄体进行成像(步骤S951)时，由暗电流值计算单元450计算图像产生像素的暗电流值和W像素的暗电流值(步骤S972)。接着，通过减去图像产生像素和W像素的暗电流值来校正正常像素、校正目标像素和W像素的暗电流(步骤S973)。这样，根据本公开的第二实施例，通过校正与白色像素相邻的图像产生像素的亮度值，可以校正与白色像素相邻的图像产生像素和与其不相邻的图像产生像素之间的特性的差异。换句话说，根据本公开的第二实施例，以与本公开的第一实施例相同的方式，可以适当地校正由包含图像产生像素和其它像素二者的成像元件所产生的图像数据。<3.第三实施例>在本公开的第一和第二实施例中，描述了包含校正系数计算单元300的成像装置的例子。这样，当成像装置包含校正系数计算单元300时，可以缩短制造过程中的与校正系数计算有关的时间。然而，由于仅仅在制造过程中执行校正系数计算单元300中的校正系数计算操作，所以可以在成像装置之外的算术处理装置中执行计算处理，并且，可以将结果的每一个校正系数记录在闪速ROM上。因此，在第三实施例中，将参照图25描述这样的例子其中，在成像装置之外的算术处理装置中执行校正系数的计算处理，并且，结果的每一个校正系数被记录在闪速ROM 上。[成像装置的功能配置例子]图25是示出根据本公开第三实施例的成像装置800的功能配置的例子的框图。成像装置800对应于图1中所示的成像装置100。然而，成像装置800不包含成像装置100包含的切换开关160和校正系数计算单元300。当在成像装置800中执行校正系数计算操作时，由外部算术处理装置获取由A/D 转换单元130数字化的图像数据，以计算暗电流校正系数、颜色混合校正系数和灵敏度校正系数。然后，将计算的三种校正系数和光量计算系数记录在闪速ROM 500上，并且校正系数计算操作结束。这样，根据本公开的第三实施例，以与本公开的第一和第二实施例相同的方式，可以适当地校正由包含图像产生像素和其它像素二者的成像元件所产生的图像数据。这样，根据本公开的实施例，可以适当地校正由包含图像产生像素和其它像素二者的成像元件所产生的图像数据。此外，在本公开的实施例中，在假设与其它像素(相差检测像素和白色像素)相邻的图像产生像素是R像素和Gr像素的情况下提供描述。然而，本公开不限于此，并且，在B 像素与其它像素相邻时可以以相同的方式应用本公开。此外，当B像素与其它像素相邻并且要计算颜色混合校正系数时，使用遮蔽用于校正的蓝光的滤波器(例如，B滤波器)来捕捉图像。另外，在本公开的实施例中，在假设图像产生像素中包含的滤色器是三种原色 (RGB)的滤色器的情况下提供描述，但是，所述滤色器不限于此。这些实施例可以被应用于在复合颜色的滤色器被包含在图像产生像素中的情况。另外，即使其中一个像素的区域检测可见光区的所有波长的光的像素(例如，在光轴方向上以重叠的方式布置用于蓝色的像素、用于绿色的像素和用于红色的像素的成像
30元件)是图像产生像素，本公开的实施例也可以以相同的方式被应用于此。作为这种情况， 例如，可以考虑这样的情况其中，其它像素是相差检测像素，并且，在相差检测像素和图像产生像素中不包含滤色器。在这种情况下，考虑了在与相差检测像素相邻的图像产生像素和与其不相邻的图像产生像素之间的产生的暗电流量和颜色混合量中出现差异。因此，在这种情况下，在校正系数计算操作中计算暗电流校正系数和颜色混合校正系数。另外，在校正操作中，使用计算的暗电流校正系数和颜色混合校正系数来校正与相差检测像素相邻的图像产生像素的暗电流和灵敏度。另外，在本公开的实施例中，在假设在其它像素(相差检测像素和白色像素)中不包含滤色器(可见光区中的所有波长的光透过)的情况下提供描述，但是，实施例不限于此。即使当另一像素的滤色器是使特定波长的光从其中透过的滤波器时，本公开的实施例也可以以相同的方式通过使用考虑了在计算颜色混合校正系数时的波长的滤色器来应用。另外，在本公开的实施例中，描述了这样的例子其中，仅仅与其它像素相邻的图像产生像素(其中在倾斜方面一个最近像素也包含另一像素的图像产生像素)被设置为校正目标像素，但是，实施例不限于此。当与其它像素具有特性差异的图像产生像素与其它相邻不相邻但被布置在与其它像素靠近的位置处时，本公开的实施例可以应用于这样的图像产生像素。例如，当其它像素是相差检测像素并且在与相差检测像素相隔两个或三个像素的图像产生像素的像素配置中出现变形时，通过使用暗电流校正系数校正像素的亮度值， 可以适当地校正产生的暗电流的量。另外，当也在与其它像素间隔两个或三个像素的图像产生像素中在入射到微透镜且光感测元件上感测的光量中出现差异(灵敏度差异)时，通过使用灵敏度校正系数校正像素的亮度值，可以适当地校正灵敏度。另外，相同的操作也可以被应用于颜色混合。此外，本公开的实施例用于示出实现本公开的例子，如本公开的实施例所阐明的， 本公开的实施例的各方面与权利要求的公开的特定方面具有对应的关系。以相同的方式， 权利要求中的公开的特定方面和与前述方面给出相同的标题的本公开实施例中的方面具有对应的关系。然而，本公开不限于这些实施例，并且可以在不脱离本公开的要旨的情况下通过实现对这些实施例的各种变型来实现。另外，本公开实施例中描述的处理的过程可以被理解为包含这样一系列过程的方法，并且，可以被理解为使得计算机执行该系列过程的程序或者存储该程序的记录介质。作为这样的记录介质，例如，可以使用CD (压缩盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡或蓝光盘(Blu-ray Disc，注册商标)等。本公开包含与于2010年10月27日提交在日本专利局的日本在先专利申请JP 2010-240227中公开的主题相关的主题，该专利申请的全部内容以引用的方式并入本文中。本领域的技术人员应该理解，根据设计要求和其它因素，可以想到各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内即可。
权利要求
1.一种图像处理装置，包括输入单元，该输入单元输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且所述图像数据包含由所述像素中的每一个产生的亮度值；以及颜色混合校正单元，该颜色混合校正单元基于输入的图像数据来校正颜色混合，使得基于与第一图像产生像素相邻的所述特定像素中的每一个的亮度值来计算由从所述特定像素泄露到第一图像产生像素的光导致的亮度的变化值，并且，基于计算的变化值执行对由泄露的光导致的第一图像产生像素的颜色混合的校正。
2.根据权利要求1所述的图像处理装置，其中，用于基于每一个所述特定像素的亮度值计算从所述特定像素泄露的光量的值被设置为光量计算系数，泄露的光量和亮度的变化值之间的相关值被设置为颜色混合校正系数，并且颜色混合校正单元通过以下方式来校正颜色混合基于光量计算系数和每一个所述特定像素的亮度值，计算从所述特定像素泄露到第一图像产生像素的光量；基于计算的光量和颜色混合校正系数，计算与第一图像产生像素有关的亮度的变化值；以及从第一图像产生像素的亮度值减去计算的亮度的变化值。
3.根据权利要求2所述的图像处理装置，还包括光量计算系数保持单元，该光量计算系数保持单元针对每一个第一图像产生像素保持和与第一图像产生像素相邻的所述特定像素中的每一个有关的光量计算系数；以及颜色混合校正系数保持单元，该颜色混合校正系数保持单元针对每一个第一图像产生像素保持颜色混合校正系数。
4.根据权利要求1所述的图像处理装置，还包括透过率校正单元，该透过率校正单元执行校正，使得第一透过值和第二透过值之间的相关值被设置为灵敏度校正系数，第一透过值是第一图像产生像素的亮度值当中的基于透过第一图像产生像素的滤色器的光的亮度值，第二透过值是具有与第一图像产生像素相同的光谱特性的滤色器的第二图像产生像素的亮度值当中的基于透过第二图像产生像素的滤色器的光的亮度值，颜色混合被校正了的第一图像产生像素的亮度值被设置为第一灵敏度值，并且，基于该亮度值和灵敏度校正系数，对入射到第一图像产生像素的微透镜且在光感测元件上感测到的光量和入射到第二图像产生像素的微透镜且在光感测元件上感测到的光量之间的差异执行校正。
5.根据权利要求1所述的图像处理装置，其中，具有与图像产生像素不同的配置的所述特定像素是用于通过相差检测执行聚焦确定的相差检测像素。
6.根据权利要求5所述的图像处理装置，其中，使用光学黑色区域计算的第二图像产生像素的暗电流值和第一图像产生像素的暗电流值之间的相关值被设置为暗电流校正系数，并且图像处理装置还包括暗电流校正单元，该暗电流校正单元通过如下方式来校正第一图像产生像素的暗电流基于与输入的图像数据有关的第二图像产生像素的暗电流值和暗电流校正系数来计算第一图像产生像素的暗电流值；以及从第一图像产生像素的亮度值减去计算的暗电流值。
7.根据权利要求1所述的图像处理装置，其中，具有与图像产生像素的滤色器不同的滤色器的所述特定像素是具有白色滤波器的像素，其中可见光区的波长的光透过所述白色滤波器。
8.根据权利要求1所述的图像处理装置，其中，在成像元件中，在与特定方向正交的正交方向上交替地布置第一像素组和第二像素组，第一像素组的所述特定像素被配置为在所述特定方向上布置，第二像素组的图像产生像素被配置为在所述特定方向上布置。
9.根据权利要求8所述的图像处理装置，其中，在成像元件中，图像产生像素在第二像素组中按照Bayer阵列的形式布置。
10.一种成像装置，包括成像元件，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且产生包含由每一个像素产生的亮度值的图像数据；以及颜色混合校正单元，该颜色混合校正单元基于产生的图像数据来校正颜色混合，使得基于与第一图像产生像素相邻的所述特定像素中的每一个的亮度值来计算由从所述特定像素泄露到第一图像产生像素的光导致的亮度的变化值，并且，基于计算的变化值执行对由泄露的光导致的第一图像产生像素的颜色混合的校正。
11.一种图像处理装置，包括输入单元，该输入单元输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且所述图像数据包含由所述像素中的每一个产生的亮度值；以及透过率校正单元，使用第一图像产生像素和具有与第一图像产生像素相同的光谱特性的滤色器的第二图像产生像素之间的入射到微透镜且在光感测元件上感测到的光量的差异的相关值，该透过率校正单元基于输入的图像数据来校正该光量的差异。
12.—种图像处理装置，包括输入单元，该输入单元输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且所述图像数据包含由所述像素中的每一个产生的亮度值；以及暗电流校正单元，该暗电流校正单元基于与输入的图像数据有关的第二图像产生像素的暗电流值和第一图像产生像素的暗电流值的相关值来校正输入的图像数据中的第一图像产生像素的暗电流。
13.一种图像处理方法，包括输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且所述图像数据包含由所述像素中的每一个产生的亮度值；以及基于输入的图像数据来校正颜色混合，使得基于与第一图像产生像素相邻的所述特定像素中的每一个的亮度值来计算由从所述特定像素泄露到第一图像产生像素的光导致的亮度的变化值，并且，基于计算的变化值执行对由泄露的光导致的第一图像产生像素的颜色混合的校正。
14. 一种程序，使得计算机执行下述步骤输入由成像元件产生的图像数据，该成像元件包含具有与用于产生图像的图像产生像素的滤色器不同的滤色器或者与图像产生像素的配置不同的配置的特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且所述图像数据包含由所述像素中的每一个产生的亮度值；以及基于输入的图像数据来校正颜色混合，使得基于与第一图像产生像素相邻的所述特定像素中的每一个的亮度值来计算由从所述特定像素泄露到第一图像产生像素的光导致的亮度的变化值，并且，基于计算的变化值执行对由泄露的光导致的第一图像产生像素的颜色混合的校正。
全文摘要
本公开涉及一种图像处理装置、该图像处理装置的处理方法、以及使得计算机执行该方法的程序。一种图像处理装置包括输入单元和颜色混合校正单元，该输入单元输入由成像元件产生的图像数据，该成像元件包含特定像素、作为与所述特定像素相邻的图像产生像素的第一图像产生像素、以及作为与所述特定像素不相邻的图像产生像素的第二图像产生像素，并且所述图像数据包含由所述像素中的每一个产生的亮度值，该颜色混合校正单元校正颜色混合，使得基于与第一图像产生像素相邻的所述特定像素中的每一个的亮度值来计算由从所述特定像素泄露到第一图像产生像素的光导致的亮度的变化值，并且，执行对由泄露的光导致的第一图像产生像素的颜色混合的校正。
文档编号G06T5/00GK102567962SQ20111031762
公开日2012年7月11日 申请日期2011年10月19日 优先权日2010年10月27日
发明者喜多光昭 申请人:索尼公司