固态成像器件、固态成像方法以及电子装置制造方法

固态成像器件、固态成像方法以及电子装置制造方法
【专利摘要】一种固态成像器件包括像素阵列和像素值校正单元。该像素阵列包括多个像素，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置。该像素值校正单元被配置成在从该像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值。
【专利说明】固态成像器件、固态成像方法以及电子装置
[0001]相关申请的交叉引用
[0002]本申请要求2013年7月11日提交的日本优先权专利申请JP2013-145913的权益，在此通过引用并入其全部内容。

【技术领域】
[0003]本公开涉及固态成像器件、固态成像方法以及电子装置，尤其涉及在能够在高动态范围中捕获图像的图像传感器中能够进行有效缺陷校正处理的固态成像器件、固态成像方法以及电子装置。

【背景技术】
[0004]过去，已经在从图像传感器输出的图像信号中校正了与有缺陷像素有关的像素信号。
[0005]有缺陷像素通常被分类成过度曝光加亮(有白点缺陷像素)和阻挡阴影(有黑点缺陷像素)。过度曝光加亮(有白点缺陷像素)恒定地输出具有极大值的像素信号。阻挡阴影(有黑点缺陷像素)恒定地输出具有极小值的像素信号。与这样的有缺陷像素有关的像素信号的校正处理，即，缺陷校正处理通过根据位于有缺陷像素周围的像素的像素信号计算和生成有缺陷像素的像素信号来进行。
[0006]进一步，例如，在拜耳(Bayer)阵列的像素阵列中，还提出了从颜色与有缺陷像素相同的像素中选择要用于有缺陷像素的校正的像素的技术(参见，例如，日本已公开专利申请第 2010-130238 号)。
[0007]此外，近年来，已经提出了放大图像传感器的动态范围的方法。例如，已经开发出了通过依照拜耳阵列的像素阵列中的像素的位置改变曝光时间，在高动态范围中获取图像的技术，所述高动态范围中的图像从低亮度的像素到高亮度的像素适当地显示。这样的高动态范围图像捕获方法包括SVE(随空间变化曝光)方法等。


【发明内容】

[0008]但是，在现有技术中校正有缺陷像素时，未考虑SVE方法的图像传感器的缺陷校正处理。
[0009]本公开就是鉴于这样的情况而作出的，希望允许能够在高动态范围中捕获图像的图像传感器可以进行有效缺陷校正处理。
[0010]按照本公开的第一实施例，提供了一种固态成像器件，其包括像素阵列和像素值校正单元。该像素阵列包括多个像素，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置。该像素值校正单元被配置成在从该像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值。
[0011]该像素阵列可以包括每一个具有相同曝光时间和相同曝光灵敏度之一以及逐行规则布置的多个像素。
[0012]该像素阵列可以包括多个像素，该多个像素包括每一个具有相同曝光时间和相同曝光灵敏度之一以及被规则布置成L形的一群像素的预定个像素。
[0013]该像素值校正单元可以被配置成将布置在该像素阵列中的多个像素中的一个感兴趣像素设置成该像素阵列的中心，提取包括预设个像素行的处理单位区域，以及为每个处理单位区域校正该感兴趣像素的像素值。
[0014]该处理单位区域可以包括五行。
[0015]该像素值校正单元可以包括饱和性确定单元、平坦性确定单元、方向检测单元、缺陷确定单元和缺陷校正单元。该饱和性确定单元可以被配置成根据该处理单位区域的像素当中输出最大像素值的像素的数量确定该处理单位区域是否达到饱和。该平坦性确定单元可以被配置成确定由该处理单位区域的像素形成的图像是否是无纹理的平坦图像。该方向检测单元可以被配置成当确定由该处理单位区域的像素形成的图像不是平坦图像时检测纹理的方向。该缺陷确定单元可以被配置成确定该感兴趣像素是否是有缺陷像素。该缺陷校正单元可以被配置成当确定该感兴趣像素是有缺陷像素时校正该感兴趣像素的像素值。
[0016]依照该饱和性确定单元的确定结果，通过不同方法，可以将该平坦性确定单元配置成确定该图像是否是平坦图像，以及可以将该方向检测单元配置成检测纹理的方向。
[0017]依照该平坦性确定单元的确定结果，通过不同方法，可以将该缺陷确定单元配置成确定该感兴趣像素是否是有缺陷像素，以及可以将该缺陷校正单元配置成校正该感兴趣像素的像素值。
[0018]该缺陷校正单元可以被配置成当确定由该处理单位区域的像素形成的图像不是平坦图像时，通过用根据纹理的检测方向选择的像素的像素值取代该感兴趣像素的像素值来校正该感兴趣像素的像素值。
[0019]在该像素阵列包括多个像素，该多个像素包括每一个具有相同曝光时间和相同曝光灵敏度之一以及被规则布置成L形的一群像素的预定个像素的情况下，以及当纹理的检测方向是垂直方向时，可以将该缺陷校正单元配置成通过线性内插生成根据纹理的方向选择的像素的像素值。
[0020]该缺陷校正单元可以被配置成根据依据通过线性内插生成的像素值确定的混合t匕，混合通过线性内插生成的像素值和该感兴趣像素的像素值。
[0021]该固态成像器件可以进一步包括增益相加单元，其被配置成将该处理单位区域的像素当中，具有第一曝光时间和第一曝光灵敏度之一的像素的像素值乘以预定增益，从而将具有第二曝光时间和第二曝光灵敏度之一的像素的像素值作为参考，归一化该处理单位区域的像素的像素值。
[0022]该固态成像器件可以包括分层式图像传感器，其包括布置像素阵列的第一芯片、以及包括实现该像素值校正单元的功能的电路的第二芯片。
[0023]按照本公开的第二实施例，提供了一种固态成像方法，其包括:在从像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置。
[0024]按照本公开的第三实施例，提供了一种电子装置，其包括固态成像器件，其包括像素阵列和像素值校正单元。该像素阵列包括多个像素，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置。该像素值校正单元被配置成在从该像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值。
[0025]在本公开第一到第三实施例中，在从像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置。
[0026]按照本公开，能够在高动态范围中捕获图像的图像传感器可以进行有效缺陷校正处理。
[0027]本公开的这些和其它目的、特征和优点将从如附图所例示的本公开的最佳方式实施例的如下详细描述中更显而易见。

【专利附图】

【附图说明】
[0028]图1是描述SVE(随空间变化曝光)方法中的行曝光阵列的图；
[0029]图2是描绘SVE方法中的均匀曝光阵列的图；
[0030]图3是示出按照本公开的实施例的图像处理设备的配置例子的框图；
[0031]图4是示出缺陷校正处理单元的详细配置例子的框图；
[0032]图5是示出行曝光阵列中的处理单位区域的例子的图；
[0033]图6是描述行曝光阵列中图4的平坦性确定单元的处理的图；
[0034]图7是描述行曝光阵列中图4的方向检测单元的处理的图；
[0035]图8是描述当处理单位区域达到饱和时图4的缺陷校正单元的处理的图；
[0036]图9是示出均匀曝光阵列中的处理单位区域的例子的图；
[0037]图10是描述均匀曝光阵列中图4的平坦性确定单元的处理的图；
[0038]图11是描述均匀曝光阵列中当感兴趣像素是G像素时图4的平坦性确定单元的处理的图；
[0039]图12是描述均匀曝光阵列中当处理单位区域未达到饱和时图4的缺陷校正单元的处理的图；
[0040]图13是描述均匀曝光阵列中当处理单位区域达到饱和时图4的方向检测单元的处理的图；
[0041]图14是描述均匀曝光阵列中当处理单位区域达到饱和时图4的缺陷校正单元的处理的图；
[0042]图15是描述混合校正候选值和感兴趣像素的像素值的方法的图；
[0043]图16A和16B的每一个是描述选择具有与感兴趣像素相同的颜色和曝光时间以及沿着垂直方向的像素所需的像素区域的图；
[0044]图17是描述行曝光阵列中的缺陷校正处理的例子的流程图；
[0045]图18是描述未饱和状态下的平坦性确定处理的例子的流程图；
[0046]图19是描述平坦状态下的缺陷确定处理的例子的流程图；
[0047]图20是描述平坦状态下的缺陷校正处理的例子的流程图；
[0048]图21是描述方向检测处理的例子的流程图；
[0049]图22是描述非平坦状态下的缺陷确定处理的例子的流程图；
[0050]图23是描述非平坦状态下的缺陷校正处理的例子的流程图；
[0051]图24是描述饱和状态下的缺陷确定处理的例子的流程图；
[0052]图25是描述饱和状态下的缺陷校正处理的例子的流程图；
[0053]图26是描述均匀曝光阵列中的缺陷校正处理的例子的流程图；
[0054]图27是描述饱和状态下的平坦性确定处理的例子的流程图；
[0055]图28是描述饱和和非平坦状态下的缺陷确定处理的例子的流程图；
[0056]图29是描述饱和和非平坦状态下的缺陷校正处理的例子的流程图；
[0057]图30是描述饱和和非平坦状态下的缺陷校正处理的例子的流程图；
[0058]图31是描述饱和和非平坦状态下的缺陷校正处理的例子的流程图；
[0059]图32是示出按照本公开的实施例的用作半导体设备的固态成像器件的配置例子的图；
[0060]图33是描述按照本公开的实施例的具有分层结构的图像传感器的工艺流程的图；以及
[0061]图34是示出应用了本公开的实施例的用作电子装置的成像装置的配置例子的框图。

【具体实施方式】
[0062]在下文中，将参考附图描述本文要公开的技术的实施例。
[0063]图1和2的每一个是示出采用SVE (随空间变化曝光)方法的图像传感器的像素阵列的平面图的例子的图。SVE是通过依照拜耳阵列的像素阵列中的像素的位置改变曝光时间，在高动态范围中获取图像的技术，所述高动态范围中的图像从低亮度的像素到高亮度的像素适当地显示。
[0064]在图1和2的例子中，假设带阴影的每个像素是短时间曝光像素，以及假设不带阴影的每个像素是长时间曝光像素。
[0065]在图1和2的配置中，曝光阵列相互不同。具体地说，短时间曝光像素的阵列图案和长时间曝光像素的阵列图案相互不同。
[0066]在图1的配置中，假设从顶部开始的两行中的像素是短时间曝光像素，假设紧接在那两行下面的两行中的像素是长时间曝光像素，假设更下面的两行中的像素是短时间曝光像素，以及假设更下面的两行中的像素是长时间曝光像素。具体地说，在像素阵列中逐行地规则排列着具有相同曝光时间的像素。显示在图1中的曝光阵列也被称为行曝光阵列。
[0067]在图2的配置中，在拜耳阵列的像素阵列中各个颜色的短时间曝光像素和长时间曝光像素被安排成空间均匀的。在本例中，短时间曝光像素和长时间曝光像素被规则安排成L形的多个像素群，每个群包括R、G、G和B的4个像素。显示在图2中的曝光阵列也被称为均匀曝光阵列。
[0068]图3是示出按照本公开的实施例的图像处理设备10的配置例子的框图。图像处理设备10将与从SVE方法的图像传感器输出的图像信号相对应的图像用作输入图像，以便在高动态范围中生成和输出输出图像。
[0069]进一步，如后所述，图像处理设备10被安装在分层式图像传感器中的所谓下芯片上，与SVE方法的图像传感器的传感器芯片整体地形成。
[0070]在本例中，图像处理设备10包括缺陷校正处理单元21、高动态范围(HDR)组合处理单元22和灰度级转换处理单元23。
[0071]缺陷校正处理单元21是校正输入图像中的有缺陷像素的像素值的块。缺陷校正处理单元21适当地校正排列在行曝光阵列或均匀曝光阵列中的每个像素的像素值。
[0072]HDR组合处理单元22是从由排列在行曝光阵列或均匀曝光阵列中的像素形成的一个输入图像中生成暗区的图像和亮区的图像，并组合那些图像的块。具体地说，HDR组合处理单元22生成长时间曝光像素的像素值用于使图像中的暗区清楚显示的暗区的图像、和短时间曝光像素的像素值用于使图像中的亮区清楚显示的亮区的图像。随后，HDR组合处理单元22组合暗区和亮区的那些图像。
[0073]例如，灰度级转换处理单元23是进行调整HDR组合处理单元22组合的图像的像素值的位数的灰度级转换处理的块。
[0074]接着，将详细描述缺陷校正处理单元21进行的处理。图4是示出缺陷校正处理单元21的详细配置例子的框图。
[0075]缺陷校正处理单元21假设排列在图像传感器的像素阵列的有效区中的每个像素是感兴趣像素。在感兴趣像素是有缺陷像素的情况下，缺陷校正处理单元21通过使用另一个像素的像素信号生成感兴趣像素的像素信号。在本例中，缺陷校正处理单元21包括增益校正单元41、饱和性确定单元42、平坦性确定单元43、方向检测单元44、缺陷确定单元45和缺陷校正单元46。
[0076]尽管后面会描述细节，但增益校正单元41是主要在长时间曝光像素和短时间曝光像素混合在SVE方法的图像传感器的像素阵列中的状况下，乘以增益以便将短时间曝光像素的像素值与长时间曝光像素的像素值相比较的功能块。
[0077]饱和性确定单元42是主要确定像素阵列中的预定区域是否由于强光的接收等达到饱和的功能块。在SVE方法的图像传感器的像素阵列中，存在长时间曝光像素，因此，当接收到强光时，长时间曝光像素的像素值达到最大值，并且可能出现未获得与接收光量相对应的正确像素值的状态(饱和状态)。
[0078]平坦性确定单元43是主要确定在与像素阵列中的预定区域中接收的光相对应的图像中是否包含纹理等(具体地说，图像是否不平坦)的功能块。
[0079]方向检测单元44是在平坦性确定单元43确定在与像素阵列中的预定区域中接收的光相对应的图像中包含纹理等的情况下检测纹理的方向的功能块。
[0080]缺陷确定单元45是主要确定感兴趣像素是否是有缺陷像素的功能块。应当注意至IJ，有缺陷像素通常被分类成恒定地输出具有极大值的像素信号的过度曝光加亮(有白点缺陷像素)，或被分类成恒定地输出具有极小值的像素信号的阻挡阴影(有黑点缺陷像素)。
[0081]缺陷校正单元46是通过使用另一个像素的像素值，主要校正被缺陷确定单元45确定为有缺陷像素的感兴趣像素的像素值的功能块。
[0082]应当注意到，缺陷校正处理单元21在行曝光阵列与均匀曝光阵列之间进行不同处理，但这里，将首先描述行曝光阵列中的处理。
[0083](行曝光阵列中的缺陷校正处理单元21的处理)
[0084]增益校正单元41对输入图像的像素值进行调整曝光时间的差异引起的差异的校正。
[0085]具体地说，输入图像的像素值对应于从SVE方法的图像传感器输出的图像信号，因此混合了短时间曝光像素的像素值和长时间曝光像素的像素值。例如，增益校正单元41将短时间曝光像素的像素值乘以如(长时间曝光像素的像素值/短时间曝光像素的像素值)计算的增益。这使短时间曝光像素的像素值可以校正成与长时间曝光相对应的像素值。换句话说，增益校正单元41的处理根据长时间曝光像素的像素值，将混合了短时间曝光像素的像素值和长时间曝光像素的像素值的输入图像的像素值归一化。
[0086]饱和性确定单元42针对作为含有以感兴趣像素为中心的预定个像素的区域的处理单位区域确定像素值是否达到饱和。具体来说，饱和性确定单元42确定处理单位区域是否对应于图像中的特别亮区域。
[0087]图5是示出处理单位区域的例子的图。由拜耳阵列的像素阵列中的25( = 5X5)个像素形成的区域是处理单位区域。在图5的例子中，感兴趣像素用标记X指示，在本例中是红色(R)长时间曝光像素。
[0088]饱和性确定单元42在由以感兴趣像素为中心的25个像素形成的处理单位区域中指定像素值是最大值的像素的数量。这里，像素值是最大值的像素指的是，例如，具有在像素值用由预定位数形成的数字数据表达的情况下，可以用预定位数表达的最大值的像素。例如，当用8位的数字数据表达时，最大值是255。具体地说，这里，当单位时间的接收光量太大以致于无法通过光电转换以电荷形式输出所有接收光时，将这种状态称为饱和。
[0089]在像素值是最大值的像素的数量大于等于预定阈值的情况下，饱和性确定单元42确定处理单位区域达到饱和。例如，在像素值是最大值的像素的数量是3个(阈值)或更多的情况下，饱和性确定单元42确定处理单位区域达到饱和。这里，阈值被设置成3。这是因为，考虑到感兴趣像素是有白点缺陷像素的情况，处理单位区域是否达到饱和可以根据除了感兴趣像素之外的其它两个像素是否具有最大值来确定。
[0090]应当注意到，从平坦性确定单元43到缺陷校正单元46的处理随饱和性确定单元42的确定结果而不同。例如，在饱和性确定单元42确定处理单位区域达到饱和的情况下，不进行平坦性确定单元43的确定和方向检测单元44的方向检测。这是因为难以确定饱和处理单位区域是否是原来包含纹理的区域。
[0091]这里，将描述在饱和性确定单元42首先确定处理单位区域未达到饱和的情况下，从平坦性确定单元43到缺陷校正单元46的处理的例子。
[0092](在行曝光阵列中处理单位区域未达到饱和的情况)
[0093]平坦性确定单元43确定处理单位区域是否是平坦的。例如，在处理单位区域是图像中有纹理的部分的情况下，平坦性确定单元43确定处理单位区域是不平坦的。
[0094]平坦性确定单元43将感兴趣像素的像素值与处理单位区域中具有与感兴趣像素相同的颜色的像素的像素值中的最大或最小值相比较，并确定感兴趣像素的像素值是否大于或小于最大或最小值。例如，在感兴趣像素是如图6所示，R长时间曝光像素的情况下，平坦性确定单元43在处理单位区域中指定用圆圈指示的8个R像素(&到1?7)的最大值或最小值。在感兴趣像素的像素值大于&到R7的像素值的最大值的情况下，假设感兴趣像素是有白点缺陷像素的候选者，并对其设置预定标志等。进一步，在感兴趣像素的像素值小于R0到R7的像素值的最小值的情况下，假设感兴趣像素是有黑点缺陷像素的候选者，并对其设置预定标志等。
[0095]另外，平坦性确定单元43计算处理单位区域的平均偏差。例如，在图6的例子中，平坦性确定单元43通过如下表达式(1)计算&到R7的像素值的平均值“ave_area”，并使用该计算结果，通过如下表达式(2)计算处理单位区域的平均偏差“Std_area”。

1 7
[0096]ave_area = -5- Σ Rj

δ '=0...(1)

1 7
[0097]std_area = -5- Σ || ave_area-Rj ||
? i=0...(2)
[0098]在通过表达式⑵计算的平均偏差“Std_area”小于预设阈值的情况下，平坦性确定单元43确定处理单位区域是平坦的。在平均偏差“Std_area”大于等于预设阈值的情况下，平坦性确定单元43确定处理单位区域是不平坦的。
[0099]如上所述，在饱和性确定单元42确定处理单位区域达到饱和的情况下，不进行平坦性确定单元43的确定。
[0100]在确定处理单位区域不平坦的情况下，方向检测单元44检测包括在处理单位区域中的纹理(图案)的方向。
[0101]方向检测单元44提取方向检测区域。方向检测区域由35( = 7X5)个像素形成，通过将处理单位区域的左右端扩展一个像素而获得。方向检测单元44在方向检测区域中计算15个具有相同颜色的相邻像素之间的差的绝对值。那时，如图7所示，方向检测单元44沿着4个方向，即，水平方向、垂直方向、+45°方向、和-45°方向的每一个方向计算具有相同颜色的相邻像素之间的15个差的绝对值。
[0102]图7是在左上部分中示出在方向检测区域中计算具有相同颜色和沿着水平方向相邻的像素之间的差的绝对值的例子的图。如图7的左上部分中的水平箭头所指，示出了每一组具有相同颜色的15组像素。
[0103]图7是在右上部分中示出在方向检测区域中计算具有相同颜色和沿着垂直方向相邻的像素之间的差的绝对值的例子的图。如图7的右上部分中的垂直箭头所指，示出了每一组具有相同颜色的15组像素。
[0104]图7是在左下部分中示出在方向检测区域中计算具有相同颜色和沿着+45°方向相邻的像素之间的差的绝对值的例子的图。如图7的左下部分中沿着+45°方向的箭头所指，示出了每一组具有相同颜色的15组像素。
[0105]图7是在右下部分中示出在方向检测区域中计算具有相同颜色和沿着-45°方向相邻的像素之间的差的绝对值的例子的图。如图7的右下部分中沿着-45°方向的箭头所指，示出了每一组具有相同颜色的15组像素。
[0106]接着，为了消除该区域中的有缺陷像素的影响，方向检测单元44在每个方向中从15个差的绝对值中选择11个差的低阶绝对值。具体地说，由于使用有缺陷像素的像素值得出的差的绝对值没有意义，所以消除4个差的高阶绝对值，以便除去使用有缺陷像素的像素值得出的差的绝对值。这里，考虑到在方向检测区域中作为有缺陷像素的感兴趣像素和另一个像素(总共2个像素)，消除了 4个差的高阶绝对值。
[0107]方向检测单元44计算每个方向中11个差的绝对值的平均值。
[0108]这里，将沿着水平方向的11个差的绝对值的平均值和沿着垂直方向的11个差的绝对值的平均值的每一个乘以V 2。这是因为沿着水平方向或垂直方向的相邻像素之间的距离小于沿着+45°方向或-45°方向的相邻像素之间的距离，所以消除这样的影响。
[0109]另外，方向检测单元44选择与各个方向相对应的4个平均值的最小值，并检测与最小值相对应的方向作为纹理的方向。
[0110]如上所述，在饱和性确定单元42确定处理单位区域达到饱和的情况下，不进行方向检测单元44的方向检测。
[0111]缺陷确定单元45确定感兴趣像素是否是有缺陷像素。
[0112]缺陷确定单元45首先计算用于缺陷确定的阈值。应该注意到，缺陷确定单元45根据平坦性确定单元43的确定结果计算阈值。在平坦性确定单元43确定处理单位区域平坦的情况下，缺陷确定单元45通过如下表达式(3)计算阈值。
[0113]Th1 = a xVave_area +b ⑶
[0114]应该注意到，表达式⑶中的“a”和“b”是参数，并且随R。到&的像素值的平均值“ave_area”的幅度而变。
[0115]另一方面，在平坦性确定单元43确定处理单位区域不平坦的情况下，缺陷确定单元45通过如下表达式(4)计算阈值。
[one] Th2 = a x/avelarea +b x grad+c ⑷
[0117]应该注意到，表达式⑷中的“a”、“b”和“c”是参数，随用于检测纹理的方向的最小值“grad”的幅度而变。
[0118]在处理单位区域是平坦的以及感兴趣像素是有白点缺陷像素的候选者的情况下，缺陷确定单元45确定图6的&到R7的最大值与感兴趣像素之间的差的绝对值是否大于等于上述阈值。在&到R7的最大值与感兴趣像素之间的差的绝对值大于等于上述阈值的情况下，缺陷确定单元45确定感兴趣像素是有白点缺陷像素。在Ro到R7的最大值与感兴趣像素之间的差的绝对值小于该阈值的情况下，缺陷确定单元45确定感兴趣像素不是有缺陷像素。
[0119]进一步，在处理单位区域是平坦的以及感兴趣像素是有黑点缺陷像素的候选者的情况下，缺陷确定单元45确定图6的&到R7的最小值与感兴趣像素之间的差的绝对值是否大于等于上述阈值。在&到R7的最小值与感兴趣像素之间的差的绝对值大于等于上述阈值的情况下，缺陷确定单元45确定感兴趣像素是有黑点缺陷像素。在&到R7的最小值与感兴趣像素之间的差的绝对值小于该阈值的情况下，缺陷确定单元45确定感兴趣像素不是有缺陷像素。
[0120]另外，在处理单位区域不平坦的情况下，缺陷确定单元45确定感兴趣像素的像素值与处理单位区域中具有相同颜色的像素(例如，图6中的&到R7)的像素值的平均值之间的差是否大于等于上述阈值。
[0121]在该差大于等于该阈值的情况下，缺陷确定单元45确定感兴趣像素是有缺陷像素。在该差小于该阈值的情况下，缺陷确定单元45确定感兴趣像素不是有缺陷像素。另外，在确定感兴趣像素是有缺陷像素的情况下，当感兴趣像素的像素值大于处理单位区域中具有相同颜色的像素的像素值的平均值时，确定感兴趣像素是有白点缺陷像素，而当感兴趣像素的像素值小于处理单位区域中具有相同颜色的像素的像素值的平均值时，确定感兴趣像素是有黑点缺陷像素。
[0122]在处理单位区域是平坦的以及当缺陷确定单元45确定感兴趣像素是有缺陷像素时的情况下，缺陷校正单元46通过用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素的像素值取代感兴趣像素的像素值来进行校正。
[0123]例如，在图6中感兴趣像素被确定为有白点缺陷像素的情况下，缺陷校正单元46用图6中的R3和R4的像素值的较大一个取代感兴趣像素的像素值。
[0124]进一步，例如，在图6中感兴趣像素被确定为有黑点缺陷像素的情况下，缺陷校正单元46用图6中的R3和R4的像素值的较小一个取代感兴趣像素的像素值。
[0125]另外，在处理单位区域是不平坦的以及当缺陷确定单元45确定感兴趣像素是有缺陷像素时的情况下，缺陷校正单元46根据方向检测单元44检测到的纹理的方向取代像素值。
[0126]具体地说，在纹理的方向是水平方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的R3和R4的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的R3和R4的像素值的较小一个取代感兴趣像素的像素值。进一步，在纹理的方向是垂直方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的&和R6的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的&和R6的像素值的较小一个取代感兴趣像素的像素值。另外，在纹理的方向是+45°方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的R2和R5的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的R2和R5的像素值的较小一个取代感兴趣像素的像素值。另外，在纹理的方向是-45°方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的&和R7的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的R。和R7的像素值的较小一个取代感兴趣像素的像素值。
[0127]应该注意到，图6中的&到R2的像素和R5到R7的像素具有与感兴趣像素的曝光时间不同的曝光时间，但如上所述，通过增益校正单元41的处理，根据长时间曝光像素的像素值来归一化处理单位区域中的像素值。因此，R。到R2的像素和R5到R7的像素可以用于取代。
[0128]但是，在感兴趣像素是短时间曝光像素的情况下，缺陷校正单元46将根据纹理的方向取代的像素值乘以如(短时间曝光像素的像素值/长时间曝光像素的像素值)计算的增益，因此消除了增益校正单元41的校正影响。
[0129]在饱和性确定单元42确定处理单位区域未达到饱和的情况下，以上述方式确定感兴趣像素是否是有缺陷像素，并校正在感兴趣像素是有缺陷像素的情况下的像素值。
[0130](行曝光阵列中处理单位区域达到饱和的情况)
[0131]同时，在饱和性确定单元42确定处理单位区域达到饱和的情况下，缺陷确定单元45计算在以感兴趣像素为中心的同时沿着水平方向排列的9个像素的动态范围。例如，提取由显示在图8中的9(1X9)个像素形成的区域作为动态范围检测区域。应该注意到，当饱和性确定单元42确定处理单位区域达到饱和时，进行使用增益校正单元41校正之前的像素值的计算。
[0132]对于图8中具有与感兴趣像素相同的颜色和用圆圈指示的像素(在本例中，R像素)，缺陷确定单元45计算4个如图8中的箭头所指的相邻的那些像素的像素值之间的差的绝对值，并计算4个差的绝对值中的动态范围。进一步，缺陷确定单元45计算具有与感兴趣像素的颜色不同的颜色的像素(在本例中，G像素)的像素值的动态范围。
[0133]在本例中，已经描述了感兴趣像素是R像素的情况，但是，在感兴趣像素是G像素的情况下，R像素被选成具有与感兴趣像素的颜色不同的颜色的像素。进一步，在感兴趣像素是B像素的情况下，G像素被选成具有与感兴趣像素的颜色不同的颜色的像素。
[0134]随后，缺陷确定单元45计算图8中具有与感兴趣像素相同的颜色和用圆圈指示的像素的像素值的平均值的平方根，并适当地乘以参数或加上参数，以便将所得值设置成用于缺陷确定的阈值。由于如后所述将第一到第三条件用于阈值，所以利用改变的参数计算三个阈值。
[0135]在满足所有如下三个条件的情况下，缺陷确定单元45确定感兴趣像素是有白点缺陷像素。
[0136]第一条件如下:感兴趣像素的像素值大于图8中具有相同颜色和用圆圈指示的4个像素的像素值中的次最大像素值，以及感兴趣像素的像素值与图8中用圆圈指示的4个像素的像素值中的次最大像素值之间的差大于阈值。
[0137]考虑到具有相同颜色的有缺陷像素像，例如，有缺陷像素、无缺陷像素、有缺陷像素.......的顺序那样交替存在的情况，不将感兴趣像素的像素值与最大像素值之间的差与阈值相比较，而是将感兴趣像素的像素值与次最大像素值之间的差与阈值相比较。
[0138]第二条件如下:图8中具有与感兴趣像素相同的颜色和用圆圈指示的相邻像素的像素值之间的差的绝对值中的动态范围大于阈值。
[0139]第三条件如下:显示在图8中具有与感兴趣像素的颜色不同的颜色的像素(在图8中，G像素)的像素值的动态范围小于阈值。
[0140]在满足上述所有第一到第三条件的情况下，确定感兴趣像素是有白点缺陷像素。
[0141]进一步，在满足所有如下三个条件的情况下，缺陷确定单元45确定感兴趣像素是有黑点缺陷像素。
[0142]第一条件如下:感兴趣像素的像素值小于图8中具有相同颜色和用圆圈指示的4个像素的像素值中的次最小像素值，以及感兴趣像素的像素值与图8中用圆圈指示的4个像素的像素值中的次最小像素值之间的差大于阈值。
[0143]第二和第三条件与有白点缺陷像素的那些条件相同，因此省略其详细描述。
[0144]在满足上述所有第一到第三条件的情况下，确定感兴趣像素是有黑点缺陷像素。
[0145]在感兴趣像素是有白点缺陷像素的情况下，缺陷校正单元46用图8中用圆圈指示的4个像素的像素值中的次最大像素值取代感兴趣像素的像素值。进一步，在感兴趣像素是有黑点缺陷像素的情况下，缺陷校正单元46用图8中用圆圈指示的4个像素的像素值中的次最小像素值取代感兴趣像素的像素值。
[0146]在饱和性确定单元42确定处理单位区域达到饱和的情况下，以上述方式确定感兴趣像素是否是有缺陷像素，并校正在感兴趣像素是有缺陷像素的情况下的像素值。
[0147]这样，缺陷校正处理单元21校正了有缺陷像素的像素值。
[0148]接着，对在均匀曝光阵列的情况下缺陷校正处理单元21的处理加以描述。均匀曝光阵列的情况与行曝光阵列的情况的不同之处在于，当处理单位区域达到饱和时，进行平坦性确定单元43的确定和方向检测单元44的方向检测。
[0149](均匀曝光阵列中的缺陷校正处理单元21的处理)
[0150]与行曝光阵列一样，增益校正单元41对输入图像的像素值进行调整曝光时间的差异引起的差异的校正。
[0151]与行曝光阵列一样，饱和性确定单元42针对作为含有以感兴趣像素为中心的预定个像素的区域的处理单位区域确定像素值是否达到饱和。具体来说，饱和性确定单元42确定处理单位区域是否对应于图像中的特别亮区域。
[0152]图9是示出均匀曝光阵列中的处理单位区域的例子的图。在本例中，由拜耳阵列的像素阵列中的25( = 5X5)个像素形成的区域是处理单位区域。在图9的例子中，感兴趣像素用标记X指示，在本例中是红色(R)长时间曝光像素。
[0153]在像素值是最大值的像素的数量大于等于预设阈值的情况下，饱和性确定单元42确定处理单位区域达到饱和。例如，在像素值是最大值的像素的数量是3个(阈值)或更多的情况下，饱和性确定单元42确定处理单位区域达到饱和。
[0154]应当注意到，在均匀曝光阵列中，从平坦性确定单元43到缺陷校正单元46的处理也随饱和性确定单元42的确定结果而不同。
[0155]这里，将描述在饱和性确定单元42首先确定处理单位区域未达到饱和的情况下，从平坦性确定单元43到缺陷校正单元46的处理的例子。
[0156](在均匀曝光阵列中处理单位区域未达到饱和的情况)
[0157]平坦性确定单元43确定处理单位区域是否是平坦的。例如，在处理单位区域是图像中有纹理的部分的情况下，平坦性确定单元43确定处理单位区域是不平坦的。
[0158]与行曝光阵列一样，平坦性确定单元43将感兴趣像素的像素值与处理单位区域中具有与感兴趣像素相同的颜色的像素的像素值中的最大值或最小值相比较，并确定感兴趣像素的像素值是否大于或小于最大或最小值。例如，在感兴趣像素是如图10所示，R长时间曝光像素的情况下，平坦性确定单元43在处理单位区域中指定用圆圈指示的8个R像素(&到&)的最大值或最小值。在感兴趣像素的像素值大于&到&的像素值中的最大值的情况下，假设感兴趣像素是有白点缺陷像素的候选者，并对其设置预定标志等。进一步，在感兴趣像素的像素值小于&到R7的像素值中的最小值的情况下，假设感兴趣像素是有黑点缺陷像素的候选者，并对其设置预定标志等。
[0159]另外，如行曝光阵列中那样，平坦性确定单元43计算处理单位区域的平均偏差。
[0160]在计算的平均偏差“std_area”小于预设阈值的情况下，平坦性确定单元43确定处理单位区域是平坦的。在平均偏差“Std_area”大于等于预设阈值的情况下，平坦性确定单元43确定处理单位区域是不平坦的。
[0161]但是，在均匀曝光阵列中，当感兴趣像素是G像素时，假设如图11所示地将具有与感兴趣像素相同的颜色的像素布置在处理单位区域中。具体地说，在处理单位区域中，具有与感兴趣像素相同的颜色的所有像素具有相同的曝光时间(在本例中，短时间曝光像素)。
[0162]因此，当感兴趣像素是G像素时，进行使用增益校正单元41校正之前的像素值的计算。由于那个原因，在均匀曝光阵列中，准备了三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值作为用于确定处理单位区域是否平坦的阈值。
[0163]在确定处理单位区域不平坦的情况下，如行曝光阵列中那样，方向检测单元44确定处理单位区域中包括的纹理(图案)的方向。
[0164]在处理单位区域平坦的情况和处理单位区域不平坦的情况的每一种下，如行曝光阵列中那样，缺陷确定单元45确定感兴趣像素是否是有缺陷像素。但是，当计算用于缺陷确定的阈值时，缺陷确定单元45计算三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值。
[0165]如行曝光阵列中那样，在处理单位区域平坦的情况下以及当缺陷确定单元45确定感兴趣像素是有缺陷像素时，缺陷校正单元46通过用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素的像素值取代感兴趣像素的像素值进行校正。
[0166]在均匀曝光阵列中，当感兴趣像素是R像素时，将图10中的、或R7用作要取代的像素，而当感兴趣像素是G像素时，将图11中的&到67用作要取代的像素。应当注意到，当感兴趣像素是B像素时，如感兴趣像素是R像素的情况下那样，使用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素。
[0167]另外，如行曝光阵列中那样，在处理单位区域不平坦的情况下以及当缺陷确定单元45确定感兴趣像素是有缺陷像素时，缺陷校正单元46根据方向检测单元44检测到的纹理的方向取代像素值。
[0168]在饱和性确定单元42确定处理单位区域未达到饱和的情况下，以上述方式确定感兴趣像素是否是有缺陷像素，并校正在感兴趣像素是有缺陷像素的情况下的像素值。
[0169](均匀曝光阵列中处理单位区域达到饱和的情况)
[0170]同时，在校正与均匀曝光阵列有关的有缺陷像素的处理中，当饱和性确定单元42确定处理单位区域达到饱和时，也进行平坦性确定单元43的处理和方向检测单元44的处理。
[0171]在感兴趣像素是G像素的情况下，如行曝光阵列中那样，平坦性确定单元43确定处理单位区域是否是平坦的。
[0172]另一方面，在感兴趣像素是R或B像素的情况下，平坦性确定单元43确定感兴趣像素的像素值是否大于或小于，例如，图12中具有与感兴趣像素相同的颜色和曝光时间和用圆圈指示的4个像素的像素值中的最大或最小值。在感兴趣像素的像素值大于4个像素的像素值中的最大值的情况下，假设感兴趣像素是有白点缺陷像素的候选者，并对其设置预定标志等。进一步，在感兴趣像素的像素值小于4个像素的像素值中的最小值的情况下，假设感兴趣像素是有黑点缺陷像素的候选者，并对其设置预定标志等。
[0173]应当注意到，作为例子，图12示出了感兴趣像素是R长时间曝光像素的情况，但对于感兴趣像素是R短时间曝光像素、B长时间曝光像素、或B短时间曝光像素的情况，同样如此。
[0174]另外，平坦性确定单元43计算处理单位区域的平均偏差。例如，在图10的例子中，平坦性确定单元43通过如下表达式(5)计算、和R7的像素值的平均值“ave_area”，并使用该计算结果，通过如下表达式(6)计算处理单位区域的平均偏差“Std_area”。

1 3
[0175]ave_area = -τ Σ R,

4 i=o ,..(5)

1 3
[0176]std_area = τ Σ || ave_area-Rj ||
4 i=0...(6)
[0177]在通过表达式(6)计算的平均偏差“Std_area”小于预设阈值的情况下，平坦性确定单元43确定处理单位区域是平坦的。在平均偏差“Std_area”大于等于预设阈值的情况下，平坦性确定单元43确定处理单位区域是不平坦的。
[0178]应当注意到，在均匀曝光阵列中，当处理单位区域达到饱和时，准备了 4个阈值，即，有关R或B长时间曝光像素的阈值、有关R或B短时间曝光像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值作为用于确定处理单位区域是否平坦的阈值。
[0179]在确定处理单位区域不平坦的情况下，方向检测单元44确定处理单位区域中包括的纹理(图案)的方向。
[0180]在这种情况下，由于认为长时间曝光像素达到饱和，所以进行只使用G短时间曝光像素的方向检测。
[0181]方向检测单元44提取方向检测区域，该方向检测区域由35( = 7X5)个像素形成，并通过将处理单位区域的左右端扩展一个像素而获得。方向检测单元44在方向检测区域中计算相邻G像素之间的差的绝对值。那时，如图13所示，方向检测单元44沿着4个方向，即，水平方向、垂直方向、+45°方向、和-45°方向的每一个方向计算相邻G像素之间的差的绝对值。
[0182]图13是在左上部分中示出在方向检测区域中计算沿着水平方向相邻的G像素之间的差的绝对值的例子的图。如图13的左上部分中的水平箭头所指，示出了 9组G像素。
[0183]图13是在右上部分中示出在方向检测区域中计算沿着垂直方向相邻的G像素之间的差的绝对值的例子的图。如图13的右上部分中的垂直箭头所指，示出了 8组G像素。
[0184]图13是在左下部分中示出在方向检测区域中计算沿着+45°方向相邻的G像素之间的差的绝对值的例子的图。如图13的左下部分中沿着+45°方向的箭头所指，示出了 6组G像素。
[0185]图13是在右下部分中示出在方向检测区域中计算沿着-45°方向相邻的G像素之间的差的绝对值的例子的图。如图13的右下部分中沿着-45°方向的箭头所指，示出了 6组G像素。
[0186]接着，为了消除该区域中的有缺陷像素的影响，方向检测单元44在每个方向中从差的绝对值中选择4个差的低阶绝对值。具体地说，由于使用有缺陷像素的像素值得出的差的绝对值没有意义，所以消除差的高阶绝对值，以便除去使用有缺陷像素的像素值得出的差的绝对值。
[0187]方向检测单元44计算每个方向中4个差的绝对值的平均值。
[0188]这里，将沿着水平方向的4个差的绝对值的平均值和沿着垂直方向的4个差的绝对值的平均值的每一个乘以V 2。这是因为沿着水平方向或垂直方向的相邻像素之间的距离小于沿着+45°方向或-45°方向的相邻像素之间的距离，所以消除这样的影响。
[0189]另外，方向检测单元44选择与各个方向相对应的4个平均值的最小值，并检测与最小值相对应的方向作为纹理的方向。
[0190]在图13的例子中，在感兴趣像素是G短时间曝光像素或B像素的情况下，当提取由G短时间曝光像素的数量变成最大的35( = 7X5)个像素形成的区域时，感兴趣像素的位置没有来到该区域的中心。在这样的情况下，使用使处在感兴趣像素左边的像素在中心上的方向检测的结果。
[0191]在处理单位区域平坦的情况下，如行曝光阵列中那样，缺陷确定单元45确定感兴趣像素是否是有缺陷像素。但是，在均匀曝光阵列中，当计算用于缺陷确定的阈值时，缺陷确定单元45计算三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值。
[0192]进一步，在处理单位区域不平坦的情况下，缺陷确定单元45按如下确定感兴趣像素是否是有缺陷像素。
[0193]具体地说，当计算用于缺陷确定的阈值时，缺陷确定单元45通过使用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素的平均值，以及使用与方向检测单元44检测到的方向相对应的平均值(4个差的绝对值的平均值)计算阈值。例如，在感兴趣像素是R或B像素的情况下，缺陷确定单元45通过使用图10中处在用白色表达的位置上和用圆圈指示的4个像素的像素值的平均值的平方根，以及使用与方向检测单元44检测到的方向相对应的平均值计算阈值。另一方面，在感兴趣像素是G像素的情况下，缺陷确定单元45通过使用图11中处在用圆圈指示的位置上的8个像素的像素值的平均值的平方根，以及使用与方向检测单元44检测到的方向相对应的平均值计算阈值。
[0194]但是，当计算用于缺陷确定的阈值时，缺陷确定单元45计算三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值。
[0195]在感兴趣像素是R或B像素的情况下以及当感兴趣像素的像素值与图10中处在用白色表达的位置上和用圆圈指示的4个像素的像素值的平均值之间的差大于等于阈值时，缺陷确定单元45确定感兴趣像素是有缺陷像素。进一步，在感兴趣像素是G像素的情况下以及当感兴趣像素的像素值与图11中处在用圆圈指示的位置上的8个像素的像素值的平均值之间的差大于等于阈值时，缺陷确定单元45确定感兴趣像素是有缺陷像素。
[0196]如行曝光阵列中那样，在处理单位区域平坦的情况下以及当缺陷确定单元45确定感兴趣像素是有缺陷像素时，缺陷校正单元46通过用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素的像素值取代感兴趣像素的像素值进行校正。
[0197]另一方面，在处理单位区域不平坦的情况下，缺陷校正单元46进行取决于感兴趣像素是G像素还是感兴趣像素是R或B像素的不同处理。
[0198]在感兴趣像素是G像素的情况下，缺陷校正单元46根据方向检测单元44检测到的纹理的方向，从图11中处在用圆圈指示的位置上的8个像素中选择两个像素。
[0199]具体地说，在纹理的方向是水平方向的情况下，选择图11中的63和64。进一步，在纹理的方向是垂直方向的情况下，选择图11中的Gi和66。更进一步，在纹理的方向是+45°方向的情况下，选择图11中的62和65。另外，在纹理的方向是-45°方向的情况下，选择图11中的G。和G7。
[0200]在确定感兴趣像素是有白点缺陷像素的情况下，缺陷校正单元46用如上所述选择的两个像素的像素值的较大一个取代感兴趣像素的像素值。进一步，在确定感兴趣像素是有黑点缺陷像素的情况下，缺陷校正单元46用如上所述选择的两个像素的像素值的较小一个取代感兴趣像素的像素值。
[0201 ] 在感兴趣像素是R或B像素的情况下，缺陷校正单元46根据方向检测单元44检测到的纹理的方向，从，例如，图14中处在用圆圈指示的位置上的8个像素中选择两个像素。
[0202]具体地说，在纹理的方向是+45°方向的情况下，选择图14中的R2和R5。在纹理的方向是-45°方向的情况下，选择图14中的&和R7。
[0203]在纹理的方向是水平方向的情况下，选择图14中的RjPR4。在均匀曝光阵列中，沿着水平方向与感兴趣像素最接近并且具有与感兴趣像素相同的颜色的像素是具有与感兴趣像素的曝光时间不同的曝光时间的像素。因此，有必要从通过进一步扩展由35( = 7X5)个像素形成的方向检测区域而获得的由45( = 9X5)个像素形成的方向检测区域中选择像素。
[0204]在纹理的方向是垂直方向的情况下，通过线性内插计算沿着垂直方向的两个位置上的像素的像素值。具体地说，选择具有如(Ro+R2)/2计算的像素值的虚像素和具有如(R5+R7)/2计算的像素值的虚像素。这是因为，在均匀曝光阵列中，在与五行相对应的区域中沿着垂直方向不存在具有与感兴趣像素相同的颜色和曝光时间的像素。
[0205]在确定感兴趣像素是有白点缺陷像素的情况下，缺陷校正单元46用如上所述选择的两个像素的像素值的较大一个取代感兴趣像素的像素值。进一步，在确定感兴趣像素是有黑点缺陷像素的情况下，缺陷校正单元46用如上所述选择的两个像素的像素值的较小一个取代感兴趣像素的像素值。
[0206]但是，在感兴趣像素是R或B像素以及纹理的方向是垂直方向的情况下，由于如上所述进行用虚像素的像素值的取代，所以缺陷校正单元46不是全部地而是部分地用虚像素的像素值取代感兴趣像素的像素值。
[0207]在感兴趣像素是R或B像素以及纹理的方向是垂直方向的情况下，缺陷校正单元46与上述的两个虚像素的像素值一起计算沿着垂直方向具有相同颜色的像素(在这种情况下，通过线性内插获得的虚像素)的平均值(在图14的情况下，(Ri+ig/2)。应当注意至IJ，具有相同颜色和沿着垂直方向的像素具有与感兴趣像素的曝光时间不同的曝光时间。因此，事先通过乘以通过(长时间曝光像素的曝光时间/短时间曝光像素的曝光时间)获得的增益来校正短时间曝光像素的像素值。
[0208]接着，计算作为虚像素的像素值之一和被称为校正候选值的要取代的像素值与沿着垂直方向具有相同颜色的像素的像素值的平均值之间的差。随后，依照该差的幅度，将感兴趣像素的像素值与校正候选值混合。
[0209]图15是描述混合校正候选值和感兴趣像素的像素值的方法的图。在图15中，水平轴指示校正候选值与沿着垂直方向具有相同颜色的像素的像素值的平均值之间的差，垂直轴指示感兴趣像素的像素值的混合比。
[0210]如图15所示，事先设置阈值X和阈值Y，在校正候选值与沿着垂直方向具有相同颜色的像素的像素值的平均值之间的差小于阈值X的情况下，将感兴趣像素的像素值的混合比设置成0。进一步，在校正候选值与沿着垂直方向具有相同颜色的像素的像素值的平均值之间的差大于等于阈值Y的情况下，将感兴趣像素的像素值的混合比设置成1。更进一步，在校正候选值与沿着垂直方向具有相同颜色的像素的像素值的平均值之间的差大于等于阈值X但小于阈值Y的情况下，依照校正候选值与沿着垂直方向具有相同颜色的像素的像素值的平均值之间的差来改变感兴趣像素的像素值的混合比。
[0211]在校正候选值与沿着垂直方向具有相同颜色的像素的像素值的平均值之间的差大的情况下，认为处理单位区域中的图像包括含有接近尼奎斯特(Nyquist)频率的成分的R或B像素。在这样的情况下，当使用通过使用相邻像素进行线性内插而获得的虚像素的像素值进行校正时，可能加入了原来不存在的颜色或可能出现人为假像。
[0212]如上所述，在感兴趣像素是R或B像素以及纹理的方向是垂直方向的情况下，用虚像素的像素值部分取代感兴趣像素的像素值。这可以使颜色的增加或人为假像的出现得到抑制。
[0213]另外，在本公开中，在如上所述感兴趣像素是R或B像素以及纹理的方向是垂直方向的情况下，用虚像素的像素值部分取代感兴趣像素的像素值。这可以使在缺陷校正处理中所需的存储器的容量抑制在低水平。
[0214]具体地说，在行曝光阵列和均匀曝光阵列的任何一种中，为了选择具有与感兴趣像素相同的颜色和曝光时间和沿着垂直方向的像素，有必要将与至少九行相对应的像素区域存储在存储器等中。
[0215]图16A和16B的每一个是描述选择具有与感兴趣像素相同的颜色和曝光时间以及沿着垂直方向的像素所需的像素区域的图。图16A指示行曝光阵列的例子，图16B指示均匀曝光阵列的例子。在图16A和16B的任一个中，为了选择具有与感兴趣像素相同的颜色和曝光时间和沿着垂直方向的像素，有必要准备与九行相对应的像素区域。
[0216]与此相反，在本公开中，如上面参考图14所述，与五行相对应的像素区域就使得有缺陷像素的校正得以进行。
[0217]接着，将参考图17的流程图描述缺陷校正处理单元21在行曝光阵列中进行的缺陷校正处理的例子。
[0218]在步骤S21中，增益校正单元41对输入图像的像素值进行调整曝光时间的差异引起的差异的校正。例如，增益校正单元41将短时间曝光像素的像素值乘以如(长时间曝光像素的曝光时间/短时间曝光像素的曝光时间)计算的增益。这使短时间曝光像素的像素值可以校正成与长时间曝光相对应的像素值。
[0219]应当注意到，在接在步骤S21之后的处理中，不仅增益校正单元41校正之后的像素值而且校正之前的像素值可以被适当地引用。
[0220]在步骤S22中，饱和性确定单元42针对作为含有以感兴趣像素为中心的预定个像素的区域的处理单位区域确定像素值是否达到饱和。具体来说，饱和性确定单元42确定处理单位区域是否对应于图像中的特别亮区域。
[0221]那时，例如，在像素值是最大值的像素的数量大于等于预设阈值的情况下，确定处理单位区域达到饱和。例如，在像素值是最大值的像素的数量是3个(阈值)或更多的情况下，确定处理单位区域达到饱和。
[0222]在步骤S22中，在饱和性确定单元42确定处理单位区域未达到饱和的情况下，该处理转到步骤S23。
[0223]在步骤S23中，平坦性确定单元43进行后面参考图18所述的非饱和状态下的平坦性确定处理。通过这种处理，确定处理单位区域是否是平坦的。
[0224]这里，将参考图18的流程图描述图17的步骤S23中非饱和状态下的平坦性确定处理的详细例子。
[0225]在步骤S41中，平坦性确定单元34将感兴趣像素的像素值与处理单位区域中具有与感兴趣像素相同的颜色的像素的像素值的最大或最小值相比较。
[0226]在步骤S42中，作为步骤S41中的比较结果，平坦性确定单元43确定感兴趣像素的像素值是否大于最大值。在步骤S42中，在平坦性确定单元43确定感兴趣像素的像素值大于最大值的情况下，该处理转到步骤S43。
[0227]在步骤S43中，将感兴趣像素当作有白点缺陷像素的候选者，并对其设置预定标士坐
；ll> 'rj- ο
[0228]另一方面，在步骤S42中，在平坦性确定单元43确定感兴趣像素的像素值不大于最大值的情况下，该处理转到步骤S44。
[0229]在步骤S44中，作为步骤S41中的比较结果，平坦性确定单元43确定感兴趣像素的像素值是否小于最小值。在步骤S44中，在平坦性确定单元43确定感兴趣像素的像素值小于最小值的情况下，该处理转到步骤S45。
[0230]在步骤S45中，将感兴趣像素当作有黑点缺陷像素的候选者，并对其设置预定标士坐
；ll> 'rj- ο
[0231 ] 在步骤S44中，在平坦性确定单元43确定感兴趣像素的像素值不小于最小值的情况下，跳过步骤S45的处理。
[0232]在步骤S46中，平坦性确定单元43计算具有与感兴趣像素相同的颜色的像素的像素值的平均值“ave_area”。那时，例如，通过表达式(1)计算平均值“ave_area”。
[0233]在步骤S47中，平坦性确定单元43通过使用步骤S46中的计算结果计算处理单位区域的平均偏差“std_area”。那时，例如，通过表达式(2)计算平均偏差“std_area”。
[0234]在步骤S48中，平坦性确定单元43确定在步骤S47的处理中计算的平均偏差“Std_area”是否大于等于预设阈值。
[0235]在步骤S48中，在平坦性确定单元43确定平均偏差“std_area”小于该阈值的情况下，该处理转到步骤S49，平坦性确定单元43确定处理单位区域是平坦的。
[0236]在步骤S48中，在平坦性确定单元43确定平均偏差“std_area”大于等于该阈值的情况下，该处理转到步骤S50，平坦性确定单元43确定处理单位区域是不平坦的。
[0237]这样，进行了非饱和状态下的平坦性确定处理。
[0238]回头参照图17，在步骤S24中，平坦性确定单元43确定步骤S23中的确定结果是否是“平坦”。在步骤S23中的确定结果是“平坦”的情况下，该处理转到步骤S25。
[0239]在步骤S25中，缺陷确定单元45进行后面参考图19所述的平坦状态下的缺陷确定处理。通过这种处理，确定感兴趣像素是否是有缺陷像素。
[0240]在步骤S26中，缺陷校正单元46进行后面参考图20所述的平坦状态下的缺陷校正处理。通过这种处理，校正作为有缺陷像素的感兴趣像素的像素值。
[0241]这里，将参考图19的流程图描述图17的步骤S25中平坦状态下的缺陷确定处理的详细例子。
[0242]在步骤S61中，缺陷确定单元45计算用于缺陷确定的阈值。那时，例如，通过表达式⑶计算阈值。
[0243]在步骤S62中，缺陷确定单元45确定感兴趣像素是否是有白点缺陷像素的候选者。在缺陷确定单元45确定感兴趣像素是有白点缺陷像素的候选者的情况下，该处理转到步骤S63。
[0244]在步骤S63中，缺陷确定单元45确定感兴趣像素的像素值与处理单位区域中具有与感兴趣像素相同的颜色的像素的像素值中的最大值之间的差是否大于等于在步骤S61中计算的阈值。例如，缺陷确定单元45确定图6的&到R7的像素值中的最大值与感兴趣像素的像素值之间的差的绝对值是否大于等于上述阈值。
[0245]在步骤S63中，在缺陷确定单元45确定该差大于等于该阈值的情况下，该处理转到步骤S64，并确定感兴趣像素是有白点缺陷像素。在步骤S63中，在缺陷确定单元45确定该差值不大于等于该阈值的情况下，确定感兴趣像素不是有缺陷像素。
[0246]在步骤S62中，在缺陷确定单元45确定感兴趣像素不是有白点缺陷像素的候选者的情况下，该处理转到步骤S65。
[0247]在步骤S65中，缺陷确定单元45确定感兴趣像素是否是有黑点缺陷像素的候选者。在缺陷确定单元45确定感兴趣像素是有黑点缺陷像素的候选者的情况下，该处理转到步骤S66。在步骤S65中，在缺陷确定单元45确定感兴趣像素不是有黑点缺陷像素的候选者的情况下，确定感兴趣像素不是有缺陷像素。
[0248]在步骤S66中，缺陷确定单元45确定处理单位区域中具有与感兴趣像素相同的颜色的像素的像素值中的最小值与感兴趣像素的像素值之间的差是否大于等于在步骤S61中计算的阈值。例如，缺陷确定单元45确定图6的&到R7的像素值中的最小值与感兴趣像素的像素值之间的差的绝对值是否大于等于上述阈值。
[0249]在步骤S66中，在缺陷确定单元45确定该差大于等于该阈值的情况下，该处理转到步骤S67，并确定感兴趣像素是有黑点缺陷像素。在步骤S66中，在缺陷确定单元45确定该差值不大于等于该阈值的情况下，确定感兴趣像素不是有缺陷像素。
[0250]这样，进行了平坦状态下的缺陷确定处理。
[0251]接着，将参考图20的流程图描述图17的步骤S26中平坦状态下的缺陷校正处理的详细例子。
[0252]在步骤S81中，确定感兴趣像素是否是有白点缺陷像素。在感兴趣像素被确定为是有白点缺陷像素的情况下，该处理转到步骤S82。
[0253]在步骤S82中，缺陷校正单元46用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素的像素值的较大一个取代感兴趣像素的像素值。那时，例如，用图6中的R3和&的像素值的较大一个取代感兴趣像素的像素值。
[0254]另一方面，在步骤S81中，在感兴趣像素被确定为不是有白点缺陷像素的情况下，该处理转到步骤S83。
[0255]在步骤S83中，确定感兴趣像素是否是有黑点缺陷像素。在感兴趣像素被确定为是有黑点缺陷像素的情况下，该处理转到步骤S84。
[0256]在步骤S84中，缺陷校正单元46用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素的像素值的较小一个取代感兴趣像素的像素值。那时，例如，用图6中的r3和r4的像素值的较小一个取代感兴趣像素的像素值。
[0257]这样，进行了平坦状态下的缺陷校正处理。
[0258]回头参照图17，在步骤S24中，在平坦性确定单元43确定处理单位区域不平坦的情况下，该处理转到步骤S27。
[0259]在步骤S27中，方向检测单元44进行后面参考图21所述的方向检测处理。通过这种处理,检测纹理的方向。
[0260]在步骤S28中，缺陷确定单元45进行后面参考图22所述的非平坦状态下的缺陷确定处理。通过这种处理，确定感兴趣像素是否是有缺陷像素。
[0261]在步骤S29中，缺陷校正单元46进行后面参考图23所述的非平坦状态下的缺陷校正处理。通过这种处理，校正作为有缺陷像素的感兴趣像素的像素值。
[0262]这里，将参考图21的流程图描述图17中的步骤S27的方向检测处理的详细例子。
[0263]在步骤S101中，方向检测单元44计算具有相同颜色和沿着水平方向相邻的像素之间的差的绝对值。那时，方向检测单元44提取由35( = 7X5)个像素形成并通过将处理单位区域的左右端扩展一个像素获得的方向检测区域。随后，例如，如图7的左上部分的箭头所指，计算每一组具有相同颜色的15组像素之间的差的绝对值。
[0264]在步骤S102中，方向检测单元44计算具有相同颜色和沿着垂直方向相邻的像素之间的差的绝对值。那时，例如，如图7的右上部分的箭头所指，计算每一组具有相同颜色的15组像素之间的差的绝对值。
[0265]在步骤S103中，方向检测单元44计算具有相同颜色和沿着+45°方向相邻的像素之间的差的绝对值。那时，例如，如图7的左下部分的箭头所指，计算每一组具有相同颜色的15组像素之间的差的绝对值。
[0266]在步骤S104中，方向检测单元44计算具有相同颜色和沿着-45°方向相邻的像素之间的差的绝对值。那时，例如，如图7的右下部分的箭头所指，计算每一组具有相同颜色的15组像素之间的差的绝对值。
[0267]在步骤S105中，方向检测单元44计算沿着每个方向的差的绝对值的平均值。那时，如上所述，为了消除该区域中的有缺陷像素的影响，方向检测单元44在每个方向中从15个差的绝对值中选择11个差的低阶绝对值。随后，方向检测单元44计算沿着每个方向的11个差的绝对值的平均值。应当注意到，将沿着水平方向的11个差的绝对值的平均值和沿着垂直方向的11个差的绝对值的平均值的每一个乘以V 2。
[0268]在步骤S106中，方向检测单元44选择与各个方向相对应的4个平均值的最小值，并检测与最小值相对应的方向作为纹理的方向。
[0269]这样，进行了方向检测处理。
[0270]接着，将参考图22的流程图描述图17的步骤S28中非平坦状态下的缺陷确定处理的详细例子。
[0271]在步骤S121中，缺陷确定单元45计算用于缺陷确定的阈值。那时，例如，通过表达式⑷计算阈值。
[0272]在步骤S122中，缺陷确定单元45确定感兴趣像素的像素值与处理单位区域中具有相同颜色的像素(例如，图6中的Rq到R7)的像素值的平均值之间的差是否大于等于上述阈值。在步骤S122中，在缺陷确定单元45确定该差不大于等于该阈值的情况下，确定感兴趣像素不是有缺陷像素。在步骤S122中，在缺陷确定单元45确定该差大于等于该阈值的情况下，该处理转到步骤S123。
[0273]在步骤S123中，缺陷确定单元45确定感兴趣像素的像素值是否大于处理单位区域中具有相同颜色的像素的像素值的平均值。
[0274]在步骤S123中，在缺陷确定单元45确定感兴趣像素的像素值大于处理单位区域中具有相同颜色的像素的像素值的平均值的情况下，该处理转到步骤S124，并确定感兴趣像素是有白点缺陷像素。
[0275]在步骤S123中，在缺陷确定单元45确定感兴趣像素的像素值不大于(小于)处理单位区域中具有相同颜色的像素的像素值的平均值的情况下，该处理转到步骤S125，并确定感兴趣像素是有黑点缺陷像素。
[0276]这样，进行了非平坦状态下的缺陷确定处理。
[0277]接着，将参考图23的流程图描述图17的步骤S29中非平坦状态下的缺陷校正处理的详细例子。
[0278]在步骤S141中，缺陷校正单元46确定感兴趣像素是否是有黑点缺陷像素。在缺陷校正单元46确定感兴趣像素是有黑点缺陷像素的情况下，该处理转到步骤S142。
[0279]在步骤S142中，缺陷校正单元46根据作为步骤S27的处理结果的纹理检测方向选择要用于取代像素值的像素。
[0280]在步骤S143中，缺陷校正单元46通过用通过步骤S142的处理选择的像素的像素值的较小一个取代感兴趣像素的像素值来进行校正。
[0281]另一方面，在步骤S141中，在缺陷校正单元46确定感兴趣像素不是有黑点缺陷像素的情况下，该处理转到步骤S144。
[0282]在步骤S144中，缺陷校正单元46确定感兴趣像素是否是有白点缺陷像素。在缺陷校正单元46确定感兴趣像素是有白点缺陷像素的情况下，该处理转到步骤S145。
[0283]在步骤S145中，缺陷校正单元46根据作为步骤S27的处理结果的纹理检测方向选择要用于取代像素值的像素。
[0284]在步骤S146中，缺陷校正单元46通过用通过步骤S145的处理选择的像素的像素值的较大一个取代感兴趣像素的像素值来进行校正。
[0285]例如，在纹理的方向是水平方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的R3和R4的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的R3和R4的像素值的较小一个取代感兴趣像素的像素值。进一步，在纹理的方向是垂直方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的札和R6的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的&和R6的像素值的较小一个取代感兴趣像素的像素值。另外，在纹理的方向是+45°方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的民和R5的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的R2和R5的像素值的较小一个取代感兴趣像素的像素值。另外，在纹理的方向是-45°方向的情况下，当确定感兴趣像素是有白点缺陷像素时，用图6的&和R7的像素值的较大一个取代感兴趣像素的像素值，而当确定感兴趣像素是有黑点缺陷像素时，用图6的R。和R7的像素值的较小一个取代感兴趣像素的像素值。
[0286]在步骤S147中，缺陷校正单元46确定感兴趣像素是否是短时间曝光像素。在缺陷校正单元46确定感兴趣像素是短时间曝光像素的情况下，该处理转到步骤S148。
[0287]在步骤S148中，缺陷校正单元46将在步骤S143或S146中取代的像素值乘以如(短时间曝光像素的曝光时间/长时间曝光像素的曝光时间)计算的增益，因此，消除了增益校正单元41校正的影响(也就是说，相反地校正像素值)。
[0288]这样，进行了非平坦状态下的缺陷校正处理。
[0289]回头参照图17，在步骤S22中，在确定处理单位区域达到饱和的情况下，该处理转到步骤S30。
[0290]在步骤S30中，缺陷确定单元45进行后面参考图24所述的饱和状态下的缺陷确定处理。通过这种处理，确定感兴趣像素是否是有缺陷像素。
[0291]在步骤S31中，缺陷确定单元46进行后面参考图25所述的饱和状态下的缺陷校正处理。通过这种处理，校正作为有缺陷像素的感兴趣像素的像素值。
[0292]这里，将参考图24的流程图描述图17的步骤S30的饱和状态下的缺陷确定处理的详细例子。
[0293]在步骤S161中，缺陷确定单元45计算在以感兴趣像素为中心的同时沿着水平方向排列的9个像素的动态范围。
[0294]那时，例如，提取由显示在图8中的9(1X9)个像素形成的区域作为动态范围检测区域。应该注意到，当饱和性确定单元42确定处理单位区域达到饱和时，进行使用增益校正单元41校正之前的像素值的计算。随后，对于图8中具有与感兴趣像素相同的颜色和用圆圈指示的像素(在本例中，R像素)，缺陷确定单元45计算如图8中的箭头所指相邻的那些像素的像素值之间的4个差的绝对值，并计算4个差的绝对值中的动态范围。进一步，缺陷确定单元45计算具有与感兴趣像素的颜色不同的颜色的像素(在本例中，G像素)的像素值的动态范围。
[0295]在步骤S162中，缺陷确定单元45计算用于缺陷确定的阈值。那时，例如，缺陷确定单元45计算图8中具有与感兴趣像素相同的颜色和用圆圈指示的像素的像素值的平均值的平方根，并适当地乘以参数或增加参数，以便将所得值设置成用于缺陷确定的阈值。由于如后所述将第一到第三条件用于阈值，所以利用改变的参数计算三个阈值。
[0296]在步骤S163中，缺陷确定单元45确定是否满足有关白点缺陷的所有三个条件。
[0297]具体地说，第一条件如下:感兴趣像素的像素值大于图8中具有相同颜色和用圆圈指示的4个像素的像素值中的次最大像素值，以及感兴趣像素的像素值与图8中用圆圈指示的4个像素的像素值中的次最大像素值之间的差大于阈值。
[0298]考虑到具有相同颜色的有缺陷像素像，例如，有缺陷像素、无缺陷像素、有缺陷像素.......的顺序那样交替存在的情况，不将感兴趣像素的像素值与最大像素值之间的差与阈值相比较，而是将感兴趣像素的像素值与次最大像素值之间的值与阈值相比较。
[0299]第二条件如下:图8中具有与感兴趣像素相同的颜色和用圆圈指示的相邻像素的像素值之间的差的绝对值中的动态范围大于阈值。
[0300]第三条件如下:显示在图8中具有与感兴趣像素的颜色不同的颜色的像素(在图8中，G像素)的像素值的动态范围小于阈值。
[0301]在步骤S163中，在满足上述所有第一到第三条件的情况下，该处理转到步骤S164,并确定感兴趣像素是有白点缺陷像素。
[0302]在步骤S163中，在不满足有关白点缺陷的三个条件的至少一个的情况下，该处理转到步骤S165。
[0303]在步骤S165中，缺陷确定单元45确定是否满足有关黑点缺陷的所有三个条件。
[0304]具体地说，第一条件如下:感兴趣像素的像素值小于图8中具有相同颜色和用圆圈指示的4个像素的像素值中的次最小像素值，以及感兴趣像素的像素值与图8中用圆圈指示的4个像素的像素值中的次最小像素值之间的差大于阈值。
[0305]第二和第三条件与有白点缺陷像素的情况相同，因此省略对它们的详细描述。
[0306]在步骤S165中，在满足上述所有第一到第三条件的情况下，该处理转到步骤S166，并确定感兴趣像素是有黑点缺陷像素。
[0307]在步骤S165中，在不满足有关黑点缺陷的三个条件的至少一个的情况下，这意味着感兴趣像素被确定为不是有缺陷像素。
[0308]这样，进行了饱和状态下的缺陷确定处理。
[0309]接着，将参考图25的流程图描述图17的步骤S31中饱和状态下的缺陷校正处理的详细例子。
[0310]在步骤S181中，作为步骤S30的处理结果，缺陷校正单元46确定感兴趣像素是否是有黑点缺陷像素。
[0311]在步骤S181中，在缺陷校正单元46确定感兴趣像素是有黑点缺陷像素的情况下，该处理转到步骤S182。
[0312]在步骤S182中，缺陷校正单元46用图8中具有与感兴趣像素相同的颜色和用圆圈指示的像素的像素值中的次最小像素值取代感兴趣像素的像素值。
[0313]另一方面，在步骤S181中，在缺陷校正单元46确定感兴趣像素不是有黑点缺陷像素的情况下，该处理转到步骤S183。
[0314]在步骤S183中，作为步骤S30的处理结果，缺陷校正单元46确定感兴趣像素是否是有白点缺陷像素。在步骤S183中，在缺陷校正单元46确定感兴趣像素是有白点缺陷像素的情况下，该处理转到步骤S184。
[0315]在步骤S184中，缺陷校正单元46用图8中具有与感兴趣像素相同的颜色和用圆圈指示的像素的像素值中的次最大像素值取代感兴趣像素的像素值。
[0316]这样，进行了饱和状态下的缺陷校正处理。
[0317]如上所述，进行了行曝光阵列中的缺陷校正处理。
[0318]接着，将参考图26的流程图描述缺陷校正处理单元21在均匀曝光阵列中进行的缺陷校正处理的例子。
[0319]在步骤S201中，增益校正单元41对输入图像的像素值进行调整曝光时间的差异引起的差异的校正。例如，增益校正单元41将短时间曝光像素的像素值乘以如(长时间曝光像素的曝光时间/短时间曝光像素的曝光时间)计算的增益。这使短时间曝光像素的像素值可以校正成与长时间曝光相对应的像素值。
[0320]应当注意到，在接在步骤S201之后的处理中，不仅增益校正单元41校正之后的像素值而且校正之前的像素值可以被适当地引用。
[0321]在步骤S202中，饱和性确定单元42针对作为含有以感兴趣像素为中心的预定个像素的区域的处理单位区域确定像素值是否达到饱和。具体来说，饱和性确定单元42确定处理单位区域是否对应于图像中的特别亮区域。
[0322]那时，例如，在像素值是最大值的像素的数量大于等于预设阈值的情况下，确定处理单位区域达到饱和。例如，在像素值是最大值的像素的数量是3个(阈值)或更多的情况下，确定处理单位区域达到饱和。
[0323]在步骤S202中，在饱和性确定单元42确定处理单位区域未达到饱和的情况下，该处理转到步骤S203。
[0324]在步骤S203中，平坦性确定单元43进行后面参考图18所述的非饱和状态下的平坦性确定处理。通过这种处理，确定处理单位区域是否是平坦的。
[0325]图26的步骤S203的处理与图17的步骤S23的处理相同，因此省略其详细描述。但是，在步骤S203中，当感兴趣像素是G像素时，假设如图11所示地将具有与感兴趣像素相同的颜色的像素布置在处理单位区域中。具体地说，在处理单位区域中，具有与感兴趣像素相同的颜色的所有像素具有相同的曝光时间(在本例中，短时间曝光像素)。
[0326]因此，在步骤S203中，当感兴趣像素是G像素时，进行使用增益校正单元41校正之前的像素值的计算。进一步，准备了三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值作为用于确定处理单位区域是否平坦的阈值。
[0327]在步骤S204中，平坦性确定单元43确定步骤S203中的确定结果是否是“平坦”。在步骤S203中的确定结果是“平坦”的情况下，该处理转到步骤S205。
[0328]在步骤S205中，缺陷确定单元45进行平坦状态下的缺陷确定处理。通过这种处理，确定感兴趣像素是否是有缺陷像素。
[0329]步骤S205的处理与图17的步骤S25的处理相同，因此省略其详细描述。但是，在步骤S205中，当计算用于缺陷确定的阈值时，缺陷确定单元45计算三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值。
[0330]在步骤S206中，缺陷校正单元46进行平坦状态下的缺陷校正处理。通过这种处理，校正作为有缺陷像素的感兴趣像素的像素值。
[0331]步骤S206的处理与图17的步骤S26的处理相同，因此省略其详细描述。但是，在步骤S206中，当感兴趣像素是R像素时，将图10中的&、1?2、R5、或R7用作要取代的像素，而当感兴趣像素是G像素时，将图11中的Gtl到G7用作要取代的像素。应当注意到，当感兴趣像素是B像素时，如感兴趣像素是R像素的情况那样，使用处理单位区域中具有与感兴趣像素相同的颜色和曝光时间的像素。
[0332]另一方面，在步骤S204中，在平坦性确定单元43确定处理单位区域不平坦的情况下，该处理转到步骤S207。
[0333]在步骤S207中，方向检测单元44进行方向检测处理。通过这种处理，检测纹理的方向。
[0334]在步骤S208中，缺陷确定单元45进行非平坦状态下的缺陷确定处理。通过这种处理，确定感兴趣像素是否是有缺陷像素。
[0335]在步骤S209中，缺陷校正单元46进行非平坦状态下的缺陷校正处理。通过这种处理，校正作为有缺陷像素的感兴趣像素的像素值。
[0336]从步骤S207到步骤S209的处理与从图17的步骤S27到步骤S29的处理相同，因此省略对它们的详细描述。
[0337]另一方面，在步骤S202中，在饱和性确定单元42确定处理单位区域达到饱和的情况下，该处理转到步骤S210。
[0338]在步骤S210中，平坦性确定单元43进行饱和状态下的平坦性确定处理。通过这种处理，确定处理单位区域是否是平坦的。
[0339]这里，将参考图27的流程图描述图26的步骤S210的饱和状态下的平坦性确定处理的详细例子。
[0340]在步骤S221中，平坦性确定单元43确定感兴趣像素是否是G像素。在平坦性确定单元43确定感兴趣像素是G像素的情况下，该处理转到步骤S222。
[0341]在步骤S222中，平坦性确定单元43将感兴趣像素的像素值与处理单位区域中具有与感兴趣像素相同的颜色的像素的像素值的最大或最小值相比较。
[0342]另一方面，在步骤S221中，在平坦性确定单元43确定感兴趣像素不是G像素(具体地说，感兴趣像素是R或B像素)的情况下，该处理转到步骤S223。
[0343]在步骤S223中，平坦性确定单元43将感兴趣像素的像素值与，例如，图12中具有与感兴趣像素相同的颜色和曝光时间和用圆圈指示的4个像素的像素值中的最大或最小值相比较。
[0344]在步骤S224中，作为步骤S222或步骤S223中的比较结果，平坦性确定单元43确定感兴趣像素的像素值是否大于最大值。在步骤S224中，在平坦性确定单元43确定感兴趣像素的像素值大于最大值的情况下，该处理转到步骤S225。
[0345]在步骤S225中，将感兴趣像素当作有白点缺陷像素的候选者，并对其设置预定标士坐
；ll> "Tj- ο
[0346]另一方面，在步骤S224中，作为步骤S222或步骤S223中的比较结果，在平坦性确定单元43确定感兴趣像素的像素值不大于最大值的情况下，该处理转到步骤S226。
[0347]在步骤S226中，作为步骤S222或步骤S223中的比较结果，平坦性确定单元43确定感兴趣像素的像素值是否小于最小值。在步骤S226中，在平坦性确定单元43确定感兴趣像素的像素值小于最小值的情况下，该处理转到步骤S227。
[0348]在步骤S227中，将感兴趣像素当作有黑点缺陷像素的候选者，并对其设置预定标士坐
；ll> "Tj- ο
[0349]在步骤S226中，在平坦性确定单元43确定感兴趣像素的像素值不小于最小值的情况下，跳过步骤S227的处理。
[0350]在步骤S228中，平坦性确定单元43计算具有与感兴趣像素相同的颜色的像素的像素值的平均值“ave_area”。那时,例如,通过表达式(5)计算平均值“ave_area”。
[0351]在步骤S229中，平坦性确定单元43通过使用步骤S228中的计算结果计算处理单位区域的平均偏差“std_area”。那时，例如，通过表达式(6)计算平均偏差“std_area”。
[0352]在步骤S230中，平坦性确定单元43确定在步骤S229的处理中计算的平均偏差“Std_area”是否大于等于预设阈值。
[0353]应当注意到，在步骤S230中，准备了 4个阈值，即，有关R或B长时间曝光像素的阈值、有关R或B短时间曝光像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值作为用于确定处理单位区域是否平坦的阈值。
[0354]在步骤S230中，在平坦性确定单元43确定该平均偏差“std_area”小于该阈值的情况下，该处理转到步骤S231，平坦性确定单元43确定处理单位区域是平坦的。
[0355]在步骤S230中，在平坦性确定单元43确定该平均偏差“std_area”大于等于该阈值的情况下，该处理转到步骤S232，平坦性确定单元43确定处理单位区域是不平坦的。
[0356]这样，进行了饱和状态下的平坦性确定处理。
[0357]回头参照图26，在步骤S211中，作为步骤S210的处理结果，平坦性确定单元43确定处理单位区域是否是平坦的。在处理单位区域被确定为平坦的情况下，该处理转到步骤S212。
[0358]在步骤S212中，缺陷确定单元45进行饱和和平坦状态下的缺陷确定处理。通过这种处理，确定感兴趣像素是否是有缺陷像素。
[0359]步骤S212的处理与图17的步骤S25的处理相同，因此省略其详细描述。但是，在步骤S212中，当计算用于缺陷确定的阈值时，缺陷确定单元45计算三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值。
[0360]在步骤S213中，缺陷校正单元46进行饱和和平坦状态下的缺陷校正处理。通过这种处理，校正作为有缺陷像素的感兴趣像素的像素值。
[0361]步骤S213的处理与图17的步骤S26的处理相同，因此省略其详细描述。但是，在步骤S206中，当感兴趣像素是R像素时，将图10中的&、1?2、R5、或R7用作要取代的像素，而当感兴趣像素是G像素时，将图11中的Gtl到G7用作要取代的像素。应当注意到，当感兴趣像素是B像素时，如感兴趣像素是R像素的情况那样，使用具有与感兴趣像素相同的颜色和曝光时间的像素。
[0362]另一方面，在步骤S211中，在作为步骤S210的处理结果，平坦性确定单元43确定处理单位区域不平坦的情况下，该处理转到步骤S214。
[0363]在步骤S214中，方向检测单元44进行饱和状态下的方向检测处理。通过这种处理,检测纹理的方向。
[0364]步骤S214的处理与图17中的步骤S27的处理相同。
[0365]在步骤S214中，由于认为长时间曝光像素达到饱和，所以进行只使用G短时间曝光像素的方向检测。
[0366]具体地说，方向检测单元44提取方向检测区域，该方向检测区域由35( = 7X5)个像素形成，并且通过将处理单位区域的左右端扩展一个像素获得。方向检测单元44在方向检测区域中计算相邻G像素之间的差值的绝对值。那时，如图13所示，方向检测单元44沿着4个方向，即,水平方向、垂直方向、+45°方向、和-45°方向的每一个方向计算相邻G像素之间的差的绝对值。
[0367]随后，为了消除该区域中的有缺陷像素的影响，方向检测单元44在每个方向中从差的绝对值中选择4个差的低阶绝对值，并计算每个方向中4个差的绝对值的平均值。应当注意到，将沿着水平方向的4个差的绝对值的平均值和沿着垂直方向的4个差的绝对值的平均值的每一个乘以V 2。
[0368]另外，方向检测单元44选择与各个方向相对应的4个平均值的最小值，并检测与最小值相对应的方向作为纹理的方向。
[0369]在感兴趣像素是G短时间曝光像素或B像素的情况下，当提取由G短时间曝光像素的数量变成最大的35( = 7X5)个像素形成的区域时，感兴趣像素的位置没有来到该区域的中心。在这样的情况下，使用使处在感兴趣像素左边的像素在中心上的方向检测的结果O
[0370]在步骤S215中，缺陷确定单元45进行后面参考图28所述的饱和和非平坦状态下的缺陷确定处理。通过这种处理，确定感兴趣像素是否是有缺陷像素。
[0371]在步骤S216中，缺陷校正单元46进行后面参考图29到31所述的饱和和非平坦状态下的缺陷校正处理。通过这种处理，校正作为有缺陷像素的感兴趣像素的像素值。
[0372]这里，将参考图28的流程图描述图26的步骤S215的饱和和非平坦状态下的缺陷确定处理的详细例子。
[0373]在步骤S241中，缺陷确定单元45依照感兴趣像素的颜色计算具有与感兴趣像素相同的颜色和曝光时间的像素的像素值的平均值。
[0374]例如，在感兴趣像素是R或B像素的情况下，缺陷确定单元45计算图10中处在用白色表达的位置上和用圆圈指示的4个像素的像素值的平均值。在感兴趣像素是G像素的情况下，缺陷确定单元45计算图11中处在用圆圈指示的位置上的8个像素的像素值的平均值。
[0375]在步骤S242中，缺陷确定单元45计算用于缺陷确定的阈值。那时，缺陷确定单元45使用在步骤S241中计算的平均值的平方根以及使用与方向检测单元44在步骤S214的处理中检测的方向对应的平均值(4个差的绝对值的平均值)来计算阈值。应当注意到，这里，计算三个阈值，即，有关R或B像素的阈值、有关G长时间曝光像素的阈值、和有关G短时间曝光像素的阈值。
[0376]在步骤S243中，缺陷确定单元45确定在步骤S241中计算的平均值与感兴趣像素的像素值之间的差的绝对值是否大于等于在步骤S242中计算的阈值。在步骤S243中，在缺陷确定单元45确定该差的绝对值不大于等于该阈值的情况下，确定感兴趣像素不是有缺陷像素。
[0377]在步骤S243中，在缺陷确定单元45确定该差的绝对值大于等于该阈值的情况下，该处理转到步骤S244。
[0378]在步骤S244中，缺陷确定单元45确定感兴趣像素的像素值是否大于在步骤S241中计算的平均值。
[0379]在步骤S244中，在缺陷确定单元45确定感兴趣像素的像素值大于在步骤S241中计算的平均值的情况下，该处理转到步骤S245，确定感兴趣像素是有白点缺陷像素。
[0380]另一方面，在步骤S244中，在缺陷确定单元45确定感兴趣像素的像素值小于在步骤S241中计算的平均值的情况下，该处理转到步骤S246，确定感兴趣像素是有黑点缺陷像素。
[0381]这样，进行了饱和和非平坦状态下的缺陷确定处理。
[0382]接着，将参考图29到31的流程图描述图26的步骤S216中的饱和和非平坦状态下的缺陷校正处理的详细例子。
[0383]在步骤S261中，缺陷校正单元46确定感兴趣像素是否是G像素。在缺陷校正单元46确定感兴趣像素是G像素的情况下，该处理转到步骤S262。
[0384]在步骤S262中，缺陷校正单元46确定感兴趣像素是否是有黑点缺陷像素。在缺陷确定单元46确定感兴趣像素是有黑点缺陷像素的情况下，该处理转到步骤S263。
[0385]在步骤S263中，缺陷校正单元46根据作为步骤S214的处理结果的纹理检测方向，选择要用于取代像素值的像素。
[0386]在步骤S264中，缺陷校正单元46通过用通过步骤S263的处理选择的像素的像素值的较小一个取代感兴趣像素的像素值进行校正。
[0387]另一方面，在步骤S262中，在缺陷校正单元46确定感兴趣像素不是有黑点缺陷像素的情况下，该处理转到步骤S265。
[0388]在步骤S265中，缺陷校正单元46确定感兴趣像素是否是有白点缺陷像素。在缺陷校正单元46确定感兴趣像素是有白点缺陷像素的情况下，该处理转到步骤S266。
[0389]在步骤S266中，缺陷校正单元46根据作为步骤S214的处理结果的纹理检测方向选择要用于取代像素值的像素。
[0390]在步骤S267中，缺陷校正单元46通过用通过步骤S266的处理选择的像素的像素值的较大一个取代感兴趣像素的像素值进行校正。
[0391]在步骤S262到S267的处理中，例如，在纹理的方向是水平方向的情况下，选择图11的63和64。进一步，在纹理的方向是垂直方向的情况下，选择图11的G1和66。更进一步，在纹理的方向是+45°方向的情况下，选择图11的62和65。另外，在纹理的方向是-45°方向的情况下，选择图11的Gtl和G7。
[0392]当确定感兴趣像素是有白点缺陷像素时，用如上所述选择的两个像素的像素值的较大一个取代感兴趣像素的像素值。进一步，当确定感兴趣像素是有黑点缺陷像素时，用如上所述选择的两个像素的像素值的较小一个取代感兴趣像素的像素值。
[0393]另一方面，在步骤S261中，在缺陷校正单元46确定感兴趣像素不是G像素(具体地说，感兴趣像素是R或B像素)的情况下，该处理转到图30的步骤S281。
[0394]在步骤S281中，缺陷校正单元46确定在步骤S214的处理中检测到的纹理的方向是否是垂直方向。在缺陷校正单元46确定纹理的方向不是垂直方向的情况下，该处理转到步骤S282。
[0395]在步骤S282中，缺陷校正单元46确定感兴趣像素是否是有黑点缺陷像素。在缺陷校正单元46确定感兴趣像素是有黑点缺陷像素的情况下，该处理转到步骤S283。
[0396]在步骤S283中，缺陷校正单元46根据在步骤S214的处理中检测到的纹理的方向选择具有与感兴趣像素相同的颜色和曝光时间的像素。
[0397]在步骤S284中，缺陷校正单元46用在步骤S283的处理中选择的像素的像素值的较小一个取代感兴趣像素的像素值。
[0398]另一方面，在步骤S282中，在缺陷校正单元46确定感兴趣像素不是有黑点缺陷像素的情况下，该处理转到步骤S285。
[0399]在步骤S285中，缺陷校正单元46确定感兴趣像素是否是有白点缺陷像素。在缺陷校正单元46确定感兴趣像素是有白点缺陷像素的情况下，该处理转到步骤S286。
[0400]在步骤S286中，缺陷校正单元46根据在步骤S214的处理中检测到的纹理的方向选择具有与感兴趣像素相同的颜色和曝光时间的像素。
[0401]在步骤S287中，缺陷校正单元46用在步骤S286的处理中选择的像素的像素值的较大一个取代感兴趣像素的像素值。
[0402]在步骤S282到S287的处理中，例如，在纹理的方向是+45 °方向的情况下，选择图14的R2和R5。在纹理的方向是-45°方向的情况下，选择图14的Rtl和R7。
[0403]在纹理的方向是水平方向的情况下，选择图14的R3和R4。在均匀曝光阵列中，沿着水平方向与感兴趣像素最接近和具有与感兴趣像素相同的颜色的像素是具有与感兴趣像素的曝光时间不同的曝光时间的像素。因此，有必要从通过进一步扩展由35( = 7X5)个像素形成的方向检测区域获得的由45( = 9X5)个像素形成的方向检测区域中选择像素。
[0404]在感兴趣像素是有黑点缺陷像素的情况下，用所选像素的像素值的较小一个取代感兴趣像素的像素值。在感兴趣像素是有白点缺陷像素的情况下，用所选像素的像素值的较大一个取代感兴趣像素的像素值。
[0405]另一方面，在步骤S281中，在缺陷校正单元46确定纹理的方向是垂直方向的情况下，该处理转到图31的步骤S301。
[0406]在步骤S301中，缺陷校正单元46通过线性内插计算虚像素的像素值。
[0407]具体地说，在纹理的方向是垂直方向的情况下，通过线性内插计算沿着垂直方向的两个位置上的像素的像素值。例如，计算具有如图14中的(RfR2)A计算的像素值的虚像素值和具有如(R5+R7)/2计算的像素值的虚像素值。这是因为，在均匀曝光阵列中，在与五行相对应的区域中沿着垂直方向不存在相同颜色和曝光时间的像素。
[0408]在步骤S302中，缺陷校正单元46确定感兴趣像素是否是有黑点缺陷像素。在缺陷校正单元46确定感兴趣像素是有黑点缺陷像素的情况下，该处理转到步骤S303。
[0409]在步骤S303中，缺陷校正单元46将在步骤S301的处理中计算的虚像素值的较小一个设置成校正候选值。
[0410]另一方面，在步骤S302中，在缺陷校正单元46确定感兴趣像素不是有黑点缺陷像素的情况下，该处理转到步骤S304。
[0411]在步骤S304中，缺陷校正单元46确定感兴趣像素是否是有白点缺陷像素。在缺陷校正单元46确定感兴趣像素是有白点缺陷像素的情况下，该处理转到步骤S305。
[0412]在步骤S305中，缺陷校正单元46将在步骤S301的处理中计算的虚像素值的较大一个设置成校正候选值。
[0413]在步骤S306中，对于在步骤S303或S305中获得的校正候选值，通过乘以通过(长时间曝光像素的曝光时间/短时间曝光像素的曝光时间)获得的增益校正短时间曝光像素的像素值。
[0414]在步骤S307中，缺陷校正单元46计算具有与感兴趣像素相同的颜色和沿着垂直方向的像素的像素值的平均值。例如，在图14的情况下，计算(R^ig/2。应当注意到，R1和R6是通过线性内插计算的虚像素的像素值。
[0415]在步骤S308中，缺陷校正单元46计算在步骤S303或S305中获得的校正候选值与在步骤S307中获得的平均值之间的差的绝对值。
[0416]在步骤S309中，缺陷校正单元46根据在步骤S308中获得的差的绝对值，确定将感兴趣像素的像素值与校正候选值混合时的混合比。
[0417]那时，例如，如上面参考图15所述确定混合比。
[0418]在步骤S310中，缺陷校正单元46根据在步骤S309中获得的混合比，将感兴趣像素的像素值与校正候选值混合，以便校正感兴趣像素的像素值。
[0419]这样，进行了饱和和非平坦状态下的缺陷校正处理。
[0420]如上所述，进行了均匀曝光阵列中的缺陷校正处理。
[0421]在上面的描述中，描述了将本公开的实施例应用于通过依照拜耳阵列的像素阵列中的像素的位置改变曝光时间来获取高动态范围中图像的图像传感器的例子，所述高动态范围中的图像从低亮度的像素到高亮度的像素适当地显示。但是，本公开的实施例也可应用于通过依照拜耳阵列的像素阵列中的像素的位置改变光敏度来获取高动态范围中的图像的图像传感器，所述高动态范围中的图像从低亮度的像素到高亮度的像素适当地显示。
[0422]进一步，本公开的实施例所应用的图像传感器不局限于具有拜耳阵列的像素阵列的图像传感器。
[0423]图32是示出按照本公开的实施例的用作半导体器件的固态成像器件的配置例子的图形。在图32中，固态成像器件100是采用，例如，SVE(随空间变化曝光)方法的图像传感器，构成可以进行上面参考图17到31所述的处理的图像传感器100。
[0424]如图32所示，图像传感器100具有包括第一芯片(上芯片)101和第二芯片(下芯片)102的分层结构。图像传感器100形成具有如后所述，晶片粘合和单颗切出之后获得的分层结构的固态成像器件。
[0425]例如，在两个上下芯片的分层结构中，第一芯片101构成图像传感器芯片，第二芯片102构成包括第一芯片的控制电路和图像处理电路的逻辑芯片。
[0426]在第二芯片(下芯片)102中形成焊接盘BH)和输入和输出电路。在第一芯片(上芯片)中形成线焊第二芯片102的开口 0ΡΝ。
[0427]在图32中的图像传感器100的上侧和在第一芯片101的中心上，形成以行曝光阵列或均匀曝光阵列布置短时间曝光像素和长时间曝光像素的像素阵列。
[0428]在第二芯片(下芯片)102中，形成实现显示在图3中的图像处理设备10的功能的电路等。
[0429]图33是描述按照本实施例的具有分层结构的图像传感器的工艺流程的图。
[0430]如图33的下部所示，相互粘合通过各自最佳工艺制造上下芯片的晶片。随后，抛光上芯片的背面，以及减小上芯片的晶片厚度。在第一芯片(上芯片)101上进行图案印刷之后，形成从第一芯片101穿到第二芯片(下芯片)102的布线层的通孔，并将金属填入其中以便形成通路。
[0431]如图33的中部所示，通过那些通路电连接上下芯片之间的信号线和供电线。
[0432]如图33的右部所示，在对第一芯片(上芯片)101进行滤色镜和显微透镜的处理之后，单颗切出芯片。
[0433]图34是示出应用了本公开的实施例的用作电子装置的成像装置的配置例子的框图。
[0434]图34的成像装置600包括由透镜组等构成的光学单元601、固态成像器件(成像器件)602、和用作照相机信号处理电路的DSP (数字信号处理)电路603。进一步，成像装置600包括帧存储器604、显示器605、记录单元606、操作单元607、和供电单元608。DSP电路603、帧存储器604、显示器605、记录单元606、操作单元607、和供电单元608经由总线609相互连接。
[0435]光学单元601吸收来自被摄物的入射光，例如，图像光，在固态成像器件602的成像表面上形成图像。固态成像器件602逐个像素地将光学单元601在成像表面上形成图像的入射光量转换成电信号。固态成像器件602随后输出电信号作为像素信号。像按照上述实施例的图像传感器100那样的固态成像器件可以用作固态成像器件602。
[0436]显示器605由像液晶面板或有机EL (电致发光)面板那样的显示面板形成，并显示固态成像器件602捕获的运动图像或静止图像。记录单元606将固态成像器件602捕获的运动图像或静止图像记录在像录像带和DVD(数字多功能盘)那样的记录介质上。
[0437]操作单元607在用户的操作下发出有关成像装置600的各种功能的操作命令。供电单元608适当地将用作DSP电路603、帧存储器604、显示器605、记录单元606、和操作单元607的工作电力的各种类型电力供应给那些供应目标。
[0438]进一步，本公开的实施例不局限于应用于检测入射可见光量的分布和捕获该分布作为图像的固态成像器件。本公开的实施例可应用于捕获红外线或X射线的入射光量的分布或粒子的分布等的固态成像器件，或更广义地说，可应用于包括检测像压强和静电电容那样的另一个物理量的分布，和捕获该分布的图像的指纹检测传感器在内的所有固态成像器件(物理量分布检测设备)。
[0439]更进一步，本公开的实施例不局限于上述实施例，而可以不偏离本公开的主旨地作各种各样修改。
[0440]应当注意到，本公开可以具有如下配置。
[0441](I) 一种固态成像器件，包括:
[0442]包括多个像素的像素阵列，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置；以及
[0443]像素值校正单元，其被配置成在从该像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值。
[0444](2)按照(I)所述的固态成像器件，其中
[0445]该像素阵列包括每一个具有相同曝光时间和相同曝光灵敏度之一以及逐行规则布置的多个像素。
[0446](3)按照(I)所述的固态成像器件，其中
[0447]该像素阵列包括多个像素，该多个像素包括每一个具有相同曝光时间和相同曝光灵敏度之一以及被规则布置成L形的一群像素的预定个像素。
[0448](4)按照⑴到(3)的任何一项所述的固态成像器件，其中
[0449]该像素值校正单元被配置成将布置在该像素阵列中的多个像素中的一个感兴趣像素设置成该像素阵列的中心，提取包括预设个像素行的处理单位区域，以及为每个处理单位区域校正该感兴趣像素的像素值。
[0450](5)按照⑷所述的固态成像器件，其中
[0451]该处理单位区域包括五行。
[0452](6)按照(4)所述的固态成像器件，其中
[0453]该像素值校正单元包括
[0454]饱和性确定单元，其被配置成根据该处理单位区域的像素当中输出最大像素值的像素的数量确定该处理单位区域是否达到饱和；
[0455]平坦性确定单元，其被配置成确定由该处理单位区域的像素形成的图像是否是无纹理的平坦图像；
[0456]方向检测单元，其被配置成当确定由该处理单位区域的像素形成的图像不是平坦图像时检测纹理的方向；
[0457]缺陷确定单元，其被配置成确定该感兴趣像素是否是有缺陷像素；以及
[0458]缺陷校正单元，其被配置成当确定该感兴趣像素是有缺陷像素时校正该感兴趣像素的像素值。
[0459](7)按照(6)所述的固态成像器件，其中
[0460]依照该饱和性确定单元的确定结果，通过不同方法，将该平坦性确定单元配置成确定该图像是否是平坦图像，以及将该方向检测单元配置成检测纹理的方向。
[0461](8)按照(7)所述的固态成像器件，其中
[0462]依照该平坦性确定单元的确定结果，通过不同方法，将该缺陷确定单元配置成确定该感兴趣像素是否是有缺陷像素，以及将该缺陷校正单元配置成校正该感兴趣像素的像素值。
[0463](9)按照⑶所述的固态成像器件，其中
[0464]该缺陷校正单元被配置成当确定由该处理单位区域的像素形成的图像不是平坦图像时，通过用根据纹理的检测方向选择的像素的像素值取代该感兴趣像素的像素值来校正该感兴趣像素的像素值。
[0465](10)按照(9)所述的固态成像器件，其中
[0466]在该像素阵列包括多个像素，该多个像素包括每一个具有相同曝光时间和相同曝光灵敏度之一以及被规则布置成L形的一群像素的预定个像素的情况下，以及当纹理的检测方向是垂直方向时，将该缺陷校正单元配置成通过线性内插生成根据纹理的方向选择的像素的像素值。
[0467](11)按照(10)所述的固态成像器件，其中
[0468]该缺陷校正单元被配置成根据依据通过线性内插生成的像素值确定的混合比，混合通过线性内插生成的像素值和该感兴趣像素的像素值。
[0469](12)按照(6)所述的固态成像器件，进一步包括:
[0470]增益增加单元，其被配置成将该处理单位区域的像素当中，具有第一曝光时间和第一曝光灵敏度之一的像素的像素值乘以预定增益，从而将具有第二曝光时间和第二曝光灵敏度之一的像素的像素值作为参考，归一化该处理单位区域的像素的像素值。
[0471](13)按照⑴到(12)的任何一项所述的固态成像器件，其中
[0472]该固态成像器件包括分层式图像传感器，其包括
[0473]布置像素阵列的第一芯片；以及
[0474]包括实现该像素值校正单元的功能的电路的第二芯片。
[0475](14) 一种固态成像方法，包括:
[0476]在从像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置。
[0477](15) 一种电子装置，包括:
[0478]固态成像器件，其包括:
[0479]包括多个像素的像素阵列，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置；以及
[0480]像素值校正单元，其被配置成在从该像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值。
[0481]本领域的普通技术人员应该明白，只要在所附权利要求书或其等效物的范围之内，视设计要求和其它因素而定，可以作出各种各样的修改、组合、分组合和变更。
【权利要求】
1.一种固态成像器件，包含: 包括多个像素的像素阵列，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置；以及 像素值校正单元，其被配置成在从该像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值。
2.按照权利要求1所述的固态成像器件，其中 该像素阵列包括每一个具有相同曝光时间和相同曝光灵敏度之一以及逐行规则布置的多个像素。
3.按照权利要求1所述的固态成像器件，其中 该像素阵列包括多个像素，该多个像素包括每一个具有相同曝光时间和相同曝光灵敏度之一以及被规则布置成L形的一群像素的预定个像素。
4.按照权利要求1所述的固态成像器件，其中 该像素值校正单元被配置成将布置在该像素阵列中的多个像素中的一个感兴趣像素设置成该像素阵列的中心，提取包括预设个像素行的处理单位区域，以及为每个处理单位区域校正该感兴趣像素的像素值。
5.按照权利要求4所述的固态成像器件，其中 该处理单位区域包括五行。
6.按照权利要求4所述的固态成像器件，其中 该像素值校正单元包括 饱和性确定单元，其被配置成根据该处理单位区域的像素当中输出最大像素值的像素的数量确定该处理单位区域是否达到饱和； 平坦性确定单元，其被配置成确定由该处理单位区域的像素形成的图像是否是无纹理的平坦图像； 方向检测单元，其被配置成当确定由该处理单位区域的像素形成的图像不是平坦图像时检测纹理的方向； 缺陷确定单元，其被配置成确定该感兴趣像素是否是有缺陷像素；以及缺陷校正单元，其被配置成当确定该感兴趣像素是有缺陷像素时校正该感兴趣像素的像素值。
7.按照权利要求6所述的固态成像器件，其中 依照该饱和性确定单元的确定结果，通过不同方法，将该平坦性确定单元配置成确定该图像是否是平坦图像，以及将该方向检测单元配置成检测纹理的方向。
8.按照权利要求7所述的固态成像器件，其中 依照该平坦性确定单元的确定结果，通过不同方法，将该缺陷确定单元配置成确定该感兴趣像素是否是有缺陷像素，以及将该缺陷校正单元配置成校正该感兴趣像素的像素值。
9.按照权利要求8所述的固态成像器件，其中 该缺陷校正单元被配置成当确定由该处理单位区域的像素形成的图像不是平坦图像时，通过用根据纹理的检测方向选择的像素的像素值取代该感兴趣像素的像素值来校正该感兴趣像素的像素值。
10.按照权利要求9所述的固态成像器件，其中 在该像素阵列包括多个像素，该多个像素包括每一个具有相同曝光时间和相同曝光灵敏度之一以及被规则布置成L形的一群像素的预定个像素的情况下，以及当纹理的检测方向是垂直方向时，将该缺陷校正单元配置成通过线性内插生成根据纹理的方向选择的像素的像素值。
11.按照权利要求10所述的固态成像器件，其中 该缺陷校正单元被配置成根据依据通过线性内插生成的像素值确定的混合比，混合通过线性内插生成的像素值和该感兴趣像素的像素值。
12.按照权利要求6所述的固态成像器件，进一步包含: 增益相加单元，其被配置成将该处理单位区域的像素当中，具有第一曝光时间和第一曝光灵敏度之一的像素的像素值乘以预定增益，从而将具有第二曝光时间和第二曝光灵敏度之一的像素的像素值作为参考，归一化该处理单位区域的像素的像素值。
13.按照权利要求1所述的固态成像器件，其中 该固态成像器件包括分层式图像传感器，其包括 布置像素阵列的第一芯片；以及 包括实现该像素值校正单元的功能的电路的第二芯片。
14.一种固态成像方法,包含: 在从像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置。
15.一种电子装置，包含: 固态成像器件，其包括: 包括多个像素的像素阵列，该多个像素的每一个具有不同曝光时间和不同曝光灵敏度之一以及按照预定规则来布置；以及 像素值校正单元，其被配置成在从该像素阵列中的多个像素中获得的像素值当中，通过使用多个像素的另一个像素的像素值校正适合预设条件的多个像素的一个像素的像素值。
【文档编号】H04N5/357GK104284105SQ201410317407
【公开日】2015年1月14日 申请日期:2014年7月4日 优先权日:2013年7月11日
【发明者】藤田和英, 冈村健太郎 申请人:索尼公司