像素缺陷校正器件、成像设备、像素缺陷校正方法和程序的制作方法

专利名称：像素缺陷校正器件、成像设备、像素缺陷校正方法和程序的制作方法
技术领域：
本发明涉及固态成像器件(如CCD或CMOS传感器)中具有检测和补偿缺陷像素 的功能的像素缺陷校正器件、成像设备、像素缺陷校正方法和程序。
背景技术：
一般来说，在固态成像器件(如CXD (电荷耦合器件)和CMOS (互补金属氧化物半 导体)传感器)中产生缺陷像素是已知的。在这种固态成像器件中，如下内容是已知的由于半导体器件的局部液晶缺陷等 而产生输出异常成像信号的缺陷像素，并且这导致图像质量的恶化。缺陷像素的示例包括黑缺陷像素和白缺陷像素。也就是说，固态成像器件的像素缺陷包括白缺陷(其由预定量的电荷添加到正常 信号电平而引起)和黑缺陷(通过其信号电平以预定速率下降或者总是输出零附近的信号 电平)。由于这些缺陷导致图像输出时图像质量的恶化，因此已经提出了各种缺陷检测和 校正方法(例如，参见 JP-A-2005-318383 和 JP-A-2008-1M276)。—般来说，通过计算替换缺陷像素值的值并以计算出的值替换缺陷像素的值来实 现确定为有缺陷的像素的缺陷校正。可以通过检测缺陷像素周围的边缘并使用两个像素(其位于边缘方向上，缺陷像 素夹在其之间)的平均值以便自适应地与成像的图像相对应，来实现计算校正值的方法。

发明内容
然而，由于处于中间的像素值是不正常的，因此如果缺陷像素本身用于边缘检测， 则存在显著地降低边缘检测精度的很高可能性。例如，在JP-A-2005-318383和JP-A-2008-154276中公开的方法中，即使不仅将待 确定其缺陷的像素用于边缘检测而且将当已经去除彩色信号载波(color carrier)时的亮 度值也用于边缘检测，也难以精确地执行边缘检测，这是因为与以上所述的内容类似，感兴 趣的像素是不正常的。为此，认为缺陷检测的精度也降低。考虑到以上情况，期望提供像素缺陷校正器件、成像设备、像素缺陷校正方法和程 序，其能够提高边缘检测精度并提高缺陷检测精度。根据本发明的实施例，提供了像素缺陷校正器件，包括缺陷确定部件，确定图像 的感兴趣像素是否为图像的缺陷，在所述图像中以二维方式排列每一个均具有像素值的多 个像素；梯度检测部件，至少基于处理区域中包括的感兴趣像素周围的外围像素的值，在处 理区域中检测梯度或边缘，所述处理区域包括多个像素，其中感兴趣像素位于中间；校正值 获取部件，根据检测到的梯度或边缘，选择用于感兴趣像素的校正值的获取的像素，并从所 选的像素的值来获取校正值；以及缺陷像素替换部件，当确定感兴趣像素为图像的缺陷时， 以校正值替换感兴趣像素的值。
根据本发明的另一实施例，提供了成像设备，包括像素部件，包括成像被摄体图 像的成像器件；以及像素缺陷校正器件，从成像器件接收图像数据，并执行像素缺陷校正处 理。另外，所述像素缺陷校正器件包括缺陷确定部件，确定图像的感兴趣像素是否为图像 的缺陷，在所述图像中以二维方式排列每一个均具有像素值的多个像素；梯度检测部件， 至少基于处理区域中包括的感兴趣像素周围的外围像素的值，在处理区域中检测梯度或边 缘，所述处理区域包括多个像素，其中感兴趣像素位于中间；校正值获取部件，根据检测到 的梯度或边缘，选择用于感兴趣像素的校正值的获取的像素，并从所选的像素的值来获取 校正值；以及缺陷像素替换部件，当确定感兴趣像素为图像的缺陷时，以校正值替换感兴趣 像素的值。根据本发明的再一实施例，提供了像素缺陷校正方法，包括如下步骤确定图像的 感兴趣像素是否为图像的缺陷，在所述图像中以二维方式排列每一个均具有像素值的多个 像素；至少基于处理区域中包括的感兴趣像素周围的外围像素的值，在处理区域中检测梯 度或边缘，所述处理区域包括多个像素，其中感兴趣像素位于中间；根据检测到的梯度或边 缘，选择用于感兴趣像素的校正值的获取的像素，并从所选的像素的值来获取校正值；以及 当确定感兴趣像素为图像的缺陷时，以校正值替换感兴趣像素的值。根据本发明的又一实施例，提供了一种程序，使得计算机执行像素缺陷校正处理， 包括缺陷确定处理，确定图像的感兴趣像素是否为图像的缺陷，在所述图像中以二维方式 排列每一个均具有像素值的多个像素；方向检测处理，至少基于处理区域中包括的感兴趣 像素周围的外围像素的值，在处理区域中检测梯度或边缘，所述处理区域包括多个像素，其 中感兴趣像素位于中间；校正值获取处理，根据检测到的梯度或边缘，选择用于感兴趣像素 的校正值的获取的像素，并从所选的像素的值来获取校正值；以及替换处理，当确定感兴趣 像素为图像的缺陷时，以校正值替换感兴趣像素的值。根据本发明的实施例，可以提高边缘检测精度，并且作为结果可以提高缺陷检测 精度。


图1是示出应用了根据本发明第一实施例的像素缺陷校正器件的成像设备的配 置示例的框图；图2是示出作为像素排列的示例的拜耳排列(Bayer arrangement)的图；图3是示出第一实施例中像素部件中单元像素的配置示例的电路图；图4是示出图1中所示的像素部件的配置示例的图；图5是示出根据第一实施例的缺陷检测和校正电路的配置示例的图；图6是示出在拜耳排列上5像素X5像素的处理区域的示例的图；图7是示出当使用伪值(pseudo value)作为亮度值时伪亮度值计算处理的图像 的图；图8A到图8D是示出在梯度计算中涉及的亮度位置的图；图9是示出除了具有与要确定其缺陷的像素相同颜色的像素之外的伪亮度计算 处理的图像的图；图10是示出根据第一实施例的缺陷检测和校正电路的缺陷检测和校正处理的流程图的图；图IlA到图IlC是示出实际处理图像的图；图12是示出在图IlA到图IlC中所示的情况下像素值的示例的图；图13是示出通过使用已知方法计算出的伪亮度的图；图14是示出通过使用根据第一实施例的方法计算出的伪亮度的图；图15是示出当通过以具有相同颜色的八个外围像素的平均值来替换要确定其缺 陷的像素来计算伪亮度时的图像的图；图16A和图16B是当仅感兴趣的像素有缺陷时处理区域的多个像素值的示例的说 明图；图17A和图17B是当在感兴趣的像素和外围像素中存在相邻缺陷时处理区域的多 个像素值的示例的说明图；图18是示出根据本发明第二实施例的缺陷检测和校正电路的配置示例的图；图19是示出根据第二实施例的缺陷检测和校正电路的缺陷检测和校正处理的流 程图的图；图20示出了嵌入相邻像素的图像的示例；图21示出了通过使用第一实施例中的像素缺陷校正处理来校正图20中的图像所 获得的图像；图22示出了通过使用第二实施例中的像素缺陷校正处理来校正图20中的图像所 获得的图像；以及图23是示出根据第二实施例的缺陷检测和校正电路的另一缺陷检测和校正处理 的流程图的图。
具体实施例方式在下文中，将参照附图描述本发明的第一实施例。
另外，将以如下顺序给出说明。1.第一实施例(基于具有与感兴趣像素不同的彩色分量的像素来获取梯度或边 缘的示例)2.第二实施例(校正偶联(couplet)像素缺陷的示例)<1.第一实施例>[成像设备的整体配置的示例]图1是示出应用了根据本发明第一实施例的像素缺陷校正器件的成像设备的配 置示例的框图。如图1所示，成像设备10包括光学系统11和作为固态成像器件的CMOS图像传感 器12。光学系统11在成像器件12的成像表面上形成被摄体图像。CMOS图像传感器12包括像素部件13、模拟前端(AFE) 14、模数转换器(ADC) 15和 预处理部分16。CMOS图像传感器12包括缺陷检测和校正电路17，其采用根据本发明第一实施例 的像素缺陷校正方法；后处理部件18 ；以及功能和定时控制部件19。
像素部件13由CMOS传感器形成，并且多个单元像素以矩阵排列。例如，采用图2中所示的拜耳排列作为像素部件13中的像素排列。图3是示出第一实施例中像素部件13中单元像素的配置示例的电路图。图3示出了第一实施例中由四个晶体管形成的CMOS图像传感器的像素示例。每一个像素电路130具有由光电二极管形成的光电转换元件131，例如如图3所示。另外，像素电路130具有四个晶体管传输晶体管132、复位晶体管133、放大晶体 管134和选择晶体管135，作为一个光电转换元件131的有源元件。光电转换元件131执行入射光到与光量相对应的电荷(这里为电子)的光电转换。传输晶体管132连接在光电转换元件131和浮置扩散FD之间，并将作为控制信号 的传输信号TG经由传输控制线LTx发送到传输晶体管132的栅极(传输栅极)。因此，传输晶体管132将由光电转换元件131进行光电转换的电子传输到浮动扩 散FD。复位晶体管133连接在电源线LVDD和浮动扩散FD之间，并将作为控制信号的复 位信号RST经由复位控制线LRST发送到复位晶体管133的栅极。因此，复位晶体管133将浮动扩散FD的电势复位到电源线LVDD的电势。放大晶体管134的栅极连接到浮动扩散FD。放大晶体管134经由选择晶体管135 连接到信号线LSGN，并与在像素部件外提供的恒流源136 —起形成源极跟随器。另外，将根据地址信号的作为控制信号的选择信号SEL经由选择控制线LSEL发送 到选择晶体管135的栅极。结果，选择晶体管135导通。如果选择晶体管135导通，则放大晶体管134放大浮动扩散FD的电势，并将与电 势相对应的电压输出到信号线LSGN。将从每一个像素输出的电压经由信号线LSGN输出到 作为读电路的AFE 14。例如，由于传输晶体管132、复位晶体管133和选择晶体管135的栅极以行为单位 连接，因此对于一行像素同时地执行这些操作。在像素部件13中，与像素阵列部分线连接的一组复位控制线LRST、传输控制线 LTx和选择控制线LSEL以像素排列的行为单位线连接。通过垂直扫描电路(未示出)来驱动复位控制线LRST、传输控制线LTx和选择控 制线LSEL。另外，输出信号线LSGN连接到包括相关二重采样(CDS)电路等的读电路。在第一实施例中，使AFE 14具有⑶S电路功能。当在通过利用预处理部件16执行数字信号处理所获得的数字图像信号中存在缺 陷像素信号时，缺陷检测和校正电路17使用缺陷像素检测和校正方法(稍后将详细描述) 来校正缺陷像素，并将校正之后的数字信号输出到后处理部件18。如下面所示，第一实施例中的缺陷检测和校正电路17从图像(其中以二维方式排 列多个像素)中选择感兴趣像素，并确定所选的感兴趣像素是否为缺陷像素。当所选的感 兴趣像素是缺陷像素时，缺陷检测和校正电路17校正感兴趣像素的值。另外，缺陷检测和校正电路17具有梯度检测功能，其使用具有与要确定其缺陷的像素(所选的感兴趣像素)相同颜色的像素以外的彩色像素。缺陷检测和校正电路17具有梯度检测功能，其使用具有与要确定其缺陷的像素 相同颜色的像素以外的彩色像素；以及改变功能，用于通过梯度检测功能，当选择包括具有 相同颜色的相邻缺陷像素的最大或最小值的方向作为缺陷校正方向时，改变到其他方向。另外，缺陷检测和校正电路17具有在以具有相同颜色的八个外围像素的平均值 来替换要确定其缺陷的像素之后使用该像素的梯度检测功能。缺陷检测和校正电路17具有在以相同颜色周围除了最大和最小值之外的六个像 素的平均值来替换要确定其缺陷的像素之后使用该像素的梯度检测功能。在下文中，将描述成像设备10的功能概要，然后将描述像素部件的特定配置示例 以及缺陷检测和校正电路17的特定配置和功能。[成像设备的功能概要]经由光学系统11将从被摄体获得的入射光输入到CMOS图像传感器12的像素部 件13。在像素部件13中通过光电转换将入射光转换为电信号，然后将其输入到AFE 14。 输出输入电信号作为由AFE 14执行相关二重采样和自动增益控制(AGC)之后的电信号。输出从AFE 14输出的电信号，作为由ADC 15执行A/D转换处理之后的数字信号。由预处理部件16执行关于数字信号的各种数字处理，并且将数字信号输出到缺 陷检测和校正电路17。当在数字信号中存在缺陷像素信号时，缺陷检测和校正电路17使用缺陷像素检 测和校正方法(稍后描述)来校正缺陷像素信号，并输出校正之后的数字信号。将数字信号输入到后处理部件18，并且在执行各种数字处理之后进行输出。数字 信号变为CMOS图像传感器12的输出信号。另外，功能和定时控制部件19控制CMOS图像传感器12的每一部件的操作。[像素部件的配置示例]图4是示出图1中所示的像素部件13的配置示例的图。像素部件13具有有效像素区域21 (其具有多个有效像素31，每一个均具有与RGB 颜色之一对应的滤波器)以及消隐区域22和23，如图4所示。消隐区域22具有OB像素区域25(其具有多个光学黑(OB)像素32)和虚拟 (dummy)像素区域24 (其具有多个虚拟像素33)。有效像素区域21包括R (红)透射滤波器的像素PX10、B (蓝)透射滤波器的像素 PXll和G (绿)透射滤波器的像素PX12作为有效像素31，并且这些像素以矩阵排列。有效像素区域21具有第一滤波器行FLTl 1，其中R透射滤波器的像素PXlO和G透 射滤波器的像素PX12在水平方向(X方向)上交替地重复。有效像素区域21具有第二滤波器行FLT12，其中G透射滤波器的像素PX12和B透 射滤波器的像素PXll在水平方向上交替地重复。在有效像素区域21中，第一和第二滤波器行FLTll和FLT12在垂直方向(Y方向) 上重复地交替排列。排列第一滤波器行FLTll的G透射滤波器的像素PX12和第二滤波器行FLT12的 G透射滤波器的像素PX12，以便在垂直方向上彼此不重叠。一般来说，该滤波器排列用作拜耳排列。此外，与具有RGB滤波器的有效像素31类似，在OB行OPB 11 (其中OB像素32处 于阴影状态)中可能存在缺陷像素。在虚拟像素行DMYll中不存在缺陷。从多个虚拟像素行DMY11、多个OB行OPBll以及第一和第二滤波器行FLTll和 FLT12交替地输出这些像素输出。在第一实施例中，在多个OB行OPB 11和有效像素区域21的多个行中执行缺陷检 测和校正处理。[缺陷检测和校正电路的配置示例]图5是示出根据第一实施例的缺陷检测和校正电路17的配置示例的图。图6是示出拜耳排列上的处理区域(5像素X5像素)的示例的图。图7是示出当使用伪值作为亮度值时伪亮度值计算处理的图像的图。图8A到图8D是示出梯度计算中涉及的亮度位置的图。图9是示出除了具有与要确定其缺陷的像素相同颜色的像素之外的伪亮度计算 处理的图像的图。如图5所示，缺陷检测和校正电路17包括线缓冲器171、阈值和系数设置部件 172、缺陷确定阈值计算部件173、梯度计算部件(梯度检测部件)174、缺陷确定部件175、校 正值计算部件(校正值获取部件)176和缺陷像素替换部件177。另外，尽管在第一实施例中描述了梯度检测的示例，但是本发明也可以类似地应 用于边缘检测的情况。线缓冲器171由四条线的存储器形成，并根据从像素部件13输出的拜耳排列信号 SIM产生(水平方向上5像素)X (垂直方向上5个像素)的处理区域PRCA (感兴趣像素 (要确定其缺陷的像素DJPX)位于中间)，如图6所示。线缓冲器171将信号S171 (其包括关于所产生的处理区域PRCA的信息)输出到 缺陷确定阈值计算部件173和梯度计算部件174。这里，水平方向是图6所示的坐标系上的X方向，而垂直方向是Y方向。另外，尽管处理区域是5像素X5像素的区域，但这仅为示例。例如，本发明也可 以应用于比5像素X5像素的区域更大的区域。缺陷确定阈值计算部件173将从在前一级提供的线缓冲器171输出的缺陷确定基 准值DJRF乘以阈值和系数设置部件172所设置的阈值和系数。尽管不特别地限制缺陷确定基准值DJRF，但具有相同颜色或不同颜色的相邻像素 的最大值、最小值或平均值、第N最大值或第N最小值(N:2到4)等对应于缺陷确定基准值 DJRF。可以组合地应用扩散和相关。缺陷确定阈值计算部件173将计算结果输出到缺陷确定部件175，作为信号S173。缺陷确定部件175将使用该要确定其缺陷的像素DJPX或一要确定其缺陷的像素 的计算值与作为阈值的缺陷确定阈值计算部件的计算结果进行比较，并确定其是否为缺陷像素。缺陷确定部件175将指示要确定其缺陷的像素(感兴趣像素)是否为缺陷像素的 确定结果输出到缺陷像素替换部件177，作为信号S175。
梯度计算部件174计算要确定其缺陷的像素位于中间的5X5像素的处理区域的 梯度。一般而言，梯度计算部件174在计算亮度值之后计算梯度。这里，为了简单起见，将伪值用作亮度值。图7示出了伪亮度的图像。通过比较图7 和图 6，可以看出“3、(、6、1^111、0、11、《、7”是1 ，“13、(1、1、11、￥、1”是 Gr，而 “f、h、」、？、1~3”是613，并且“8、i、q、S” 是 B。伪亮度的位置是在四个像素围绕的位置处示出的“A、B、C、D、E、F、G、H、I、J、K、L、 Μ、Ν、0、Ρ”。根据四个围绕像素之和来计算伪亮度。例如，A = (a+b+f+g)、B = (b+c+g+h)........P = (s+t+x+y)。这些可以是平均值，或者R、Gr、B和( 可以与加权系数相乘。在伪亮度计算之后，对于每一个方向计算梯度，并且如图8A到图8D所示，检测到 与最缓和的梯度对应的方向。梯度计算可以经由差运算或差分运算来执行，或者可以以边 缘检测来代替。在这种情况下，可以经由二次差运算或二次差分运算来执行。图8A到图8D示出了对于每一个方向以直线对齐的三个连续亮度值的四个组。图8A示出了在垂直方向上计算梯度的示例，图8B示出了在水平方向上计算梯度 的示例，图8C示出了在右上方向上计算梯度的示例，而图8D示出了在左上方向上计算梯度 的示例。也就是说，梯度计算部件184在四个方向(垂直方向、水平方向、45°倾斜方向和 135°倾斜方向)上获取梯度。下面示出二次差分的运算示例。假设以直线对齐的三个亮度值是X、Y和Z，并且设置X-2Y+Z。对于每一个方向计算四个二次差分值，对于每一个方向计算并比较绝对值之和， 并且将与最小值对应的方向设置为最缓和的梯度方向。在第一实施例中，如下运算用于上述伪亮度计算。图9示出了第一实施例中使用的伪亮度运算的图像。伪亮度的位置为在四个像素围绕的位置处示出的“A'、B'、C'、D'、E'、F'、 G'、H'、I'、J'、K'、L'、M'、N'、 ‘、P'，，。在图9中，根据除了具有与缺陷像素相同颜色的像素之外的四个围绕像素的三个 像素之和计算伪亮度。例如，A= (b+f+g)、B = (b+g+h)........P = (s+t+x)。这些可以是平均值，或者R、Gr、B和( 可以以与上述相同的方式与加权系数相乘。 梯度计算与上述的相同。另外，图9示出了当感兴趣像素是像图6那样的拜耳排列的红(R)或蓝⑶时伪 亮度的示例。当感兴趣像素是拜耳排列的绿(Gr或( )时，例如，优选地对于Gr或( 的每 一个组独立地根据除了具有与缺陷像素相同颜色的像素之外的三个像素计算伪亮度。梯度计算部件174从对于多个方向计算出的梯度中选择最缓和的梯度方向。梯 度计算部件174将指示所选的最缓和的梯度方向的梯度计算结果输出到校正值计算部件 176，作为信号S174。根据在前一级提供的梯度计算部件174所选择的最缓和的梯度方向，校正值计算 部件176对要用于计算校正值的像素做出决定，并执行运算。
当使用图7中所示的符号时，如果最缓和的倾斜是纵向方向，则将(c+w)/2设置为 缺陷像素m的校正值，如果最缓和的倾斜是水平方向，则将(k+o) /2设置为缺陷像素m的校 正值，如果最缓和的倾斜是右上方向，则将(e+u)/2设置为缺陷像素m的校正值，而如果最 缓和的倾斜是左上方向，则将(a+yV2设置为缺陷像素m的校正值。也就是说，对于要确定其缺陷的像素(感兴趣像素)，校正值计算部件176选择位 于所选的梯度方向上具有相同颜色的多个像素，并计算平均值作为校正值。校正值计算部件176将计算出的校正值输出到缺陷像素替换部件177，作为信号 S176。当缺陷确定部件175确定要确定其缺陷的像素(感兴趣像素)是缺陷像素时，缺 陷像素替换部件177以校正值计算部件176计算出的缺陷像素校正值来替换缺陷像素值。缺陷像素替换部件177输出包括校正数据的图像信号，作为信号S17。[关于缺陷检测和校正处理的说明]图10是示出根据第一实施例的缺陷检测和校正电路的缺陷检测和校正处理的流 程图的图。对于形成图像的所有像素重复地执行图10中的处理。[步骤 ST101]首先，在步骤ST101，线缓冲器171根据从像素部件13输出的拜耳排列信号SIM， 产生(水平方向上的5个像素)X (垂直方向上的5个像素)的处理区域PRCA，其中感兴趣 像素(要确定其缺陷的像素DJPX)位于中间。将包括关于由线缓冲器171产生的处理区域PRCA的信息的信号S171输出到缺陷 确定阈值计算部件173和梯度计算部件174。在缺陷确定阈值计算部件173中，计算可以从外部设置的阈值以及系数和缺陷确 定基准值，并且计算用于确定要确定其缺陷的像素是否为缺陷像素的阈值。将计算结果输出到缺陷确定部件175，作为信号S173。[步骤 STlO2]在步骤ST102，缺陷确定部件175将缺陷确定阈值计算部件173计算出的阈值与要 确定其缺陷的像素的值进行比较，并确定要确定其缺陷的像素是否为缺陷像素。将确定结果输出到缺陷像素替换部件177。这里，当确定要确定其缺陷的像素为缺陷像素时，处理进行到步骤ST103。[步骤 STlO3]在步骤ST103，梯度计算部件174计算当从5X5像素(缺陷像素位于中间)中排 除具有与缺陷像素相同颜色的像素时的伪亮度，并计算所有方向(纵向方向、水平方向、右 上方向和左上方向)上的梯度。[步骤 ST104]在步骤ST104，梯度计算部件174从步骤ST103中计算出的所有方向的梯度中选择 最缓和的方向。具体地说，选择边缘强度输出值最小的方向。将结果输出到校正值计算部件176。[步骤 STlO5]在步骤ST105，在梯度计算部件174选择的方向上，校正值计算部件176计算彼此 相邻的、要确定其缺陷的像素插入在其间的、具有相同颜色的两个像素的平均值。
将计算结果输出到缺陷像素替换部件177。[步骤 ST106]在步骤ST106，缺陷像素替换部件177以校正值计算部件176计算出的校正值替换 已经被确定为有缺陷的、要确定其缺陷的像素的像素值。[步骤 STlO7]在步骤ST107，将包括步骤ST106中的处理之后以校正值替换的校正数据的图像 信号作为信号S 17输出到后面的处理系统。或者在步骤ST107，当在步骤ST102确定要确定其缺陷的像素不是缺陷像素时，将 不包括校正数据的图像信号S17输出到后面的处理系统。也就是说，按照原样地输出要确 定其缺陷的像素DJPX。图IlA到图IlC是示出实际的处理图像的图。图IlA示出了原始图像，图IlB示出了已经使用已知方法校正了其缺陷的图像，而 图IlC示出了已经使用根据第一实施例的方法校正了其缺陷的图像。图12是示出了在图IlA到图IlC所示的情况下像素值的示例的图。图13是示出使用已知方法计算出的伪亮度的图。图14是示出使用根据第一实施例的方法计算出的伪亮度的图。下面示出使用已知方法的梯度计算。纵向方向1942-2构40+10361 +11007-2构71+9821 +1940-2*1036+10711 +1971-2构82+9961 = 209水平方向1616-2*940+9711 +1748-2*1036+9821 +1940-2*971+6811 +11036-2*982+6481 = 1236右上方向1051-2*971+1036|+|971-2*1036+1142|+|1007-2*940+748|+|681-2*982+1071 = 523左上方向1856-2构40+982| +1940-2构82+9241 +1942-2构71+648| +1616-2*1036+996| = 954因此，将最小的纵向方向确定为最缓和的梯度。下面示出第一实施例中的梯度计算。纵向方向I 587-2*456+552 I+ I 652-2*487+498 I+ I 456-2*552+700 I+ I 487-2*498+625 I = 571水平方向I 444-2*456+487 I+ I 576-2*552+498 I+ I 456-2*487+514 I+ I 552-2*498+4811 = 90右上方向I 679-2*487+552| +1487-2*552+724| +1652-2*456+576| +1514-2*498+700| = 898左上方向I 575-2*456+498 I+ I 456-2*498+608 I+ I 587-2*487+4811+ I 444-2*552+625 I = 358因此，将最小的水平方向确定为最缓和的梯度。同样根据图11A，很清楚选择水平方向作为校正方向是优选的。图IlA示出了水平条纹图案的图像。作为修改，可以以具有相同颜色的八个外围像素的平均值来替换要确定其缺陷的像素的值。图15是示出当以具有相同颜色的八个外围像素的平均值来替换要确定其缺陷的 像素从而计算伪亮度时的图像的图。在这种情况下，变为A = (a+b+f+g)、B = (b+c+g+h)........P = (s+t+x+y)。可替代地，可以以具有相同颜色的八个外围像素之中除了最大和最小值之外的六 个像素的平均值来替换要确定其缺陷的像素的值，或者可以以具有相同颜色的八个外围像 素之中从最大像素值排除两个像素且从最小像素值排除两个像素的四个像素的平均值来 替换要确定其缺陷的像素的值。毫无疑问，可以以中间的两个像素的平均值来替换要确定其缺陷的像素的值，或 者可以以具有第N最大像素值的像素来替换要确定其缺陷的像素的值。如上所述，根据第一实施例，可以获得如下效果。也就是说，根据第一实施例，当计算梯度时不使用被确定为有缺陷的像素值。因 此，提高了梯度识别的精度。结果，由于直到输出图像的细节部分对于用户来说没有不舒服 的感觉，因此提高了整个图像的质量。特别地，这对于具有高分辨率的输入图像很有效。此外，由于不需要添加特殊的复杂操作，因此电路尺寸和功耗与已知技术中的那 些没有很大不同。〈第二实施例〉[像素缺陷的种类]第一实施例是当感兴趣像素具有缺陷时适当地校正感兴趣像素的值的示例。另一 方面，第二实施例是当在感兴趣像素中以及感兴趣像素周围具有相同颜色的像素中存在缺 陷时(即当存在偶联像素缺陷时)，适当地校正感兴趣像素的值的示例。图16A和图16B是当在感兴趣像素中存在缺陷时的说明图。图16A示出了白缺陷 的示例，而图16B示出了黑缺陷的示例。在图16A和图16B中，以三行X三列排列的九个柱形对应于具有相同颜色的九个 相邻像素，并且高度对应于每一个像素的像素值。也就是说，中间的柱形是感兴趣像素，并 且其周围的八个柱形对应于感兴趣像素周围具有相同颜色的相邻像素。另外，当仅感兴趣像素具有白缺陷时，感兴趣像素的像素值变为如图16A中所示 的大值。在这种情况下，感兴趣像素的像素值突出于(project out over)具有相同颜色的 外围像素的像素值(在图16A中，左上像素的像素值)之上。另外，当仅感兴趣像素具有黑缺陷时，感兴趣像素的像素值变为如图16B所示的 小值。在这种情况下，感兴趣像素的像素值低于具有相同颜色的外围像素的最小像素值 (在图16B中，右列中中间像素的像素值)。此外，在第一实施例的像素缺陷校正方法中，当仅感兴趣像素具有如上所述的缺 陷时，基于不具有缺陷的外围像素的像素值可以适当地校正感兴趣像素的像素值。图17A和图17B是当感兴趣像素和外围像素中存在缺陷时的说明图。图17A示出 了白缺陷的示例，而图17B示出了黑缺陷的示例。在图17A和图17B中，与图16A和图16B类似地，九列对应于具有相同颜色的九个相邻像素。另外，当在感兴趣像素和右上外围像素中存在白缺陷时，感兴趣像素的像素值和右上外围像素的像素值变为如图17A所示的大值。在这种情况下，感兴趣像素的像素值和 右上外围像素的像素值突出于具有相同颜色的其他外围像素的像素值之上。另外，当在感兴趣像素和右上外围像素中存在黑缺陷时，感兴趣像素的像素值和 右上外围像素的像素值变为如图17B所示的大值。在这种情况下，感兴趣像素的像素值和 右上外围像素的像素值低于具有相同颜色的其他外围像素的像素值。因此，当出现偶联缺陷时，在第一实施例的像素缺陷校正方法中可能不能适当地 校正感兴趣像素的像素值。例如，当基于伪亮度值选择的边缘的方向是图17A和图17B中的右上方向时，右上 外围像素和左下外围像素被选为用于计算校正值的像素。此外，计算有缺陷的右上外围像素的像素值和没有缺陷的左下外围像素的像素值 的平均值，作为感兴趣像素的校正值。在这种情况下，认为有缺陷的感兴趣像素的校正值受具有缺陷的外围像素的像素 值影响。也就是说，即使通过第一实施例的像素缺陷校正方法校正感兴趣像素的像素值， 以校正值替换的感兴趣像素的像素值不合适，这是因为感兴趣像素受外围像素的缺陷影 响。[缺陷检测和校正电路的配置示例]图18是示出根据本发明第二实施例的缺陷检测和校正电路17B的配置示例的图。图18中所示的缺陷检测和校正电路17B包括线缓冲器201、相同颜色相邻像素数 据排序部件202、阈值和系数设置部件203、阈值计算部件204、缺陷确定部件205、用于计算 校正值计算中使用的候选者的部件206以及缺陷像素替换部件207。另外，尽管在第二实施例中描述了边缘检测的示例，但是本发明可以类似地应用 于梯度检测的情况。除了图18中所示的那些之外，根据第二实施例的成像设备的配置与根据第一实 施例的成像设备的配置相同。因此，具有与第一实施例中相同功能的构成组件由与第一实 施例中相同的附图标记表示，并且将省略其说明。线缓冲器201由图像的五条线的存储器形成，这是因为5行X5列的处理区域是 待计算的对象。线缓冲器201根据从像素部件13输出的拜耳排列信号SIM，产生(水平方向上的 5行)X(垂直方向上的5列)的处理区域PRCA，其中感兴趣像素(要确定其缺陷的像素 DJPX)位于中间，如图6所示。线缓冲器201将包括关于所产生的处理区域PRCA的信息的信号S201输出到相同 颜色相邻像素数据排序部件202、缺陷确定部件205以及用于计算校正值计算中使用的候 选者的部件206。这里，水平方向是图6中所示的坐标系上的X方向，并且垂直方向是Y方向。另外，尽管处理区域是5像素X5像素的处理区域，但是这仅为示例。例如，本发 明也可以应用于比5像素X5像素的区域更大的区域。相同颜色相邻像素数据排序(sort)部件202选择处理区域中包括的具有相同颜 色的感兴趣像素和外围像素，并且以像素值的次序将它们进行排序。
例如，在图6所示的处理区域(5像素X5像素)中，当感兴趣像素是红(R)或蓝 (B)时，选择八个外围像素，并且以像素值的次序进行排序。此外，当感兴趣像素是绿(Gr， Gb)时，例如，对于Gr或( 的每个组独立地选择八个外围像素，并以像素值的次序进行排序。然后，相同颜色相邻像素数据排序部件202将包括排序结果的信号S202输出到阈 值计算部件204。阈值计算部件204计算用于在处理区域中确定缺陷像素的阈值。例如，阈值计算部件204基于在排序结果中包括的八个外围像素的像素值之中的 最大值、第二最大值、最小值和第二最小值来计算四个阈值。具体地说，例如，阈值计算部件204将四个像素值乘以通过阈值和系数设置部件 203外部地设置的阈值和系数。然后，阈值计算部件204将包括四个阈值的计算结果的信号S204输出到缺陷确定 部件205。缺陷确定部件205确定感兴趣像素的缺陷、具有与感兴趣像素相同颜色的外围像 素的最大值的缺陷以及具有与感兴趣像素相同颜色的外围像素的最小值的缺陷。也就是 说，缺陷确定部件205确定仅感兴趣像素有缺陷的情况、感兴趣像素和具有相同颜色的外 围像素有缺陷的情况(在偶联缺陷的情况下)以及没有缺陷的情况。例如，缺陷确定部件205基于外围像素的最大值的阈值，确定感兴趣像素是否有 缺陷。例如，当感兴趣像素的值大于外围像素的最大值的阈值时，缺陷确定部件205确定感 兴趣像素有缺陷。另外，缺陷确定部件205基于外围像素的第二最大值的阈值确定感兴趣像素是否 有缺陷。另外，缺陷确定部件205基于外围像素的第二最大值的阈值确定最大值的外围像 素是否有缺陷。通过上述确定，缺陷确定部件205可以确定感兴趣像素和具有相同颜色的最大值 的外围像素中是否包括白缺陷。另外，缺陷确定部件205基于外围像素的最小值的阈值确定感兴趣像素是否有缺 陷。另外，缺陷确定部件205基于外围像素的第二最小值的阈值确定感兴趣像素是否 有缺陷。另外，缺陷确定部件205基于外围像素的第二最小值的阈值确定最小值的外围像 素是否有缺陷。通过上述确定，缺陷确定部件205可以确定感兴趣像素和具有相同颜色的最大值 的外围像素中是否包括黑缺陷。然后，缺陷确定部件205将关于感兴趣像素和具有相同颜色的外围像素的缺陷的 确定结果的信号S205输出到缺陷像素替换部件207。用于计算校正值计算中使用的候选者的部件206基于要确定其缺陷的像素位于 中间的5X5的处理区域的边缘，指定在计算有缺陷的感兴趣像素的校正值时使用的具有 相同颜色的外围像素。
另外，由用于计算校正值计算中使用的候选者的部件206执行的计算关于处理区 域的多个方向上的边缘强度的处理和由用于计算校正值计算中使用的候选者的部件206 执行的选择处理与第一实施例中梯度计算部件174的那些处理相同。然后，用于计算校正值计算中使用的候选者的部件206指定存在于以感兴趣像素 作为基准指定的最缓和边缘的方向上的两个像素，作为感兴趣像素的校正值的计算中使用 的具有相同颜色的外围像素。因此，用于计算校正值计算中使用的候选者的部件206可以 在所选边缘的方向上指定在感兴趣像素插入其间的位置的一对像素。另外，用于计算校正值计算中使用的候选者的部件206将包括指示具有相同颜色 的指定的外围像素的信息输出到缺陷像素替换部件207。当感兴趣像素是缺陷像素时，缺陷像素替换部件207以校正值替换感兴趣像素的值。此外，缺陷像素替换部件207根据由位于前一级的用于计算校正值计算中使用的 候选者的部件206指定的像素的值来计算校正值。具体地说，当在由用于计算校正值计算中使用的候选者的部件206指定的两个像 素中不包括缺陷像素时，缺陷像素替换部件207计算两个像素的平均值作为校正值。另外，当在由用于计算校正值计算中使用的候选者的部件206指定的两个像素中 包括缺陷像素时，缺陷像素替换部件207将两个像素之间不是缺陷像素的像素的像素值设 置为校正值。另外，当感兴趣像素不是缺陷像素时，缺陷像素替换部件207将感兴趣像素的像 素值的信号S208输出到下一级。另外，当感兴趣像素是缺陷像素时，缺陷像素替换部件207将包括作为感兴趣像 素的像素值的计算出的校正值的信号S208输出到下一级。结果，当感兴趣像素是缺陷像素时，缺陷像素替换部件207可以以适当的校正值 (其并非基于缺陷像素的值)替换感兴趣像素的值，并将其输出。[关于缺陷检测和校正处理的说明]图19是示出第二实施例中缺陷检测和校正电路17B的缺陷检测和校正处理的流 程图的图。对于形成图像的所有像素重复地执行图19中的处理。[步骤 ST201]首先，在步骤ST201，线缓冲器201根据从像素部件13输出的拜耳排列信号SIM， 产生(水平方向上的5个像素)X (垂直方向上的5个像素)的处理区域PRCA，感兴趣像素 (要确定其缺陷的像素DJPX)位于中间。将包括关于由线缓冲器201产生的处理区域PRCA的信息的信号S201输出到相同 颜色相邻像素数据排序部件202和用于计算校正值计算中使用的候选者的部件206。此外，线缓冲器201将包括关于感兴趣像素的信息的信号输出到缺陷确定部件 205。然后，用于计算校正值计算中使用的候选者的部件206根据处理区域PRCA中包括 的多个像素的像素值来计算伪亮度。在5行X5列的处理区域中，计算4行X4列的伪亮度。另外，尽管在第二实施例中根据除了感兴趣像素和具有相同颜色的外围像素之外的像素的亮度值来计算每一个伪亮度，但是每一个伪亮度也可以根据5行X5列的处理区 域中所有像素的像素值来计算。[步骤 ST202]在步骤ST202，用于计算校正值计算中使用的候选者的部件206根据伪亮度，计算 在处理区域的所有方向(纵向方向、水平方向、右上方向和左上方向)上的边缘强度。[步骤 ST203]在步骤ST203，用于计算校正值计算中使用的候选者的部件206从步骤ST202中计 算出的所有方向的边缘强度中选择最缓和的方向(弱方向)。具体地说，选择其中边缘强度 输出值最小的方向。用于计算校正值计算中使用的候选者的部件206将包括所选边缘的方向的信号 输出到缺陷像素替换部件207。[步骤 ST204]在步骤ST204，相同颜色相邻像素数据排序部件202选择处理区域中包括的感兴 趣像素和具有相同颜色的外围像素，并以像素值的次序将其排序。然后，相同颜色相邻像素 数据排序部件202将包括排序结果的信号S202输出到阈值计算部件204。[ST205]在步骤ST205，阈值计算部件204计算用于确定处理区域中的缺陷像素的阈值。 阈值计算部件204基于排序结果中包括的多个外围像素的像素值之中的最大值、第二最大 值、最小值和第二最小值，来计算四个阈值。然后，阈值计算部件204将包括四个阈值的计 算结果的信号S204输出到缺陷确定部件205。[步骤 ST206]在步骤ST206，缺陷确定部件205确定具有相同颜色的相邻像素中是否包括缺陷。具体地说，缺陷确定部件205基于外围像素的第二最大值的阈值来确定最大值的 相邻像素是否有缺陷。另外，缺陷确定部件205基于外围像素的第二最小值的阈值来确定最小值的外围 像素是否有缺陷。[步骤 ST2O7]步骤ST207是当具有相同颜色的相邻像素中不包括缺陷时缺陷确定部件205执行 的确定感兴趣像素的缺陷的步骤。当在具有相同颜色的相邻像素中不包括缺陷时，缺陷确定部件205基于外围像素 的最大值的阈值来确定感兴趣像素是否有缺陷。另外，缺陷确定部件205基于外围像素的最小值的阈值来确定感兴趣像素是否有 缺陷。[步骤 ST208]步骤ST208是当感兴趣像素和具有相同颜色的相邻像素中不包括缺陷时，缺陷像 素替换部件207执行的获取校正值的步骤。当在感兴趣像素和具有相同颜色的相邻像素中不包括缺陷时，缺陷像素替换部件 207获取感兴趣像素的像素值作为校正值。[步骤 ST209]
步骤ST209是当仅感兴趣像素有缺陷时缺陷像素替换部件207执行的获取校正值 的步骤。当仅感兴趣像素有缺陷时，缺陷像素替换部件207在步骤ST203中选择的最弱方 向上选择具有相同颜色的一对相邻像素(位于感兴趣像素插入在其间的位置)。另外，缺陷像素替换部件207计算具有相同颜色的两个所选的相邻像素的像素值 的平均值作为校正值。[步骤 ST210]步骤ST210是当具有相同颜色的相邻像素中包括缺陷时，缺陷确定部件执行的确 定感兴趣像素的缺陷的步骤。当在具有相同颜色的相邻像素中包括缺陷时，缺陷确定部件205基于外围像素的 第二最大值的阈值来确定感兴趣像素是否有缺陷。另外，缺陷确定部件205基于外围像素的第二最小值的阈值来确定感兴趣像素是 否有缺陷。因此，用于确定感兴趣像素的缺陷的标准和用于确定具有相同颜色的相邻像素的 缺陷的标准二者是具有相同颜色的相邻像素的第二最大值或第二最小值。结果，可以避免基于具有相同颜色的多个相邻像素的像素值之中最大或最小的缺 陷像素的像素值来确定感兴趣像素的缺陷的情形。可以根据正常像素值来确定感兴趣像素 的缺陷。[步骤 ST2Il]步骤ST211是当仅具有相同颜色的相邻像素有缺陷时，缺陷像素替换部件207执 行的获取校正值的步骤。当仅具有相同颜色的相邻像素有缺陷时，缺陷像素替换部件207获取感兴趣像素 的像素值作为校正值。[步骤 ST2I2]步骤ST212是当感兴趣像素和具有相同颜色的相邻像素有缺陷时，缺陷像素替换 部件207执行的确定步骤。当感兴趣像素和具有相同颜色的相邻像素有缺陷时，缺陷像素替换部件207确定 在步骤ST203中选择的最缓和的方向上是否包括被确定有缺陷的最大值或最小值。然后，当在最缓和的方向上不包括被确定为有缺陷的最大值或最小值时，缺陷像 素替换部件207通过步骤ST209中的处理，计算具有相同颜色的两个相邻像素(其在最缓 和的方向上彼此相邻)的像素值的平均值，作为校正值。[步骤 ST213]步骤ST213是当在最缓和的方向上包括被确定为有缺陷的最大值或最小值时，缺 陷像素替换部件207执行的获取校正值的步骤。当在最缓和的方向上包括被确定为有缺陷的最大值或最小值时，缺陷像素替换部 件207获取未被确定为有缺陷的具有相同颜色的相邻像素的像素值作为校正值。也就是说，缺陷像素替换部件207根据最缓和的方向上具有相同颜色的多个相邻 像素之中的缺陷像素以外的像素的值获取校正值。[步骤 ST214]
在步骤ST214，缺陷像素替换部件207以步骤ST208、ST209、ST211或ST213中获 取的校正值来替换感兴趣像素的像素值。缺陷像素替换部件207将包括所获取的校正值的信号输出到下一处理系统，作为 感兴趣像素的像素值。[像素缺陷校正的示例]图20到图22是示出实际的处理图像的图。图20示出了原始图像。在图20中所示的原始图像中，嵌入了一对偶联像素缺陷。图21示出了通过使用根据第一实施例的方法来校正图20中的图像所获得的图像。图22示出了通过使用根据第二实施例的方法来校正图20中的图像所获得的图像。在根据第一实施例的像素缺陷校正方法中，偶联像素缺陷(缺陷分量)几乎保持 原样，如图21所示。另一方面，在根据第二实施例的像素缺陷校正方法中，实现了几乎完全的校正，以 使得存在偶联像素缺陷的地方不清楚，如图22所示。如上所述，根据第二实施例，可以获得如下效果。也就是说，根据第二实施例，当计算边缘时不使用被确定为有缺陷的像素值。因 此，提高了边缘强度的精度。结果，由于直到输出图像的细节部件不存在不舒服的感觉，因 此提高了整体图像的质量。特别地，这对于具有高分辨率的输入图像很有效。此外，由于不需要添加特殊的复杂操作，因此电路尺寸和功耗与已知技术中的那 些没有很大不同。此外，在第二实施例中，不仅在仅感兴趣像素有缺陷的情况下而且在存在偶联缺 陷的情况下，获取感兴趣像素的校正值，而不使用缺陷像素的值。因此，在第二实施例中，可以执行校正，以使得不剩下组成部分。此外，第二实施例的算法可以通过部分地扩展一部分已知算法来实现。另外，不需 要存储外围像素的最大值或最小值的位置。因此，可以抑制电路尺寸或功耗的增大。此外，在第二实施例中，缺陷确定部件205基于外围像素的第二最大值或第二最 小值，确定处理区域中包括的外围像素之中最大值或最小值的外围像素的缺陷。另外，当最大值或最小值的外围像素没有缺陷时，缺陷确定部件205基于最大值 或最小值确定感兴趣像素的缺陷。另外，当最大值或最小值的外围像素有缺陷时，缺陷确定部件205基于第二最大 值或第二最小值确定感兴趣像素的缺陷。因此，在第二实施例中，可以避免当处理区域的图像整体上亮或暗时确定感兴趣 像素和最大值或最小值的外围像素有缺陷的情形。[关于另一缺陷检测和校正处理的说明]第二实施例中的图19中所示的流程图是在与图10的第一实施例中的流程图对应 的流程中校正像素缺陷。另外，可以考虑校正像素缺陷的另一处理。图23是示出第二实施例中缺陷检测和校正电路17B的另一缺陷检测和校正处理 的流程图的图。对于形成图像的所有像素重复地执行图23中的处理。
图23中的处理流程适于图18所示的缺陷检测和校正电路17B的配置，并且比图 18中所示的缺陷检测和校正电路17B执行图19中的处理的情况更容易地执行。[步骤 ST301]在图23中所示的步骤ST301，相同颜色相邻像素数据排序部件202选择处理区域 中包括的感兴趣像素和具有相同颜色的外围像素，并且以像素值的次序将其排序。[步骤 ST302]在步骤ST302，阈值计算部件302计算用于确定处理区域中的缺陷像素的阈值。具体地说，阈值计算部件204基于排序结果中包括的多个外围像素的像素值之中 的最大值、第二最大值、最小值和第二最小值来计算四个阈值。[步骤 ST303]在步骤ST303，缺陷确定部件205确定感兴趣像素和具有相同颜色的相邻像素中 是否包括缺陷。在这种情况下，缺陷确定部件205确定以下三件事以便确定白缺陷，并且产生三 位确定结果数据(xl，x2，x3)。1.基于外围像素的最大值的阈值来确定感兴趣像素的白缺陷(xl)。2.基于外围像素的第二最大值的阈值来确定感兴趣像素的白缺陷(x2)。3.基于外围像素的第二最大值的阈值来确定最大值的相邻像素的白缺陷(x3)。此外，缺陷确定部件205确定以下三件事以便确定黑缺陷，并且产生三位确定结 果数据(yl，y2，y3)。4.基于外围像素的最小值的阈值来确定感兴趣像素的黑缺陷(yl)。5.基于外围像素的第二最小值的阈值来确定感兴趣像素的黑缺陷(y2)。6.基于外围像素的第二最小值的阈值来确定最小值的外围像素的黑缺陷(y3)。这里，当确定结果数据(xl,x2,x3)和(yl，y2，y3)是(1，X，0)(其中，X是0或1) 时，在外围像素中没有缺陷，并且仅感兴趣像素有缺陷(正常缺陷)。此外，当确定结果数据(xl, x2, x3)和(yl, y2，y3)是(0,1,1)时，外围像素和感 兴趣像素有缺陷(相邻缺陷)。此外，当确定结果数据(xl, x2, x3)和(yl, y2，y3)是(0,0,0)时，外围像素和感 兴趣像素没有缺陷(无校正)。[步骤 ST304]步骤ST304是当步骤ST303的确定结果数据指示正常缺陷时执行的步骤。在步骤ST304，用于计算校正值计算中使用的候选者的部件206基于伪亮度，在处 理区域的所有方向(纵向方向、水平方向、右上方向和左上方向)上计算边缘强度。另外， 用于计算校正值计算中使用的候选者的部件206从计算出的所有方向的边缘强度中选择 最缓和的方向。此外，作为正常缺陷校正处理，缺陷像素替换部件207在最缓和方向上计算具有 相同颜色的多个相邻像素的平均值。[步骤 ST305]步骤ST305是当步骤ST303中的确定结果数据指示相邻缺陷时执行的步骤。在步骤ST305，用于计算校正值计算中使用的候选者的部件206基于伪亮度，在处21理区域的所有方向(纵向方向、水平方向、右上方向和左上方向)上计算边缘强度。另外， 用于计算校正值计算中使用的候选者的部件206从计算出的所有方向的边缘强度中选择 最缓和的方向。此外，作为相邻缺陷校正处理，缺陷像素替换部件207获取在最缓和的方向上具 有相同颜色的多个相邻像素之中的没有缺陷的像素的像素值。此外，在步骤ST305，当具有不同颜色的相邻像素或具有相同颜色的相邻像素中包 括多个高亮度像素时，缺陷像素替换部件207可以执行相邻缺陷校正处理的例外处理。例如，当具有不同颜色的相邻像素的最大值和第二最大值以及感兴趣像素的值全 部为高亮度时，处理范围的图像被认为是亮的实型图像(solid patternimage) 0另外，当具有不同颜色的相邻像素的最小值和第二最小值以及感兴趣像素的值全 部为低亮度时，处理范围的图像被认为是暗的实型图像。在这些情况下，优选地，缺陷像素替换部件207执行正常缺陷校正处理或不执行 校正以作为例外处理。[步骤 ST306]在步骤ST306，缺陷像素替换部件207使用在步骤ST304和ST305中获得的校正值 来替换感兴趣像素的像素值。[步骤 ST307]在步骤ST307，缺陷像素替换部件207将包括所获取的校正值的信号或包括没有 缺陷的感兴趣像素的像素值的信号输出到下一处理系统，作为感兴趣像素的像素值。因此，在图23中所示的像素缺陷校正处理中，当缺陷确定部件205确定缺陷时，在 一个步骤中执行三种确定。因此，图23中所示的像素缺陷校正处理适于图18中所示的缺 陷检测和校正电路17B的配置。尽管上述实施例是本发明优选实施例的示例，但是本发明不限于此，在不脱离本 发明的精神和范围的情况下可以进行各种修改和变化。例如，以上描述的每一个实施例均可应用于使用CMOS图像传感器作为图像传感 器(固态成像器件)的固态成像设备。固态成像设备可以应用于具有各种成像功能的设备，如移动电话、摄像机和数码 相机。此外，以上详细描述的每一个实施例的方法也可以实现为由计算机(如，CPU)执 行的根据以上过程的程序。另外，可以将这种程序记录在记录介质(如半导体存储器、磁盘、光盘和软(注册 商标)盘)中，并且其中设置有记录介质的计算机可以存取和执行该程序。在第二实施例中，当感兴趣像素和具有相同颜色的相邻像素有缺陷时，基于具有 相同颜色的相邻像素的第二值的阈值来确定这些像素的缺陷。另外，例如，当处理区域中包括的具有相同颜色的多个外围像素以其值的次序排 列时，可以以排列的第η (η是3或更大的自然数)最大值或第η最小值作为基准来确定与 每一处理有关的像素的缺陷。例如，基于外围像素的第η最大值，可以确定在处理区域中包括的多个外围像素 之中，从最大值或最小值到第(η-1)个值的多个外围像素的缺陷以及感兴趣像素的缺陷。
在这种情况下，例如，即使当具有相同颜色的相邻像素中包括(n-1)个缺陷时，也 可以基于被认为正常的第η个值，来适当地确定这些缺陷。例如，当第三个值是基准时，可以确定由感兴趣像素和两个相邻像素引起的三联 (triplet)缺陷。与第一实施例中的梯度计算部件174类似地，第二实施例中的用于计算校正值计 算中使用的候选者的部件206基于除了有与感兴趣像素相同颜色的外围像素之外的具有 不同颜色的外围像素的像素值来计算伪亮度，并计算处理区域的多个方向上的边缘强度。此外，例如，用于计算校正值计算中使用的候选者的部件206可以计算包括具有 与感兴趣像素相同颜色的外围像素的伪亮度，并且可以计算处理区域的多个方向上的梯 度。本申请包含与分别在2009年11月2日和2010年4月1日向日本专利局提交的 日本优先权专利申请JP 2009-25M48和JP 2010-085351中公开的主题有关的主题，将其 全部内容通过引用的方式合并在此。本领域的技术人员应该理解，根据设计要求和其他因素，可以出现各种修改、组 合、部分组合和变更，只要它们落在所附权利要求及其等价物的范围内即可。
权利要求
1 一种像素缺陷校正器件，包括缺陷确定部件，确定图像的感兴趣像素是否为图像的缺陷，在所述图像中以二维方式 排列每一个均具有像素值的多个像素；梯度检测部件，至少基于处理区域中包括的所述感兴趣像素周围的外围像素的值， 在所述处理区域中检测梯度或边缘，所述处理区域包括多个像素，其中感兴趣像素位于中 间；校正值获取部件，根据检测到的梯度或边缘，选择用于所述感兴趣像素的校正值的获 取的像素，并根据所选的像素的值来获取所述校正值；和缺陷像素替换部件，当确定所述感兴趣像素为图像的缺陷时，以所述校正值替换所述 感兴趣像素的值。
2.根据权利要求1所述的像素缺陷校正器件，其中所述图像的多个像素中的每一个对应于从预定数量的颜色中选择的颜色，以及所述梯度检测部件基于具有与所述感兴趣像素不同颜色的外围像素的值，检测所述处 理区域的梯度或边缘。
3.根据权利要求2所述的像素缺陷校正器件，其中，为了在所述处理区域中检测梯度或边缘，所述梯度检测部件基于所述处理区域 中包括的具有与所述感兴趣像素不同颜色的外围像素的值，对于所述处理区域中的多个方 向获取梯度或边缘，并从所获取的多个方向上的梯度或边缘选择与最缓和的梯度或边缘相 对应的方向，以及所述校正值获取部件以所述感兴趣像素作为基准，选择存在于最缓和的梯度或边缘方 向上的具有与所述感兴趣像素相同颜色的像素。
4.根据权利要求3所述的像素缺陷校正器件，其中，所述梯度检测部件获取所述处理区域的像素排列中包括纵向方向、水平方向、右 上方向和左上方向的四个方向上的梯度或边缘。
5.根据权利要求2到4中任意一个所述的像素缺陷校正器件，其中，当以所述感兴趣像素作为基准，在最缓和的梯度或边缘方向上包括具有与所述 感兴趣像素相同颜色的缺陷像素时，所述梯度检测部件将所选的梯度或边缘方向改变到另 一方向。
6.根据权利要求2到5中的任意一个所述的像素缺陷校正器件，其中，所述校正值获取部分获取所述处理区域中具有与所述感兴趣像素相同颜色的多 个外围像素的值的平均值。
7.根据权利要求6所述的像素缺陷校正器件，其中，所述校正值获取部件根据至少除了最大值和最小值之外的、所述处理区域中具 有与所述感兴趣像素相同颜色的多个外围像素的值来获取所述平均值。
8.根据权利要求1到5中的任意一个所述的像素缺陷校正器件，其中，所述校正值获取部件以所述感兴趣像素作为基准，选择存在于由所述梯度检测 部件检测到的梯度或边缘方向上的多个像素，并获取所述多个像素的值的平均值作为所述 校正值。
9.根据权利要求8所述的像素缺陷校正器件，其中，所述校正值获取部件以所述感兴趣像素作为基准，确定存在于所述梯度或边缘 方向上的多个像素中是否包括缺陷像素，并且当在所述多个像素中包括缺陷像素时，根据 所述多个像素之中缺陷像素以外的像素的值来获取所述校正值。
10.根据权利要求9所述的像素缺陷校正器件，其中，所述校正值获取部件基于外围像素的第二最大值或第二最小值，在所述处理区 域中包括的多个外围像素之中确定最大值或最小值的外围像素的缺陷，以及所述缺陷确定部件在最大值或最小值的外围像素没有缺陷时基于最大值或最小值来 确定所述感兴趣像素的缺陷，而在最大值或最小值的外围像素有缺陷时基于第二最大值或 第二最小值来确定所述感兴趣像素的缺陷。
11.根据权利要求9所述的像素缺陷校正器件，其中，所述校正值获取部件基于外围像素的第η最大或最小值，在所述处理区域中包 括的多个外围像素之中，确定从最大值或最小值到第(η-1)个值的多个外围像素的缺陷， 其中η是2或更大的自然数，以及所述缺陷确定部件在最大值或最小值的外围像素没有缺陷时，基于最大值或最小值来 确定所述感兴趣像素的缺陷，而当最大值或最小值的外围像素有缺陷时，基于第η最大或 最小值来确定所述感兴趣像素的缺陷。
12.—种成像设备，包括像素部件，包括成像被摄体图像的成像器件；以及像素缺陷校正器件，从所述成像器件接收图像数据，并执行像素缺陷校正处理， 其中所述像素缺陷校正器件包括缺陷确定部件，确定图像的感兴趣像素是否为图像的缺陷，在所述图像中以二维方式 排列每一个均具有像素值的多个像素；梯度检测部件，至少基于处理区域中包括的所述感兴趣像素周围的外围像素的值， 在所述处理区域中检测梯度或边缘，所述处理区域包括多个像素，其中感兴趣像素位于中 间；校正值获取部件，根据检测到的梯度或边缘，选择用于所述感兴趣像素的校正值的获 取的像素，并根据所选的像素的值来获取校正值；以及缺陷像素替换部件，当确定所述感兴趣像素为图像的缺陷时，以所述校正值替换所述 感兴趣像素的值。
13.一种像素缺陷校正方法，包括如下步骤确定图像的感兴趣像素是否为图像的缺陷，在所述图像中以二维方式排列每一个均具 有像素值的多个像素；至少基于处理区域中包括的所述感兴趣像素周围的外围像素的值，在所述处理区域中 检测梯度或边缘，所述处理区域包括多个像素，其中感兴趣像素位于中间；根据检测到的梯度或边缘，选择用于所述感兴趣像素的校正值的获取的像素，并根据 所选的像素的值来获取校正值；以及当确定所述感兴趣像素为图像的缺陷时，以所述校正值替换所述感兴趣像素的值。
14.一种程序，使得计算机执行像素缺陷校正处理，包括缺陷确定处理，确定图像的感兴趣像素是否为图像的缺陷，在所述图像中以二维方式排列每一个均具有像素值的多个像素；方向检测处理，至少基于处理区域中包括的所述感兴趣像素周围的外围像素的值， 在所述处理区域中检测梯度或边缘，所述处理区域包括多个像素，其中感兴趣像素位于中 间；校正值获取处理，根据检测到的梯度或边缘，选择用于所述感兴趣像素的校正值的获 取的像素，并根据所选的像素的值来获取校正值；以及替换处理，当确定所述感兴趣像素为图像的缺陷时，以所述校正值替换所述感兴趣像 素的值。
全文摘要
提供了像素缺陷校正器件、成像设备、像素缺陷校正方法和程序。该像素缺陷校正器件包括缺陷确定部件，确定图像的感兴趣像素是否为图像的缺陷，在所述图像中以二维方式排列每一个均具有像素值的多个像素；梯度检测部件，至少基于处理区域中包括的感兴趣像素周围的外围像素的值，在处理区域中检测梯度或边缘，所述处理区域包括多个像素，其中感兴趣像素位于中间；校正值获取部件，根据检测到的梯度或边缘，选择用于感兴趣像素的校正值的获取的像素，并根据所选的像素的值来获取校正值；以及缺陷像素替换部件，当确定感兴趣像素为缺陷时，以校正值替换感兴趣像素的值。
文档编号H04N5/367GK102055917SQ20101052198
公开日2011年5月11日 申请日期2010年10月26日 优先权日2009年11月2日
发明者桥爪淳 申请人:索尼公司