专利名称：像素缺陷检测和校正设备以及像素缺陷检测和校正方法
技术领域：
本发明涉及例如一种像素缺陷检测和校正设备以及像素缺陷检测和校正方法。
背景技术：
作为固态成像器件中的像素缺陷，存在白缺陷和黑缺陷，在白缺陷中，一定数量的电荷不变地加到正常信号(源于CCD(电荷耦合器件)中的晶体缺陷等)，而在黑缺陷中，相对于正常信号，信号电平以一定的比率减小(源于CCD的芯片上透镜划痕等)，或者不变地输出0或更低的信号电平(源于CCD的光电二极管的断路)。这些像素缺陷在成像的时候变成点状瑕疵，并且导致图像质量的恶化，从而提出了各种用于通过信号处理来检测和校正缺陷的装置。
关于传统公开的像素缺陷检测和校正设备，一般而言，在调整的时候检测像素缺陷，并且将其位置存储在诸如寄存器的存储器件中，在成像的时候参考这些位置，并且根据目标像素附近的像素的数据计算内插值，并且通过以该内插值替换缺陷像素数据来执行内插。
例如，在专利文献1的第 段中公开了这样一种机制，其中与成像同时执行像素缺陷校正和缺陷检测；并且为了使关于成像器件的应当被校正的缺陷数处于预定设置范围内，响应于缺陷像素数而可变地设置关于缺陷检测的电平比较阈值，并且还在单个存储器装置中存储缺陷像素的位置信息、缺陷像素在当前帧之前的帧中也被检测为缺陷像素的检测帧数、以及表示对于缺陷像素在紧邻之前的帧中是否已执行校正的信息。
此外，在专利文献2的公开摘要的[结构]中公开了这样一种设备，其包括电平差检测电路，在固态成像器件中检测来自第一像素的第一像素信号和来自第一像素附近的第二像素的第二像素信号之间的电平差；比较器，比较该电平差检测电路的输出信号与预定阈值；以及存储器，存储在该比较器中获得的多个场(field)的比较结果；以及使用该存储器中的存储器信息确定缺陷像素。
此外，在专利文献3的公开摘要的[结构]中公开了这样一种设备，其包括系统控制器；开关；和预检测处理电路，基于CCD元件的输出信号，从CCD元件的像素中检测输出特定电平的信号的缺陷像素；以及寄存器，存储由此检测的缺陷像素的位置数据；并且在其中删除存储在寄存器中的位置数据。
此外，在专利文献4的公开摘要的[结构]中公开了这样一种机制，其中当执行缺陷检查时，通过在比较器中比较CCD固态成像器件的成像输出电平与预定的检测电平来检测缺陷像素；由计数器对所检测的这些缺陷像素的数目进行计数；当所检测的数目超过存储器中的容许数时，通过在检测电平设置电路中设置高于以前的比较器检测电平，降低缺陷检测灵敏性，并且重复再检查，直到缺陷像素数变得容许为止。
已
公开日本专利申请No.2002-51266[专利文献2]已
公开日本专利申请No.H6-284346[专利文献3]已
公开日本专利申请No.H5-260385[专利文献4]已
公开日本专利申请No.H6-315112发明内容然而，在上述传统缺陷像素校正方法中，可校正的缺陷像素数受到存储器件的容量的限制，从而为了增加将被校正的像素的数目，有必要增大存储器件的容量，从而导致增大检测电路的门电路规模(gate scale)，这是不便的。
此外，采用传统的方法，不能充分地检测和校正后来发生和在调整的时候由于工作温度等的变化而未被检测的缺陷，这是不便的。
此外，在专利文献1中，由于在单个存储器件中存储了缺陷像素的位置信息、缺陷像素在当前帧之前的帧中也被检测为缺陷像素时所检测的帧数、以及表示对于缺陷像素在紧邻之前的帧中是否执行了校正的信息，因此可校正的缺陷像素的数目受到存储器装置的容量的限制，并且为了增加可校正像素的数目，有必要增大存储器装置的容量，这是不便的。
此外，在专利文献2中，由于检测成像器件中第一像素与第一像素附近的第二像素之间的电平差，并且将与阈值相比的关于缺陷像素的判断结果预先存储在存储器中，因此可校正的缺陷像素的数目受到存储器的容量的限制，并且为了增加可校正像素的数目，有必要增大存储器的容量，这是不便的。
此外，在专利文献3中，由于如果与由缺陷像素检测装置存储在存储器装置中的位置数据对应的像素未被连续检测预定或更多次数，则从存储器装置中删除位置数据，并且虽然去除了因检测时的条件包括温度变化等而产生的影响，但是可校正缺陷像素的数目受到存储器装置的容量的限制，并且为了增加可校正像素的数目，有必要增大存储器装置的容量，这是不便的。
此外，在专利文献4中，由于对缺陷像素的数目进行计数并且当其数目超过了存储器中的容许数时，通过在缺陷检测装置中提高用于电平比较的阈值，提高检测灵敏性，从而虽然高效地使用有限容量的存储器装置，但是可校正缺陷像素的数目受到存储器装置的容量的限制，并且为了增加可校正像素的数目，有必要增大存储器装置的容量，这是不便的。
因此，本发明是鉴于上述几点而提出的，并且提供了一种像素缺陷检测和校正设备以及像素缺陷检测和校正方法，其中可校正缺陷像素的数目不受到存储器件的容量的限制，并且可以充分地检测和校正后来发生和由于工作温度变化等而在调整的时候未被检测出的其它缺陷。
本发明的像素缺陷检测和校正设备包括色差和亮度计算装置，计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差的绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据；最大和最小数据值检测装置，基于在色差和亮度计算装置中算出的值而检测各种数据的最大和最小值；色差内插值计算装置，相对于缺陷判断目标像素获得内插值计算目标像素的色差内插值；亮度内插值计算装置，相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值；缺陷判断和内插处理装置，基于来自最大和最小数据值检测装置、来自色差内插值计算装置和亮度内插值计算装置的数据，使用多种缺陷检测方法，相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果该像素被判断为有缺陷，则根据每一种缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理；以及内插值使用选择装置，选择由缺陷判断和内插处理装置获得的、被判断为有缺陷的像素的最终输出值；其中在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷。
因此，根据本发明，执行以下操作。
色差和亮度计算装置计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据。最大和最小数据值检测装置基于在色差和亮度计算装置中算出的值而检测各种数据的最大和最小值。色差内插值计算装置相对于内插值计算目标像素获得缺陷判断目标像素的色差内插值。亮度内插值计算装置相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值。缺陷判断和内插处理装置基于来自最大和最小数据值检测装置、来自色差内插值计算装置和来自亮度内插值计算装置的数据，使用多种缺陷检测方法，相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果所述像素被判断为有缺陷，则根据缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理。内插值使用选择装置选择由缺陷判断和内插处理装置获得的、被判断为有缺陷的像素的最终输出值。根据本发明，在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷。
本发明的像素缺陷检测和校正方法包括色差和亮度计算步骤，计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差的绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据；最大和最小数据值检测步骤，基于通过色差和亮度计算步骤算出的值而检测各种数据的最大和最小值；色差内插值计算步骤，相对于内插值计算目标像素获得缺陷判断目标像素的色差内插值；亮度内插值计算步骤，相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值；缺陷判断和内插处理步骤，基于来自最大和最小数据值检测步骤、来自色差内插值计算步骤和来自亮度内插值计算步骤的数据，使用多种缺陷检测方法，并相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果所述像素被判断为有缺陷，则根据缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理；以及内插值使用选择步骤，基于优先次序而选择通过缺陷判断和内插处理步骤获得的、被判断为有缺陷的像素的最终输出值；其中在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷。
因此，根据本发明，执行以下操作。
在色差和亮度计算步骤中，计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差的绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据。在最大和最小数据值检测步骤中，基于在色差和亮度计算步骤中算出的值而检测各种数据的最大和最小值。在色差内插值计算步骤中，相对于内插值计算目标像素获得缺陷判断目标像素的色差内插值。在亮度内插值计算步骤中，相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值。在缺陷判断和内插处理步骤中，基于来自最大和最小数据值检测步骤、来自色差内插值计算步骤和来自亮度内插值计算步骤的数据，使用多种缺陷检测方法，并相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果所述像素被判断为有缺陷，则根据缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理。在内插值使用选择步骤中，基于优先次序而选择在缺陷判断和内插处理步骤中获得的、被判断为有缺陷的像素的最终输出值。根据本发明，在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷。
图1是示出应用于本发明实施例的缺陷检测和校正控制块的配置的图；图2A到2C示出了缺陷检测方法和检测目标像素，其中图2A是邻近八个像素的色差绝对值比较；图2B是邻近八个像素的比较；而图2C是最靠近的八个像素之间的比较；图3是示出内插值计算目标像素的图；以及图4是示出内插值使用选择块的操作的流程图。
具体实施例方式
下面将在需要时参照附图来说明本发明的实施例。
图1以简单的方式示意性地示出了应用于本发明实施例的缺陷检测和校正控制块的基本配置。
首先，说明应用于本实施例的缺陷检测和校正控制块1的配置。用作本实施例的核心的像素缺陷检测和校正控制块1位于具有CCD 2等的成像块与生成亮度信号和色彩信号的照相机信号处理块之间，其中成像块通过输入端4提供包含像素缺陷的图像输入信号I，并且照相机信号处理块通过输出端5提供包含已校正数据的图像输出信号O。
应用于本实施例的缺陷检测和校正控制块1包括色差和亮度计算块(1-2)，其中计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差的绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据。
此外，缺陷检测和校正控制块1包括最大和最小数据值检测块(1-3)，其中基于在色差和亮度计算装置中算出的值，检测各种数据的最大和最小值。
此外，缺陷检测和校正控制块1包括色差内插值计算块(1-4)，其中相对于内插值计算目标像素获得缺陷判断目标像素的色差内插值。
此外，缺陷检测和校正控制块1包括亮度内插值计算块(1-5)，其中相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值。
此外，缺陷检测和校正控制块1包括缺陷判断和内插处理块(1-6)，其基于来自最大和最小数据值检测块(1-3)、来自色差内插值计算块(1-4)和来自亮度内插值计算块(1-5)的数据，使用多种缺陷检测方法，相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果该像素被判断为有缺陷，则根据缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理。
此外，缺陷检测和校正控制块1包括内插值使用选择块(1-7)，其中选择在缺陷判断和内插处理块(1-6)中获得的被判断为有缺陷的像素的最终输出值。
此外，缺陷检测和校正控制块1被配置成在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷。
此外，缺陷检测和校正控制块1包括延迟产生块(1-1)，其中对图像输入信号执行延迟处理，以便在后继块中处理每一个像素。
应用于本发明实施例的如上配置的缺陷检测和校正控制块1执行下面操作。
通过优化色差和亮度计算块(1-2)、色差内插值计算块(1-4)和亮度内插值计算块(1-5)的计算方法，缺陷检测和校正控制块1可以应用于补色信号处理系统和原色信号处理系统的每一个，并且可以独立于CCD的成像模式如单板(single-board)、多板(multi-board)等。以下描述应用于单板补色信号处理系统的例子。
在应用于本发明实施例的缺陷检测和校正控制块1中，色差和亮度计算块(1-2)、最大和最小数据值检测块(1-3)、色差内插值计算块(1-4)、亮度内插值计算块(1-5)、缺陷判断和内插处理块(1-6)和内插值使用选择块(1-7)执行下面操作。
在色差和亮度计算块(1-2)中，作为缺陷检测所需的邻近八个像素和缺陷判断目标像素的色差绝对值，在图2A所示的邻近八个像素的色差绝对值比较中，相对于缺陷检测比较目标像素，计算|A-A’|、|B-B’|、|C-C’|、|D-D’|、|F-F’|、|G-G’|、|H-H’|、|I-I’|和|E-E’|。
此外，相对于图3所示的内插值计算目标像素，将在色差内插值计算块(1-4)和亮度内插值计算块(1-5)中使用的色差和亮度数据计算为B-B’、D-D’、E-E’、F-F’、H-H’和B+B’、D+D’、E+E’、F+F’、H+H’。
在最大和最小数据值检测块(1-3)中，基于在色差和亮度计算块(1-2)中算出的值，检测在缺陷判断和内插处理块(1-6)中使用的各种数据的最大和最小值。
单独地相对于每一种缺陷检测方法，在基于图2A所示的邻近八个像素之间的色差绝对值比较的缺陷像素检测中，从|A-A’|、|B-B’|、|C-C’|、|D-D’|、|F-F’|、|G-G’|、|H-H’|、|I-I’|中检测最大值；在基于图2B所示的邻近八个像素之间的比较的缺陷像素检测中，从A、B、C、D、F、G、H和I中检测最大和最小值；并且在基于图2C所示的最靠近的八个像素之间的比较的缺陷像素检测中，从A”、B”、C”、D”、F”、G”、H”和I”中检测最大和最小值。
在色差内插值计算决(1-4)中，如下计算内插值。首先，相对于图3所示的内插值计算目标像素，计算垂直色差相关系数Kc_v＝|(B-B’)-(H-H’)|/2和水平色差相关系数Kc_h＝|(D-D’)-(F-F’)|/2，然后计算垂直/水平色差相关系数Kc_hv＝Kc_h/(Kc_h+Kc_V)，其中当Kc_h+Kc_v＝0时，Kc_hv＝0.5。此外，计算垂直内插值c_v＝(((B-B’)+(H-H’))/2)×Kc_hv和水平内插值c_h＝(((D-D’)+(F-F’))/2)×(1-Kc_hv)，并且获得缺陷判断目标像素E的色差内插值E_c_hv＝E’+(c_v+c_h)。
在亮度内插值计算块(1+5)中，如下计算内插值。首先，相对于图3所示的内插值计算目标像素，计算垂直亮度相关系数Ky_v＝|(B+B’)-(H+H’)|/2和水平色差相关系数Ky_h＝|(D+D’)-(F+F’)|/2，然后计算垂直/水平色差相关系数Ky_hv＝Ky_h/(Ky_h+Ky_V)。此外，计算垂直内插值y_v＝(((B+B’)+(H+H’))/2)×Ky_hv和水平内插值y_h＝(((D+D’)+(F+F’))/2)×(1+Ky_hv)，并且获得缺陷判断目标像素E的亮度内插值E_y_hv＝E’-(y_v+y_h)。
在缺陷判断和内插处理块(1-6)中，基于来自最大和最小数据值检测块(1-3)、来自色差内插值计算块(1-4)和来自亮度内插值计算块(1-5)的数据，使用三种缺陷检测方法来相对于每一种缺陷检测方法同时执行缺陷判断目标像素E的缺陷判断，并且如果像素E被判断为有缺陷，则根据缺陷检测方法通过以内插值替换像素E的原始数据来执行内插处理。
第一缺陷检测方法1是基于图2A所示的邻近八个像素之间的色差绝对值比较的缺陷像素检测。
在E是缺陷判断目标像素的情况下，在缺陷判断和内插处理块(1-6)中，将在最大和最小数据值检测块(1-3)中算出的邻近八个像素的色差绝对值当中的最大值乘以系数α1以获得阈值T1，其中系数α1可以基于来自位于外部的通信设置部分3的设置而从外部任意地设置。
此外，缺陷判断和内插处理块(1-6)计算绝对值|E_y_hv-E_c_hv|，其是分别在色差内插值计算块(1-4)中和在亮度内插值计算块(1-5)中算出的缺陷判断目标像素E的色差内插值E_c_hv与缺陷判断目标像素E的亮度内插值E_y_hv之间的差值绝对值。
另外，在缺陷判断和内插处理块(1-6)中，通过将缺陷判断目标像素E的绝对值乘以系数β1来计算作为限值L的值，其中系数β1可以通过来自位于外部的通信设置部分3的通信设置从外部任意地设置。在比较这些计算结果之后，如果获得以下面公式1表达的关系，则将缺陷判断目标像素E判断为有缺陷。
|E-E’|＞T1(条件1-1)和|E_y_hv-E_c_hv|＜L(条件1-2)在该缺陷检测方法中，作为邻近像素之间的差值的色差用来进一步强调缺陷，并且相比于其它两种缺陷检测方法，该方法可以以较少的错误检测而应用于各种图像。通过获得色差绝对值，可以在信号电平发生大量变化的图像部分如边界区域中减少错误检测。另外，通常在正常的图像部分中不满足条件1-2的限制，相反，在缺陷部分中通常满足条件1-2的限制，从而可以防止正常像素的错误检测。此外，该限制对于防止紧邻在缺陷之前的像素的错误检测是有效的。
在该检测方法中采用亮度内插值作为最优内插值。即使对被错误检测的正常像素执行内插处理，也可以最小化对图像质量的影响。
第二缺陷检测方法2是基于图2B所示的邻近八个像素之间的比较的缺陷像素检测。
在E是缺陷判断目标像素的情况下，缺陷判断和内插处理块(1-6)将由最大和最小数据值检测块(1-3)算出的邻近八个像素当中的最大值乘以系数α2以获得阈值T2_max，其中系数α2基于来自位于外部的通信设置部分3的通信设置而从外部任意地设置。
类似地，缺陷判断和内插处理块(1-6)将邻近八个像素当中的最小值乘以系数γ2以获得阈值T2_min，其中系数γ2基于来自位于外部的通信设置部分3的通信设置而从外部任意地设置。在比较这些计算结果之后满足下面公式2中的关系的情况下，将缺陷判断目标像素E判断为有缺陷。
E＞T2_max(条件2-1)或者E＜T2_min(条件2-2)与其它两种缺陷检测方法相比，该检测方法可应用于具有强对比度的图像，如黑白条纹，以便以较少错误检测获得高检测效率。在本检测方法中，采用色差内插值作为最优内插值。
第三缺陷检测方法3是基于图2C所示的最靠近的八个像素之间的比较的缺陷像素检测。
在E是缺陷判断目标像素的情况下，缺陷判断和内插处理块(1-6)将由最大和最小数据值检测块(1-3)获得的最靠近八个像素当中的最大值乘以系数α3以获得阈值T3_max，其中系数α3基于来自位于外部的通信设置部分3的通信设置而从外部任意地设置。
类似地，缺陷判断和内插处理块(1-6)将最靠近的八个像素当中的最小值乘以系数γ3以获得阈值T3_min，其中系数γ3基于来自位于外部的通信设置部分3的通信设置而从外部任意地设置。在比较这些计算结果之后满足下面公式3中的关系的情况下，将缺陷判断目标像素E判断为有缺陷。
E＞T3_max(条件3-1)或者E＜T3_min(条件3-2)
相对于在其它两种缺陷检测方法中很有可能被错误检测的明亮图像(光反射部分、灯等)，甚至采用不同滤色镜的最靠近像素的信号电平也经常相互类似。相反，如果存在缺陷，则经常地在检测到缺陷的像素的信号电平与采用不同滤色镜的最靠近像素的信号电平之间存在差别。这样，在采用其它两种缺陷检测方法的检测困难的情况下，根据该检测方法，可以在亮图像部分中改善缺陷检测灵敏性。在该检测方法中，采用亮度内插值作为最优内插值。
在内插值使用选择块(1-7)中选择在缺陷判断和内插处理块(1-6)中获得的、被判断为有缺陷的像素E的最终输出值。如上所述，在缺陷判断和内插处理块(1-6)中执行三种缺陷检测方法和针对这三种方法的每一种而优化的内插处理；适于应用于这三种缺陷检测方法的每一种的图像相对于这三种方法而不同，其中减少了错误检测并且保持了最高的缺陷检测效率。从而，如下根据各个缺陷检测方法的特征选择像素E的最终输出值。
图4是示出内插值使用选择块(1-7)的操作的流程图。
在图4中，在步骤S1判断像素是否通过第一缺陷检测方法1已被检测为有缺陷。如果在步骤S1该像素通过第一缺陷检测方法1已被检测为有缺陷，则在步骤S2输出第一缺陷检测方法1的内插值，而不管其它检测方法的判断结果。
在步骤S1该像素通过第一缺陷检测方法1未被检测为有缺陷的情况下，在步骤S3判断该像素是否通过第二缺陷检测方法2已被检测为有缺陷。在该像素通过第二缺陷检测方法2已被检测为有缺陷的情况下，除非在步骤S4该像素通过第一缺陷检测方法1已被检测为有缺陷，否则输出第二缺陷检测方法2的内插值，而不管缺陷检测方法3的判断结果。
在步骤S3该像素通过第二缺陷检测方法2未被检测为有缺陷的情况下，在步骤S5判断该像素是否通过第三缺陷检测方法3已被检测为有缺陷。如果该像素通过第三缺陷检测方法3已被检测为有缺陷，则在该像素通过其他两种缺陷检测方法未被检测为有缺陷的条件下，在步骤S6输出第三缺陷检测方法3的内插值。
如果该像素通过任何缺陷检测方法未被检测为有缺陷，则在步骤S7输出像素E的值而不施加任何处理。
根据上述实施例，第一，由于紧接在检测到像素缺陷之后执行内插处理，因此用于存储缺陷像素位置的存储器件是不必要的，并且可以防止执行缺陷检测和校正的区域受到限制。
第二，由于用于存储缺陷像素位置的存储器件是不必要的，因此可以以低成本对所有像素执行缺陷校正。
第三，由于在成像的时候连续地执行缺陷检测和内插，因此可以检测和校正后来由于成像器件的温度变化等而产生的缺陷。
第四，同时执行多种缺陷检测和适于每一种检测的内插处理，并且基于各种缺陷检测方法的特征来决定最终的内插输出值，从而可以最小化内插之后正常像素的错误检测。
第五，由于基于每一种缺陷检测方法的通信设置来设置在执行缺陷检测时所使用的阈值，因此可以最小化正常像素的错误检测并且可以最大化检测缺陷像素的效率。
第六，由于优化了缺陷检测方法和内插方法的组合，因此即使在错误检测了正常像素并且对其执行内插处理的情况下，也可以最小化对图像质量恶化的影响。
第七，由于在缺陷检测的时候、基于从亮度和色差算出的内插值的信号电平与检测目标像素的信号电平之间的关系来设置检测限值，因此检测很有可能被错误检测的图像的状态，并且可以防止错误的检测。
当然，本发明不局限于上述实施例，而是相应地，本发明的权利要求的范围内的其它配置也可以应用于此。
在由成像装置拾取的图像数据中检测和校正像素缺陷的像素缺陷检测和校正设备中，本发明的像素缺陷检测和校正设备包括色差和亮度计算装置，计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差的绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据；最大和最小数据值检测装置，基于由色差和亮度计算装置算出的值而检测各种数据的最大和最小值；色差内插值计算装置，相对于内插值计算目标像素获得缺陷判断目标像素的色差内插值；亮度内插值计算装置，相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值；缺陷判断和内插处理装置，基于来自最大和最小数据值检测装置、来自色差内插值计算装置和来自亮度内插值计算装置的数据，使用多种缺陷检测方法、相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果像素被判断为有缺陷，则根据缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理；以及内插值使用选择装置，选择由缺陷判断和内插处理装置获得的被判断为有缺陷的像素的最终输出值；其中在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷；从而，由于紧接在检测到像素缺陷之后执行内插处理，因此用于存储缺陷像素位置的存储器件是不必要的，从而防止执行缺陷检测和校正的区域受到限制，并且由于在成像的时候连续地执行缺陷检测和内插，因此可以检测和校正后来由于成像器件的温度变化等而产生的缺陷。
此外，如上所述，相对于缺陷判断和内插处理装置中的缺陷判断，本发明的像素缺陷检测和校正设备使用缺陷判断目标像素的色差内插值和亮度内插值对缺陷判断设置限值，从而通过在缺陷检测的时候基于从亮度和色差算出的内插值的信号电平与检测目标像素的信号电平之间的关系来设置对检测的限值，可以检测很有可能被错误检测的图像的状态，并且由此可以减少错误的检测。
此外，如上所述，相对于缺陷判断和内插处理装置中的缺陷判断和内插处理，本发明的像素缺陷检测和校正设备使用多种缺陷检测方法和针对每一种缺陷检测方法而优化的内插方法，同时执行每一种缺陷检测和内插处理，从而即使执行了错误检测，也最小化图像质量的恶化，并且在上述内插值使用选择装置中，通过基于各种缺陷检测方法的特征而决定最终内插输出值来选择最终内插输出值，使得通过同时执行多种缺陷检测和适于每一种检测的内插处理、以基于各种缺陷检测方法的特征来决定最终内插输出值，可以最小化内插之后的正常像素的错误检测，并且由于优化了缺陷检测方法和内插方法的组合，因此即使对被错误检测的正常像素执行内插处理，也可以最小化对图像质量恶化的影响。
此外，如上所述，相对于本发明的像素缺陷检测和校正设备，由于可以从外部任意地设置上述限值，因此通过基于每一种缺陷检测方法的通信设置来决定在检测缺陷时所使用的阈值，可以最小化正常像素的错误检测并且可以最大化检测缺陷像素的效率。
在由成像装置拾取的图像数据中检测和校正像素缺陷的像素缺陷检测和校正方法中，本发明的像素缺陷检测和校正方法包括色差和亮度计算步骤，计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据；最大和最小数据值检测步骤，基于在色差和亮度计算步骤中算出的值而检测各种数据的最大和最小值；色差内插值计算步骤，相对于内插值计算目标像素而获得缺陷判断目标像素的色差内插值；亮度内插值计算步骤，相对于内插值计算目标像素而获得缺陷判断目标像素的亮度内插值；缺陷判断和内插值处理步骤，基于来自最大和最小数据值检测步骤、来自色差内插值计算步骤和来自亮度内插值计算步骤的数据，使用多种缺陷检测方法，相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果该像素被判断为有缺陷，则根据缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理；以及内插值使用选择步骤，基于优先次序而选择在缺陷判断和内插处理步骤中获得的、被判断为有缺陷的像素的最终输出值；其中在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷；从而，由于紧接在检测到像素缺陷之后执行内插处理，因此用于存储缺陷像素的位置的存储器件是不必要的，从而防止执行缺陷检测和校正的区域受到限制，并且由于在成像的时候连续地执行缺陷检测和内插，因此可以检测和校正后来由于成像器件的温度变化等而产生的缺陷，并且还可以以优先次序输出缺陷检测的内插值。
此外，如上所述，相对于本发明的像素缺陷检测和校正方法，由于上述内插值使用选择步骤中的优先次序是邻近八个像素的色差绝对值比较、邻近八个像素的比较和最靠近的八个像素之间的比较，因此有可能以邻近八个像素的色差绝对值比较、邻近八个像素的比较和最靠近的八个像素之间的比较这一次序输出缺陷检测的内插值。
权利要求
1.一种像素缺陷检测和校正设备，在由成像装置拾取的图像数据中检测和校正像素缺陷，其包括色差和亮度计算装置，计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差的绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据；最大和最小数据值检测装置，基于在色差和亮度计算装置中算出的值而检测各种数据的最大和最小值；色差内插值计算装置，相对于内插值计算目标像素获得缺陷判断目标像素的色差内插值；亮度内插值计算装置，相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值；缺陷判断和内插处理装置，基于来自所述最大和最小数据值检测装置、来自所述色差内插值计算装置和来自所述亮度内插值计算装置的数据，使用多种缺陷检测方法，相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果所述像素被判断为有缺陷，则根据缺陷检测方法以内插值替换像素的原始数据，以执行内插处理；以及内插值使用选择装置，选择在所述缺陷判断和内插处理装置中获得的、被判断为有缺陷的像素的最终输出值；其中在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷。
2.根据权利要求1所述的像素缺陷检测和校正设备，其中相对于所述缺陷判断和内插处理装置中的缺陷判断，使用缺陷判断目标像素的色差内插值和亮度内插值对缺陷判断设置限制。
3.根据权利要求1所述的像素缺陷检测和校正设备，其中在所述缺陷判断和内插处理装置中，使用多种缺陷检测方法和针对每一种缺陷检测方法而优化、以即使当执行错误检测时也最小化图像质量的恶化的内插方法，来同时执行每种缺陷检测和内插处理，并且在所述内插值使用选择装置中，基于缺陷检测方法的特征而决定最终内插输出值，以便选择最终内插输出值。
4.根据权利要求2所述的像素缺陷检测和校正设备，其中可以从外部任意地设置所述限制。
5.一种像素缺陷检测和校正方法，在由成像装置拾取的图像数据中检测和校正像素缺陷，其包括以下步骤计算缺陷检测所需的邻近像素和缺陷判断目标像素的色差的绝对值、色差和亮度数据、以及关于内插值计算目标像素的数据；基于在色差和亮度计算步骤中算出的值而检测各种数据的最大和最小值；相对于内插值计算目标像素获得缺陷判断目标像素的色差内插值；相对于内插值计算目标像素获得缺陷判断目标像素的亮度内插值；基于来自所述最大和最小数据值检测步骤、来自所述色差内插值计算步骤和来自所述亮度内插值计算步骤的数据，使用多种缺陷检测方法，相对于每一种缺陷检测方法同时执行缺陷判断目标像素的缺陷判断，并且如果所述像素被判断为有缺陷，则根据缺陷检测方法，通过以内插值替换像素的原始数据来执行内插处理；以及选择在所述缺陷判断和内插处理步骤中获得的、被判断为有缺陷的像素的最终输出值；其中在成像期间连续地检测和校正像素缺陷，并且通过以最优方式组合多种缺陷检测方法和内插方法来检测和校正图像数据中的像素缺陷。
6.根据权利要求5所述的像素缺陷检测和校正方法，其中所述内插值使用选择步骤中的优先次序是邻近八个像素的色差绝对值比较、邻近八个像素的比较和最靠近的八个像素之间的比较。
全文摘要
像素缺陷检测/校正设备，可校正缺陷像素的数目不受记录单元的容量限制，并可以检测/校正延迟缺陷，该设备包括色差和亮度计算块(1－2)，计算邻近像素和缺陷判断像素的色差绝对值、色差和亮度数据；块(1－3)，基于从色差和亮度算出的值而检测各种数据的最大和最小值；色差内插值计算块(1－4)和亮度内插值计算块(1－5)，获得缺陷判断像素的色差内插值和亮度内插值；缺陷判断和内插处理块(1－6)，用于使用多种缺陷检测方法，在各种缺陷检测方法下同时执行缺陷判断像素的缺陷判断，并且如果找到缺陷像素，根据相关缺陷检测方法执行内插处理；和内插值选择块(1－7)，选择被判断为有缺陷的像素的最终输出值。
文档编号H04N5/372GK1732693SQ20038010736
公开日2006年2月8日 申请日期2003年12月11日 优先权日2002年12月24日
发明者米田丰, 小矶学 申请人:索尼株式会社