专利名称：隐藏带测试模式的图像传感器中的缺陷像素的方法
技术领域：
本发明涉及一种隐藏具有测试模式的图像传感器中的有缺陷像素的方法和设备。
背景技术：
通常，图像传感器是一种包含CCD或CMOS的半导体装置，并且是一种用于输入视觉信息的非常重要的装置。该图像传感器能被用于摄录机，数码相机，扫描仪及其他图像再现系统。
所述图像信息能被描述为光信息，并且能通过其发光度和颜色区别图像信息。图像传感器是一种把信息转换为电信号的装置，更具体地，它把模拟电信号转换为数字信号来完成数字化图像处理。
所以说，图像传感器具有在二维结构中的多个像素，并且每一像素依照其亮度将其光转换为电信号。通过测量其电信号，能够定义每一像素的光量并且像素单元的图像能通过该定义值而形成。
在这种情况，每一像素的操作类似于太阳能电池的操作。即，光越亮，聚积的电荷越多，并且光强通过测量固定时间内积累的电荷来定义。
图1是一个实际物体和传感器中的图像的示意图，有实际物体101，传感器芯片102，像素区域103及传感器的像素区域中的实际物体的图像104。
关于这一点，图中像素区域中像素越多，就越能更好的表示该实际物体。
图像传感器能够定义为两种类型，一种是黑白的，另一种是彩色的。在彩色图像传感器的情况中，RGB(红，绿，蓝)彩色滤光器用于每一个像素上，并响应相应的颜色。在设置彩色滤光器的几种方法中，有代表性的一种称为“拜耳(Bayer)格式”。
通常，所述图像传感器的每一像素只能显示一种颜色。然而，为了显示一个图像，所有的像素应该有RGB的所有信息。插补技术用于产生那些不可得的信息。通过使用插补技术，表1内中心偏左、3×3框中B1像素中的RGB数值的数学构成式在下面给出。
R＝(R1+R2+R4+R5)/4G＝(G1+G4+G5+G7)/4B＝B1通过使用上述构成式，可以确定像素B1中的R、G、B。
另外一个例子，表1内中心偏右、3×3框中G6像素中的RGB数值的数学构成式被确定为[数学构成式2]R＝(R3+R6)/2G＝G6B＝(B2+B3)/2通常，在制作处理的一些前提下，能够找到像素的反常操作。因为该像素没有正确响应所述光线，当使用输出值重组图像时它看起来会与众不同。
该像素看来比实际物体更亮或更暗。该像素被称为缺陷像素。
另外，看来更亮的缺陷像素被称为“白色像素”，看来更暗的缺陷像素被称为“黑色像素”。有缺陷像素的这些传感器是不能出售的。
所述图像传感器中像素数量越多则价格越高，然而，产生有缺陷像素的可能性增高了。
事实上，图像传感器中缺陷像素是影响成品(yield)的最重要的因素。根据该情况，如果有缺陷像素的产品能被出售，这是很有益的。
为实现这些，上述有缺陷像素隐藏(DPC)方法是很有用的。该方法用于隐藏物理缺陷像素。DPC的基本原理与插补技术相同。
所以说，如果用于显示的像素是一个有缺陷的像素，则它利用其周围正常像素的值并且替换该值。
可以得到表2中B2的RGB值，通过R＝(R2+R3+R5+R6)/4，B＝B2，G＝(G2+G5+G6+G8)/4获得正常像素B2。
如果B2是一个缺陷像素，蓝色值看起来与实际颜色不同。如果B＝(B1+B3)/2能够被B＝B2替换，颜色会更自然一些。
所述方法是DPC插补方法。另一种方法中，它能被替换为B＝B1，这是DPC替换方法。
为描述DPC插补方法，可参照如下所示的表3。
在表3中，G5像素的绿色值变为G＝G5。如果G5像素是有缺陷的，它能够变为G＝(G1+G2+G7+G8)。关于这一点，简单的情况，使用DPC替换方法将其替换为G＝G4。
在上述DPC方法中，插补隐藏能产生比替换隐藏更自然的显示，然而，却需要更多的硬件。
将参照图2a-图2c描述实现DPC方法的现有技术。
图2a-图2c是现有图像传感器的缺陷像素隐藏的示意图，并且以摄像机为例说明。图2a是图像传感器的缺陷像素隐藏的整体图。图2b是图2a中传感模块210的细节图，图2c是图2a中图像隐藏单元220的细节图。
根据图2a，现有技术的图像传感器中缺陷像素隐藏设备包括传感模块210、图像隐藏单元220、用于存储缺陷像素位置信息的EPROM存储单元240以及控制单元230。
图像隐藏单元220是使用插补操作处理的传感模块210中的传感器传输的图像数据的电路，并且DPC电路必须包括于其中，因为DPC应在插补之前处理。
图2c是图像隐藏单元220的细节图，其包括用于处理正常像素的插补的插补处理器221；用于处理缺陷像素的插补的插补处理器222；用于处理当前像素位置信息的当前像素位置的当前像素位置检测器223；用于记录缺陷像素位置信息的记录器224；用于比较当前像素位置和缺陷像素位置的比较器225；用于根据比较装置的结果进行DPC处理的DPC处理器226；用于驱动DPC处理装置的DPC驱动器227；用于根据DPC处理装置的结果对于正常或有缺陷像素的插补处理装置的输出结果进行选择的选择器228以及用于处理图像帧的而不是DPC功能的其它(separate)功能的处理器229。
另外，控制单元230分析并处理来自图像隐藏单元220的数据并且对传感模块210和图像隐藏单元220进行编程。
而且，EPROM存储单元240存储传感模块210的传感器像素区域中的缺陷像素的位置信息。当摄像机工作在正常操作模式下时，控制单元230把存储于存储单元240的缺陷像素的位置信息记录在用于图像隐藏单元220中缺陷像素位置的记录器224中。
现有技术的图像传感器中的缺陷像素隐藏设备使用如下方法。
首先，下面是找出缺陷像素的编程方法。
传感模块210中传感器的曝光度(exposure)已经给出，并且在适当的光线下获取白色的边。控制单元230分析找出在这次获取中相对其它像素比较暗的像素，并视为黑色像素，并且记住其在像素区域103中的位置。
传感器中的曝光度和光线设置为适当值并且获取黑色背景。
控制单元230分析找出在这次获取中相对其它像素比较亮的像素，并视为白色像素，并且记住其在像素区域103中的位置。
白色像素及黑色像素的位置信息被存储于存储单元240。
接着，下面是通过使用存储在存储单元240中的缺陷像素的位置操作实际DPC的方法。
当电压加到摄像机上时，控制单元230读出存储单元240中的缺陷像素位置并把它写入图像隐藏单元220的缺陷像素位置的记录器224中，并驱动DPC驱动器227。
这之后，一旦插补被处理，则比较当前像素位置的当前像素位置检测器223中的值及记录缺陷像素的位置信息的记录器224中的值。如果上述值相同，则选择器228选择在插补处理器222中处理的值并把该值送到控制单元230来隐藏图像传感器中的缺陷像素。
在操作实际DPC的方法中，记住在存储单元240中的缺陷像素的位置，把其载入记录器224(ASIC寄存器)中，然后如果检测到缺陷像素位置则隐藏并传输该数据。从存储单元240中读取数据并且将其装入记录器224(ASIC寄存器)的原因是由于存储单元240的操作时间中速度慢而不能使用位置数据完成该直接DPC方法。
然而，此方法必找到缺陷像素的位置。为了完成该方法，所述综合时间必须是常数并且必须找到缺陷像素。
但是现有的直接DPC方法存在如下问题。
需要复杂的处理，例如用于存储缺陷像素的位置的EPROM、用于找到在传感器的每一个暴光中以及获取背境中的缺陷像素位置的检测、以及把缺陷位置存储于EPROM的处理。
另外，该方法不能隐藏移动的缺陷像素。
发明内容
因此，本发明的一个目的是提供一种隐藏具有测试模式的图像传感器中的有缺陷像素的方法和设备。本发明既不需要外部存储装置，也不需要每次测试中用于缺陷像素的程序。另外，本发明提供存储介质，用于从编程的计算机中读出来以隐藏图像传感器的移动缺陷像素。
依照本发明的一个方面，提供了一种图像传感器中缺陷像素的隐藏方法，包括下列步骤搜索白色像素，并且为测试模式临时存储所述白色像素的位置；搜索黑色像素，并且临时存储所述黑色像素的位置；存储作为缺陷像素的黑色和白色像素的位置并且为测试模式接收来自物体的图像；把与来自物体的图像的相关的像素的位置与缺陷像素的位置比较并且通过插补把缺陷像素合成为一图像。
依照本发明的另一个方面，还提供了一种图像传感器中缺陷像素的隐藏方法，包括下列步骤存储在白色像素测试模式下产生的一第一图像帧；存储在黑色像素测试模式下产生的一第二图像帧；确定在第一和第二帧中是否存在任何黑色和白色像素，如果存在任何黑色和白色像素则把这些黑色和白色像素临时存储，把所述黑色和白色像素的位置作为缺陷像素位置记录并接收来自物体的图像；把与来自物体的图像的相关的像素的位置与缺陷像素的位置比较，并且通过插补为缺陷像素合成一图像。
图1是实际物体及本发明的传感器上的图像的示意图。
图2a到2c是现有的图像传感器的缺陷像素隐藏及以摄影机为例的示意图。
图3是隐藏具有测试模式的图像传感器中的缺陷像素的设备图。
图4a是隐藏具有测试模式的图像传感器中的缺陷像素的设备中的传感模块的细节图。
图4b是隐藏具有测试模式的图像传感器中的缺陷像素的设备中的图像隐藏单元的细节图。
图4c是隐藏具有测试模式的图像传感器中的缺陷像素的设备中的控制单元的细节图。
图5是本发明的隐藏图像传感器的缺陷像素的方法的流程图。
图6a是白色像素的决定方法的详细流程图。
图6b是黑色像素的决定方法的详细流程图。
图6c是隐藏图像传感器的缺陷像素的方法中正常操作模式的方法的详细流程图及其程序的详细描述。
具体实施例方式
在下文中，将依照附图详细说明根据本发明的图像传感器。
本发明的隐藏缺陷像素的设备具有一搜索缺陷像素的内部装置所以可以人工找到缺陷像素。
将随后介绍的隐藏图像传感器的缺陷像素的设备能被用于摄录机，数字摄像机及扫描仪。但是可通过内置于数字摄像机中的图像传感器来描述本发明。
图3是隐藏具有测试模式的图像传感器中的缺陷像素的设备的例子。而且，图4a是隐藏图像传感器中的缺陷像素的设备中的传感模块的细节图并对图3中传感模块310的内部结构进行了详细描述。而且，图4b是隐藏图像传感器中的缺陷像素的设备中的图像隐藏单元320的细节图并对图像隐藏单元320的内部结构进行了详细描述。图4c是隐藏具有测试模式的图像传感器中的缺陷像素的设备中的控制单元的细节图并对控制单元330的内部结构进行了详细描述。
如图3所示，根据本发明图像传感器包括传感模块310、图像隐藏单元320以及控制单元330。
举例说明，如图4所示，传感模块310包括镜头固定器311、镜头312、光源313、图像传感器包314、图像传感器电路小板315以及PCB板316。与图2b中的传感模块210相比，本发明还包括一光源。
因此，本发明中具有隐藏图像传感器的缺陷像素的设备的所述传感模块310，其包括一临近图4a中示出的传感器的小光源。该光源313在搜索缺陷像素的测试模式期间开启，在正常操作模式期间关闭。
在正常操作模式期间，该光源313位于远离光传输到镜头的路线的地方，因为该光源313不应当干扰图像获取处理。
在图4a中，所述图像隐藏单元320包括第一插补处理器321，用于正常像素的插补处理；第二插补处理器322，用于缺陷像素的插补处理；当前像素位置检测器323，用于管理当前像素位置的信息；记录器324，用于记录缺陷像素的位置信息；比较器325，用于比较当前像素位置及缺陷像素位置；DPC处理器326，用于响应来自比较器的结果执行DPC处理；DPC驱动器327，用于驱动DPC处理器326；选择器328，用于把在正常操作模式中的第一插补处理器321或第二插补处理器322的输出进行选择地输出并为测试模式接收来自传感模块310的图像帧；处理器329，用于处理图像帧的各个功能而不是DPC功能；以及选择控制器341，用于控制选择器328来响应来自控制单元330的指示测试或正常模式的控制信号。
在图4b中，在测试模式中，来自传感模块310的图像帧在经由图像隐藏单元320传输到控制单元330。然而，来自传感模块310的图像帧能够不经由图像隐藏单元320直接传输到控制单元330。
在图4c中，控制单元330可以是计算机系统或微控制器来控制和处理来自传感模块310和图像隐藏单元320的数据。
控制单元330包括图像帧存储器333，用于存储来自传感模块310中传感器的图像帧；缺陷像素检测器332，用于检测缺陷像素并存储检测程序；临时存储器334，用于存储从缺陷像素检测器332检测到的缺陷像素的位置信息；以及图像控制器331，用于控制缺陷像素检测器332，图像帧存储器333，临时存储器334及图像隐藏单元320之间的信息。
图5是本发明中隐藏图像传感器的缺陷像素的方法的流程图。
为了隐藏在图像传感器中的缺陷像素，在510步，将电源供给缺陷像素隐藏设备。
然后，在520步，控制单元330中的图像控制器331将摄像模式设置为测试模式以检测白色像素并存储用于缺陷像素的临时存储器334中的白色像素的位置信息。
即，把传感器的曝光度减到最小并禁止图像隐藏单元320中的插补功能及DPC功能。
如果图像控制器设置为测试模式，图像控制单元331读出传感模块310中传感器的图像帧并且将其存储于图像帧存储器333。缺陷像素检测器332读出存储于图像帧存储器333中的像素单元的图像数据，决定像素的状态并且如果该像素为一缺陷像素的话把该像素的位置存储于用于缺陷像素的临时存储器334。
对图像帧存储器333中的每一像素反复运行检测程序。
检测程序之后，在530步，控制单元330中的图像控制器331设置摄像模式为测试模式以检测黑色像素并在用于缺陷像素的临时存储器334中存储黑色像素的位置信息。即，把传感器的曝光度设置为一适当值，通过开启光源读出传感器中的图像帧并且在把图像帧存储于图像帧存储器333中后关闭光源。
关闭光源之后，缺陷像素检测器332读出存储于图像帧存储器333中的像素单元中的图像数据，决定像素的状态并且如果该像素为一缺陷像素的话把该像素的位置存储于用于缺陷像素的临时存储器334。
对图像帧存储器333中的每一像素反复运行检测程序。
上述步骤520和530结束后，在540步，图像控制器331从用于缺陷像素的临时存储器334中读出位置信息，将其记录在用于记录缺陷像素的位置信息的记录器324中，并且在550步把数字摄像机的系统模式设置为正常操作模式。即，启动DPC功能及插补功能并且通过传感模块310中的传感器传输所述图像。
在正常操作模式中的数字摄影机系统根据图像隐藏单元320中DPC电路进行正常操作。在比较当前像素检测器323中的当前像素的位置信息和记录器324中的缺陷像素的位置信息之后，如果检测到相同的像素，则使用从用于缺陷像素的插补处理器322中的输出。如果没有，在560步通过使用用于正常像素的插补处理器321的输出合成所述图像。
如图5所示，当在510步电源加到数字摄影机系统上时，在521步将摄影机模式设置为测试模式来搜索白色像素。
控制单元330进行编程以把传感模块310中传感器的曝光度最小化并且禁止图像隐藏320单元中的插补功能及DPC功能。
在测试模式中，在522步传感模块310中传感器的一个帧被读出并且被存入图像帧存储器333。
当图像帧被存储时，缺陷像素检测器322检查存储在图像帧存储器333中的每一像素并且如果该像素比其它像素亮则把该白色像素的位置存储入用于缺陷像素的临时存储器334中。
为了确定所述白色像素，将它与其它像素的全部帧平均值或其它像素值进行比较。下表给出每个像素值。
表4
首先，与全部帧平均值的比较的方法是如果G5＞A*V，A是所述全部帧平均值，则假定该G5像素为缺陷像素。
其次，比较其它像素值的方法是检测G5像素是否是G5＞V*(G1+R2+G2+B1+B2+G7+R5+G8)/8。
另一种方法，它与紧临一像素的另外两个像素比较。对于G5它可以通过核对G5＞V*(B1+B2)/2来完成。
另外一种更简单的方法，它仅与临近一像素的另外一个像素比较。如果G5＞V*B1则上述G5像素作为缺陷像素。
在决定了其是否是缺陷像素之后，将每一白色像素的位置信息存入临时存储器334。
图6b是图5的540步中所述黑色像素的决定方法的详细流程图。
首先，531步将摄影模式设置为测试模式来搜索黑色像素。
开启光源并且设置综合时间。在532步，图像的一个原始数据图像帧被从传感模块310中的传感器中读出，并存储在图像帧存储器333，并且533步关闭光源。
在535步，图像控制器331检查存入图像帧存储器333的每一像素，并且如果所述像素比其它像素暗时，存储缺陷像素的位置信息。
为了确定黑色像素，它与其它像素的全部帧平均值或其它像素值相比较。下表给出每个像素值。
表5
首先，与全部帧平均值的比较的方法是如果G5＜A*V，A是全部帧平均值，则假定所述G5像素为缺陷像素。
接着，与其它像素值比较的方法是检测G5像素是否是G5＜V*(G1+R2+G2+B1+B2+G7+R5+G8)/8。
另一种方法，它与紧临一像素的另外两个像素比较。对于G5它可以通过核对G5＜V*(B1+B2)/2来完成。
另外一种更简单的方法，它仅与临近一像素的另外一个像素比较。如果G5＜V*B1则G5像素为缺陷像素。
在决定了其是否是缺陷像素之后，将每一白色像素的位置信息存入临时存储器334。
图6c是说明图像传感器的缺陷像素隐藏的正常操作模式的方法的详细流程图，其是图5中560步的正常操作模式步骤的详细描述。
在正常操作模式中，读出传感模块310中的传感器中的像素的位置信息以及缺陷像素的位置信息并且与当前像素位置的当前像素位置检测器323和用于记录缺陷像素的位置信息的记录器324中的位置信息进行相互比较。
比较之后，在562步如果当前像素的位置与任一缺陷像素相同，则一像素成为缺陷像素，并且用于缺陷像素的插补处理器322产生结果。
在562步如果当前像素的位置与任一缺陷像素都不相同，则一像素成为正常像素并且用于正常像素的插补处理器321产生结果。
使用上述步骤的结果，图像合成之后通过数字摄像机系统的输出单元显示该图像。
本发明不需要例如EPROM的外部存储器。另外，不需要复杂处理，例如，用于搜索在传感器的每一次曝光和捕获环境中的缺陷像素的位置的测试。
本发明适用于移动缺陷像素。
对本发明已进行了足够详细的描述。对本领域普通技术人员来说，各种修改是显而易见的。这些显而易见的修改应视为包括在随后的权利要求中。
权利要求
1.一种图像传感器中缺陷像素的隐藏方法，包括下列步骤a)搜索白色像素，并且为测试模式临时存储所述白色像素的位置；b)搜索黑色像素，并且临时存储所述黑色像素的位置；c)存储作为缺陷像素的黑色和白色像素的位置，并且为测试模式接收来自物体的图像；d)把与来自物体的图像相关的像素的位置与缺陷像素的位置比较，并且通过插补为缺陷像素合成一图像。
2.如权利要求1所述的方法，其中步骤a)包括下列步骤a1)通过关闭光源设置测试模式来检测所述白色像素；a2)存储在所述测试模式下输入的图像帧；以及a3)将图像帧的每一所选择的像素与所述图像帧中的所有像素的平均值进行比较或者将所述图像帧的每一像素与其它相邻像素进行比较，并且如果所述像素的亮度高于预定值则把为白色像素的所选择像素的位置存储。
3.如权利要求1所述的方法，其中步骤b)包括下列步骤b1)通过开启光源设置测试模式来检测所述黑色像素；b2)存储在所述测试模式下输入的图像帧；b3)关闭所述光源；以及b4)将图像帧的每一所选择的像素与所述图像帧中的所有像素的平均值进行比较或者将所述图像帧的每一像素与其它相邻像素进行比较，并且如果所述被比较的像素的亮度低于预定值，则把为黑色像素的所选择像素的位置存储。
4.如权利要求2所述的方法，其中步骤a3)包括步骤将每一像素与8个临近像素或2个临近像素的平均值或者临近像素中的一个进行比较。
5.如权利要求3所述的方法，其中步骤b4)还包括步骤将每一像素与8个临近像素或2个临近像素的平均值或者临近像素中的一个进行比较。
6.一种图像传感器中缺陷像素的隐藏方法，包括下列步骤a)存储在白色像素测试模式下产生的一第一图像帧；b)存储在黑色像素测试模式下产生的一第二图像帧；c)决定在第一和第二帧中是否存在任何黑色和白色像素，如果存在任何黑色和白色像素则把这些黑色和白色像素的位置临时存储，把所述黑色和白色像素的位置作为缺陷像素位置记录，并接收来自物体的图像；以及d)把与来自物体的图像相关的像素的位置与缺陷像素的位置进行比较并且通过插补为缺陷像素合成一图像。
7.如权利要求6所述的方法，其中步骤a)是通过将图像传感器的曝光度减到最小来执行。
8.如权利要求6所述的方法，其中步骤b)包括下列步骤b1)通过开启光源设置测试模式来检测所述黑色像素；b2)存储在光源开启时产生的图像帧；以及b3)关闭所述光源。
9.如权利要求6所述的方法，其中步骤c)包括下列步骤c1)将图像帧的每一所选择的像素与所述第一图像帧中的所有像素的平均值进行比较或者将所述图像帧的每一像素和其它相邻像素进行比较，并且如果所述像素的亮度高于预定值则把为缺陷像素的所选择像素的位置临时存储；c2)将图像帧的每一所选择的像素与所述第二图像帧中的所有像素的平均值进行比较或者将所述图像帧的每一像素与其它相邻像素进行比较，并且如果所述被比较的像素的亮度低于预定值则把为缺陷像素的所选择像素的位置临时存储；c3)对所述缺陷像素的位置进行记录并且接收来自上述物体的图像。
10.如权利要求9所述的方法，其中步骤c1)和c2)还包括步骤将每一像素与8个临近像素或2个临近像素的平均值，或者临近像素中的一个进行比较。
11.如权利要求6所述的方法，其中步骤d)包括下列步骤d1)将与来自所述物体的图像相关的像素的位置与所述白色和黑色像素的位置进行比较；d2)如果至少有一像素与所述白色和黑色像素有相同的位置，则执行一用于所述缺陷像素的插补；以及d3)如果不存在至少一像素与所述白色和黑色像素有相同的位置，则执行一用于与所述物体的图像相关的像素的插补。
全文摘要
本发明涉及一种隐藏具有测试模式的图像传感器中的有缺陷像素的方法。根据本发明的图像传感器中缺陷像素的隐藏方法，包括下列步骤a)搜索白色像素，并且为测试模式临时存储所述白色像素的位置；b)搜索黑色像素，并且临时存储所述黑色像素的位置；c)存储作为缺陷像素的黑色和白色像素的位置，并且为测试模式接收来自物体的图像；d)把与来自物体的图像相关的像素的位置与缺陷像素的位置比较，并且通过插补为缺陷像素合成一图像。
文档编号H04N5/367GK1617563SQ20041007492
公开日2005年5月18日 申请日期2001年10月25日 优先权日2000年10月25日
发明者金显殷 申请人:金显殷, 马格纳奇普半导体有限公司