专利名称：检测和校正数字图像传感器中有缺陷像素的系统和方法
技术领域：
本发明一般地涉及数字图像传感器，更具体地说，本发明涉及用于检测和校正数字图像传感器中有缺陷像素的系统和方法。
背景技术：
许多电子器件包含电子图像传感器。电子图像传感器通常是CCD(charge coupled devices，电荷耦合器件)和CMOS-APS(complimentarymetal oxide semiconductor-active pixel sensors，互补金属氧化物半导体-有源像素传感器)这两种中的一种。每种类型的电子图像传感器包含一批按一定式样排列的光电检测器(即像素)。每个像素响应于曝光图像测量一组光线波长范围中的某个范围的光的强度。各组范围每个可与人类视觉系统所感知的一种颜色相关联。
遗憾的是，电子图像传感器可包含有缺陷像素(defective pixel)。有缺陷像素是下述像素，其对来自图像的曝光光线响应不当，并因此产生不准确的传感器值。有缺陷像素可是具有反常高(例如满或者接近满刻度)输出的陷于高的像素、具有反常低(例如零或者接近零刻度)输出的陷于低的像素，或者与在同样光线条件下曝光的相邻像素极大不同的反常感光像素。
人们希望能够精确地检测和校正电子图像传感器的有缺陷像素。
发明内容
一个示范性实施例提供了包括处理器和像素阵列的数字图像传感器。所述像素阵列包括第一颜色平面中被配置为生成当前传感器值的当前像素、第一颜色平面中被配置为生成第一组传感器值的第一组像素，以及第二颜色平面中被配置为生成第二组传感器值的第二组像素。所述处理器被配置为使用所述第一组传感器值和与所述第二组传感器值相关联的多个强度比来生成多个估计值，而且所述处理器被配置为通过使用所述多个估计值和所述当前传感器值来确定所述当前像素是否有缺陷。
图1的框图说明了用于检测和校正有缺陷像素的数字成像系统的一个图2说明了缓冲区内传感器值的一个示例。
图3的框图说明了坏像素校正模块的一个实施例。
图4的流程图说明了用于检测和校正有缺陷像素的方法的一个实施例。
图5的框图说明了信息系统的一个实施例。
具体实施例方式
在下列详细描述中，参照了附图，附图构成了本说明书的一部分，而且其中说明性地示出了可以实施本发明的具体实施例。在这点上，定向术语(例如“上”、“下”、“前”、“后”、“第一个”、“最后一个”等等)是参照正被描述的图(一张或多张)的方向而使用的。因为本发明实施例的组件可以定位在许多不同方向上，所以这些定向术语是为了说明的目的使用而非限制。应当明白，其他的实施例可被利用，而且，不脱离本发明的范围，可做出结构或逻辑改动。因此，以下详细描述不应理解为限制意义，本发明的范围由所附权利要求书定义。
图1的框图说明了用于检测和校正有缺陷像素的数字成像系统10的一个实施例。数字成像系统10包含具有多个像素102的传感器100、缓冲区110，以及坏像素校正(BPC)处理器120。
传感器100包括CCD(电荷耦合器件)、CMOS-APS(互补金属氧化物半导体-有源像素传感器)，或其他合适的传感器。传感器100包括按行和列设置的像素102的二维阵列。传感器100可由色彩过滤阵列(CFA)覆盖，这样使得每个像素102只感知一种颜色，也就是一个范围的光的波长。在一个实施例中，该CFA是Bayer CFA，其中色度颜色(例如红色和蓝色)散布在亮度颜色(例如绿色)的棋盘图案之中。其他实施例中，可使用了其他的CFA，其使用了其他色彩表示法(例如黄色、青色和品红色)。传感器100为每个像素102产生与图像相关联的传感器值，以响应被来自该图像的光线曝光。传感器100将传感器值提供给缓冲区110。
缓冲区110包括易失性或非易失性存储器件(例如RAM或闪存)，所述存储器件被有效耦合到传感器100和BPC处理器120。缓冲区110可与BPC处理器120集成在一块公共基板上，或者可位于BPC处理器120外部。缓冲区110被配置为存储从传感器100接收的传感器值，并将传感器值提供给BPC处理器120。
BPC处理器120包含被配置为用来执行此处所述功能的硬件或软件组件的任意组合。BPC模块的所有软件组件可被存储在可被处理系统访问的便携或非便携介质上，以使得该软件组件的指令可被处理系统执行。BPC处理器120可与缓冲区110集成在一块公共基板上，或者可位于缓冲区110外部。BPC处理器120从缓冲区110接收传感器值，并检测和校正与有缺陷的像素102相关联的传感器值。
有缺陷像素是对来自图像的曝光光线反应不当并因此产生不准确的传感器值的像素102。有缺陷像素可是下面几种像素陷于高的像素，其中像素102具有反常的高(例，满或者接近满刻度)输出；陷于低的像素，其中像素102具有反常的低(例，零或者接近零刻度)输出；或者是反常感光像素，其中某个像素102与在同样光线条件下曝光的相邻的像素102极大不同。
运行时，传感器100将与图像相关联的多个传感器值块提供给缓冲区110，以响应被来自图像的光线曝光。BPC处理器120从缓冲区110访问传感器值，并检测和校正与传感器100的有缺陷的像素102相关联的传感器值，后面将有更详细的描述。
图2说明了缓冲区110中传感器数据的一个示例。在图2中，缓冲区110包含传感器值的当前行202A、当前行202A之前传感器值的两相邻行202B，以及当前行202A之后传感器值的两相邻行202C。正被BPC处理器120检查中的当前像素的传感器值204标明为“Z”。从同当前像素在同一颜色平面的像素102获得的传感器值206标明为“Xn”，而从同当前像素在不同颜色平面的像素102获得的传感器值标明为“Yn”。与传感器值206和208相关联的多个像素被共同称作当前像素的相邻像素。未被用来确定当前像素是否有缺陷的传感器值没有被示出。
图2所示的5×5块的传感器值被用来说明如图3所示的BPC处理器120的一个实施例。在图3中，BPC处理器120包含强度逻辑302、评估逻辑304、范围逻辑306、比较逻辑308、平均值逻辑310、阈值逻辑312，以及替换逻辑314。BPC处理器120每个逻辑模块的功能将参照图4描述。
同时参照图2、3和4，如块402所示，当前像素和相邻像素的传感器值由BPC处理器120从缓冲区110接收。更具体地说，相邻像素的传感器值通过强度逻辑302从缓冲区110接收，而当前像素的传感器值通过比较逻辑308和替换逻辑314从缓冲区110接收。
如块404所示，阈值参数由BPC处理器120设置。该阈值参数(t1和t2)或者在BPC处理器120之内被访问，或者从BPC处理器120之外被访问，而且其被提供给阈值逻辑312。
如块406所示，BPC处理器120计算不同颜色相邻像素的强度比。更具体地说，强度逻辑302计算与当前传感器值在不同颜色平面中的相邻像素的水平、垂直，以及对角强度平均值，并使用该强度平均值生成强度比。强度逻辑302使用来自相同行不同列的传感器值计算水平强度平均值，强度逻辑302使用来自不同行相同列的传感器值计算垂直强度平均值，强度逻辑302使用来自不同行不同列的传感器值计算对角强度平均值。由强度逻辑302计算的强度平均值和强度比的示例见下面的式I到VIII。强度逻辑302将强度比提供给评估逻辑304。
如块408所示，BPC处理器120使用所述不同颜色强度比和相同颜色相邻像素来计算估计值。更具体地说，评估逻辑304从强度逻辑302接收强度比，并使用如下式I到式VIII来计算八个估计值E1到E8。
式I
E1=X2×(Y6+Y72)(Y1+Y22)=X2×(Y6+Y7Y1+Y2)]]>式IIE2=X7×(Y6+Y72)(Y11+Y122)=X7×(Y6+Y7Y11+Y12)]]>式IIIE3=X4×(Y4+Y92)(Y3+Y82)=X4×(Y4+Y9Y3+Y8)]]>式IVE4=X5×(Y4+Y92)(Y5+Y102)=X5×(Y4+Y9Y5+Y10)]]>式VE5=X1×(Y7+Y92)(Y1+Y32)=X1×(Y7+Y9Y1+Y3)]]>式VI
E6=X3×(Y6+Y92)(Y2+Y52)=X3×(Y6+Y9Y2+Y5)]]>式VIIE7=X6×(Y4+Y72)(Y8+Y112)=X6×(Y4+Y7Y8+Y11)]]>式VIIIE8=X8×(Y4+Y62)(Y10+Y122)=X8×(Y4+Y6Y10+Y12)]]>如式I到式VIII所示，通过用来自同当前传感器值相同颜色平面的传感器值乘以来自同当前传感器值不同颜色平面的传感器值的两个强度平均值的强度比，评估逻辑304计算八个估计值E1到E8。在其他实施例中，可使用强度平均值、中值，或者排除了极值的平均值来计算该强度比。对于每一个使用式I到式VIII计算的八个估计值E1到E8，如果使用式I到式VIII计算的估计值超过了最大值，评估逻辑304就把估计值设为与最大值相等。评估逻辑304将八个估计值E1到E8提供给范围逻辑306和平均值逻辑310。如果强度比中的分母值是零，那么供替换的值可替换该零，以确保不生成未定义的值。
如块410中所示，BPC处理器120确定了最大、最小，以及平均估计值。更具体地说，范围逻辑306从评估逻辑304接收了八个估计值E1到E8，并确定了值E1到E8中的最小估计值Emin、最大估计值Emax。范围逻辑306将最小和最大估计值Emin和Emax提供给比较逻辑308。平均值逻辑310从评估逻辑304接收八个估计值E1到E8，并确定了值E1到E8中的平均估计值Emean。该平均估计值Emean可包含平均值、中值，或者排除了极值的平均值。平均值逻辑310将该平均估计值Emean提供给阈值逻辑312和替换逻辑314。
如块412所示，BPC处理器120使用平均估计和阈值参数来计算阈值。更具体地说，阈值逻辑312从平均值逻辑310接收了平均估计值Emean，并使用阈值参数t1和t2，利用式IX，以计算阈值Th。
式IXTh＝t1+(t2×Emean)阈值逻辑312将阈值Th提供给比较逻辑308。
如块414中所示，BPC处理器120使用阈值调整最小和最大估计来分别确定低值和高值。更具体地说，如式X所示，比较逻辑308通过把从范围逻辑306接收的最小估计值Emin减去从阈值逻辑312接收的阈值Th，以生成低值。
式XLowValue＝Emin-Th另外，如式XI所示，比较逻辑308通过从范围逻辑306接收的最大估计值Emax加上从阈值逻辑312接收的阈值Th，以生成高值。
式XIHighValue＝Emax+Th如块416中所示，BPC处理器120做出关于当前传感器值是否小于低值的决定。更具体地说，比较逻辑308将当前传感器值与使用式X生成的低值相比较，以确定当前传感器值是否小于低值。如果当前传感器值小于低值，那么与当前传感器值相关联的像素102就被确定有缺陷，而BPC处理器120，如块418中所示，提供平均估计值来代替当前传感器值。响应于比较逻辑308做出的当前传感器值小于低值的决定，比较逻辑308生成缺陷信号DEF，并将缺陷信号DEF提供给替换逻辑314。响应于接收到缺陷信号DEF，替换逻辑314把从平均值逻辑310接收的平均估计值Emean作为当前传感器值Z′提供，而非从缓冲区110提供的当前传感器值Z。
如果当前传感器值不小于低值，那么如块420中所示，BPC处理器120做出关于当前传感器值是否大于高值的决定。更具体地说，比较逻辑将当前传感器值与使用式XI生成的高值相比较，以确定当前传感器值是否大于高值。如果当前传感器值大于高值，那么与当前传感器值相关联的像素102就被确定有缺陷，而BPC处理器120如块418中所示提供平均估计值来代替当前传感器值。响应于比较逻辑308做出的当前传感器值大于高值的决定，比较逻辑308生成缺陷信号DEF，并将缺陷信号DEF提供给替换逻辑314。响应于接收到缺陷信号DEF，替换逻辑314把从平均值逻辑310接收的平均估计值Emean作为当前传感器值Z′提供，而非从缓冲区110提供的当前传感器值Z。
如果当前传感器值不大于高值，那么与当前传感器值相关联的像素102就被确定没有缺陷，如块422中所示，BPC处理器提供当前传感器值。响应于比较逻辑308做出的当前传感器值不大于高值的决定，比较逻辑308没有将缺陷信号DEF提供给替换逻辑314。因此，替换逻辑314提供从缓冲区110提供的当前传感器值Z作为当前传感器值Z′。
图5的框图说明了信息系统500的一个实施例。信息系统500包含数字成像系统10、处理系统502，以及一个或更多的可选功能单元504。
信息系统500可是任何在内部或外部作为主要或辅助系统合并数字成像系统10的系统。例如，信息系统500可是数字的静态图片或视频摄像机、手机、个人数字助理(PDA)、便携式(例如膝上型)或非便携式(例如桌上型电脑和服务器)计算机系统，或者是医学成像器件。
处理系统502控制或管理数字成像系统和所有功能单元504的运行。处理系统502可将来自数字成像系统10的信息提供给功能单元504，并可将来自功能单元504的信息提供给数字成像系统10。处理系统502可包含硬件和软件组件的任意组合，例如一个或更多的处理器或控制器，以及用来存储处理器或控制器可执行软件的一个或更多存储器件。
功能单元504可包括硬件和软件组件的任意组合，所述组件在信息系统500之内或之外。功能单元504的示例包含被配置为与其他信息系统通信的网络或通信器件(例如调制解调器或蜂窝式电话收发器)，以及被配置为显示来自数字成像系统10的图像的显示器件。
虽然已经于此说明和描述了多个特定实施例，但是本领域的技术人员应当意识到，许多替换和/或等同实现可替换被示出和描述的特定实施例，而不会脱离本发明的范围。本申请意图覆盖在这里讨论的特定实施例的所有修改或变化。因此，本发明应仅受权利要求书和其等同物限制。
本发明与在2002年9月18日提交的名为“METHOD FORDETECTING AND CORRECTING DEFECTIVE PIXELS IN A DIGITALIMAGE SENSOR”的美国专利申请序号10/246,124有关。上述美国专利申请被转让给本发明的受让人，并据此将其内容作为参照包含于本说明书中。
权利要求
1.一种数字图像传感器，包括像素阵列，其包括在第一颜色平面中被配置为生成当前传感器值的当前像素，在所述第一颜色平面中被配置为生成第一组传感器值的第一组像素，和在第二颜色平面中被配置为生成第二组传感器值的第二组像素；以及处理器，其被配置为使用所述第一组传感器值和与所述第二组传感器值相关联的多个强度比来生成多个估计值，并且所述处理器被配置为使用所述多个估计值和所述当前传感器值来确定所述当前像素是否有缺陷。
2.根据权利要求1所述的数字图像传感器，其中，所述处理器被配置为通过用所述多个强度比中的一个去乘所述第一组传感器值中的一个，来生成所述多个估计值中的每一个。
3.根据权利要求1所述的数字图像传感器，其中，所述处理器被配置为通过用第一值除以第二值来生成所述多个强度比中的每一个，所述第一值是从所述第二组传感器值中的第一集合生成的，所述第二值是从所述第二组传感器值中的第二集合生成的。
4.根据权利要求3所述的数字图像传感器，其中，所述第一值从第一群中选择，所述第一群包含从所述第二组传感器值中的第一集合生成的平均值、排除了极值的平均值，以及中值；而且其中，所述第二值从第二群中选择，所述第二群包含从所述第二组传感器值中的第二集合生成的平均值、排除了极值的平均值，以及中值。
5.根据权利要求1所述的数字图像传感器，其中所述处理器被配置为响应于确定所述当前像素有缺陷用所述多个估计值中的一个替换所述当前传感器值。
6.根据权利要求5所述的数字图像传感器，其中，所述多个估计值中所述的一个从群中选择，所述群包含所述多个估计值的平均值、排除了极值的平均值，以及中值。
7.根据权利要求1所述的数字图像传感器，其中，所述处理器被配置为从所述多个估计值来计算阈值，而且其中，所述处理器被配置为使用所述阈值来确定所述当前像素是否有缺陷。
8.根据权利要求1所述的数字图像传感器，其中，所述处理器被配置为计算所述多个估计值的最小值和所述多个估计值的最大值，而且其中，所述处理器被配置为使用所述最小值和所述最大值来确定所述当前像素是否有缺陷。
9.根据权利要求1所述的数字图像传感器，进一步包括缓冲区，其被配置为从所述阵列接收所述当前传感器值、所述第一组传感器值，以及所述第二组传感器值，所述缓冲区被配置为将所述当前传感器值、所述第一组传感器值，以及所述第二组传感器值提供给所述处理器。
10.一种用于检测像素阵列中有缺陷像素的方法，所述像素阵列包括第一颜色平面中被配置为生成当前传感器值的当前像素、第二颜色平面中被配置为生成第一组传感器值的第一组像素，以及所述第一颜色平面中被配置为生成第二组传感器值的第二组像素，所述方法包括通过使用所述第一组传感器值和与所述第二组传感器值相关联的多个强度比来生成多个估计值；以及使用所述多个估计值和所述当前传感器值来确定所述当前像素是否有缺陷。
11.根据权利要求10所述的方法，进一步包括通过用所述多个强度比中的一个去乘所述第一组传感器值中的一个，生成所述多个估计值中的每一个。
12.根据权利要求10所述的方法，进一步包括通过用第一值除以第二值来计算所述多个强度比，所述第一值是从所述第二组传感器值中的第一集合生成的，所述第二值是从所述第二组传感器值中的第二集合生成的。
13.根据权利要求12所述的方法，其中，所述第一值从第一群中选择，所述第一群包含从所述第二组传感器值中的第一集合生成的平均值、排除了极值的平均值，以及中值；而且其中，所述第二值从第二群中选择，所述第二群包含从所述第二组传感器值中的第二集合生成的平均值、排除了极值的平均值，以及中值。
14.根据权利要求10所述的方法，进一步包括响应于确定所述当前像素有缺陷，用所述多个估计值中的一个替换所述当前传感器值。
15.根据权利要求14所述的方法，其中，所述多个估计值中所述的一个从群中选择，所述群包含所述多个估计值的平均值、排除了极值的平均值，以及中值。
16.根据权利要求10所述的方法，进一步包括计算所述多个估计值的最小值和所述多个估计值的最大值；以及使用所述最小值和所述最大值来确定所述当前像素是否有缺陷。
17.一种系统，包括数字图像系统，其具有按行和列排列的像素阵列，该像素阵列包括在第一颜色平面中被配置为生成与图像相关联的当前传感器值的当前像素、在所述第一颜色平面中被配置为生成与所述图像相关联的第一组传感器值的第一组像素，和在第二颜色平面中被配置为生成与所述图像相关联的第二组传感器值的第二组像素，所述数字图像系统被配置为使用所述第一组传感器值和与所述第二颜色平面相关联的多个强度比来计算多个估计值，而且所述数字图像系统被配置为使用所述多个估计值和所述当前传感器值来确定所述当前像素是否有缺陷；以及被配置为从所述数字图像系统接收所述图像的处理系统。
18.根据权利要求17所述的系统，其中，所述数字图像系统被配置为通过用第一值除以第二值来计算所述多个强度比中的每一个，所述第一值是从所述第二组传感器值中的第一集合生成的，所述第二值是从所述第二组传感器值中的第二集合生成的。
19.根据权利要求3所述的系统，其中，所述第一值从第一群中选择，所述第一群包含从所述第二组传感器值中的第一集合生成的平均值、排除了极值的平均值，以及中值；而且其中，所述第二值从第二群中选择，所述第二群包含从所述第二组传感器值中的第二集合生成的平均值、排除了极值的平均值，以及中值。
20.根据权利要求1所述的系统，其中，所述数字图像系统被配置为响应于确定所述像素有缺陷，用所述多个估计值中的一个替换所述当前传感器值。
全文摘要
本发明公开了一种用于检测和校正数字图像传感器中有缺陷像素的系统和方法。本发明的数字图像传感器包含像素阵列和处理器。像素阵列包括第一颜色平面中被配置为生成当前传感器值的当前像素、第一颜色平面中被配置为生成第一组传感器值的第一组像素，以及第二颜色平面中被配置为生成第二组传感器值的第二组像素。处理器被配置为使用第一组传感器值和与第二组传感器值相关联的多个强度比，以生成多个估计值，而且处理器被配置为通过使用所述多个估计值和当前传感器值，以确定当前像素是否有缺陷。
文档编号H04N5/335GK1787615SQ200510103268
公开日2006年6月14日 申请日期2005年9月20日 优先权日2004年12月9日
发明者约翰·H·斯坦贝克, 张雪梅, 罗摩克里希纳·卡卡罗拉, 邦德·余·庞·英 申请人:安捷伦科技有限公司