专利名称：使用哑像素消除固定模式噪声的系统及方法
技术领域：
本发明涉及CMOS图像传感技术，尤其涉及在CMOS图像传感器中消除固定 模式噪声的方法。
背景技术：
在当今的CMOS图像传感器中，FPN ( Fixed Pattern Noise:固定模式噪声) 一直是困扰设计者的一道难题。其中形成FPN的主要因素包括像素电路和相关 的读取放大电路存在不匹配的情形，供电电源的扰动而引入的噪声等。
为了消除图像传感器中的FPN，现有技术中通常采用两类解决方案。其一是 CDS ( Correlated Double Sampling:相关双取样)方法。代表该CDS方法的美 国专利文献US 6,538,695 B1揭示了一种用于CMOS图像传感器中校准片上固定 模式噪声的方法。该方法首先从每一位线中读取两个数据值以计算一像素列的偏 移和增益误差，该偏移为第一数据值和该增益误差为所读取的第一和第二数据值 的斜率；然后，通过从取样的偏移和增益误差数值中计算平均偏移和平均增益误 差来生成参考偏移和参考增益误差数值；该位线的校准数据包括偏移的差值和增 益误差的差值，其中偏移的差值包括偏移数值和参考偏移之差，增益误差的差值 包括增益误差和参考增益误差之差。将该位线的校准数据储存于片上的非易失性 存储器中以在正常工作状态下补偿FPN效应。然而，在该方法中只是储存了像素 列中的偏移差值和增益误差的差值以消除列FPN对于CMOS图像传感器的影响， 却对于行FPN无能为力。
其二是记录CMOS图像传感器中每一像素的偏移量，并将采集的FPN数据经 压缩后存至片上的非易失性存储器中。该方案以美国专利文献US 6,995,346 B2 为代表，该专利文献公开了一种补偿数字图像的FPN的方法，基于所提供的非易 失性存储器、处理设备、校准结构和图像传感器，该方法使用该校准结构来获取 每个传感器的FPN数据以储存测得的FPN数据；为所拍摄的照片找回该FPN数据；以及利用上述处理设备将该FPN数据用于所拍摄的照片上以补偿固定模式噪 声。由此可见，储存每个传感器的FPN数据需要占用非易失存储器的大量储存空 间，即使所获得的FPN数据经过压缩，其储存空间仍然很大。此外，该方法对基 于电源扰动所引起的噪声的FPN不能够进行实时处理。
发明内容
针对现有技术中CMOS图像传感器在消除像素的固定模式噪声上所存在的技 术缺陷，本文提供了一种使用哑像素消除固定模式噪声的方法。该方法既能够消 除像素阵列的列FPN，也能够消除像素阵列的行FPN。
按照本发明的一个方面，提供了 一种在图像传感器中用于消除固定模式噪声的 系统。该系统包括像素阵列，在像素阵列中不仅具有用于采集图像的原始像素 阵列，还包括用于补偿像素阵列中每一像素单元的哑像素行和哑像素列；读取电 路，用于读取像素阵列中每一像素单元的像素值；PGA(Phase Gradient Autofocus:相位梯度自聚焦)算法单元，用于将来自读取电路的每一像素单元的像 素值与一恒定的像素偏移量相加，并对相加所得的数据进行运算；模数转换单元， 将PGA算法单元的运算结果转换为数字化数据；以及固定模式噪声消除单元，使 用与每一像素单元具有相同行的第一哑像素数值和与该像素单元具有相同列的第
二哑像素数值来补偿该像素单元。
其中，所述^f象素阵列具有两行哑像素和两列哑像素。进一步，该两行哑像素分 别为像素阵列的第 一行和最后 一行；该两列吸像素分别为像素阵列的第 一列和最 后一列。
其中，该像素偏移量与模数转换单元的转换参数相关。此外，该像素偏移量与 哑像素行和哑^象素列的数值相关。
其中，第一哑像素数值来自于哑像素行中的任意一行，以及第二哑像素数值来 自于哑像素列中的任意一列。
按照本发明的又一个方面，提供了一种在图像传感器中用于消除固定模式噪声 的方法，该方法包括步骤
读出像素阵列；将读取结果输入至PGA算法单元，对该PGA算法单元中的每一像素单元增加 一恒定的像素偏移量，并对相加后的结果进行运算； 将来自PGA算法单元的运算结果进行模数转换；以及
使用与每一像素单元具有相同行的第一哑像素数值和与该像素单元具有相同列 的第二哑像素数值来补偿该像素单元。
其中，该像素阵列不仅具有用于采集图像的原始像素阵列，还包括用于补偿像 素阵列中每一像素单元的哑像素行和哑像素列。
其中，像素偏移量与模数转换单元的转换参数相关。此外，像素偏移量与哑像 素行和吸像素列的数值相关。
其中，为了消除像素阵列中某一目标像素的列固定模式噪声，如果M(m，n)表示 该目标像素的数字数值，M(m，0)表示与该目标^像素处在同一行并处于该像素阵列 首列的哑像素对应的数字数值，则将M(m，n)与M(m，0)相减。
其中，为了消除像素阵列中某一目标像素的行固定模式噪声，如果M(m，n)表示 该目标像素的数字数值，M(0,n)表示与该目标像素处在同一列并处于该像素阵列首 行的哑像素对应的数字数值，则将M(m,n)与M(O,n)相减。
其中，如果M(0,0)表示像素阵列中位于首行且位于首列的哑像素对应的数字数 值，则该像素阵列的目标像素的真实数字数值为M(m，n)-M(m，0)-M(0,n) + M(O，O)。
与现有技术相比较，采用本发明的消除固定才莫式噪声的系统及其方法，像素阵 列中的每一像素不仅能够利用当前行的哑像素对应的数字数值消除其列FPN,而 且也能够利用当前列的哑像素对应的数字数值消除其行FPN。此外，由于像素阵 列中的哑像素的数据都是伴随着每一帧图像实时采集的，因而对基于电源扰动引 起的FPN也能起到一定的补偿作用。
读者在参照附图阅读了本发明的具体实施方式
以后，将会更清楚地了解本发明 的各个方面。其中，
图1示出依据本发明的一个方面用于消除固定模式噪声的以18x 18像素阵列 为例的哑像素的分布示意6图2示出如图1所示的像素阵列中各像素单元的示意性数据表格；
图3示出依据本发明的 一 个方面用于消除固定模式噪声的方法的示意性流程框
图4示出依据本发明的另 一个方面用于消除固定模式噪声的系统的结构框图； 图5示出依据本发明的另 一个方面用于消除固定模式噪声的系统在第0帧所釆
样数据的统计示意图；而
图6示出依据本发明的另一个方面用于消除固定模式噪声的系统在第1帧所釆
样数据的统计示意图。
具体实施例方式
下面参照附图，对本发明的具体实施方式
作进一步的详细描述。 图1示出依据本发明的一个方面用于消除固定模式噪声的以18x18像素阵列 为例的哑像素的分布示意图。如图1所示，在18x 18的像素阵列中，若我们定义 第1行为"0"行，第1列为"0"歹'j,像素阵列中的任意像素所处的位置表示为 M(m，n),则m、 n的取值范围均为0 ~ 17。而且，本领域的技术人员应当理解， 基于M(m，n)与像素阵列中单个像素之间的——对应关系，我们还可以将M(m，n) 表示为相应像素位置所对应的像素值。参照图1,本发明选择将该像素阵列的首末 两行以及首末两列作为哑4象素所在的行和列，即，Row0和Row17,以及ColumnO 和Column17,如图中阴影所示的部分。诚然，本发明为了同时消除行FPN和列 FPN,只需在每一帧图像中多采集一行和一列的哑像素的数据，就可以使得该像 素利用当前行和当前列所对应的哑像素的数据进行补偿，以消除行FPN和列FPN。 但是，为了保持制造工艺上的一致性，像素阵列至少会有两行和两列作为哑像素 行和哑像素列围绕在真实的像素阵列的四周。本发明在下面的具体实施例中以首 末两行作为两个哑像素行，以首末两列作为两个哑像素列，但本发明的目的不只 是限于该具体实施例中的哑像素行的行数和分布状况。
图2示出如图1所示的像素阵列中各像素单元的示意性数据表格。如图2所示 的像素阵列列出了 17 x 18的矩阵，因为在FPN消除单元中参与运算的哑像素只 取其中的一行和一列，所以Row17在此略去而未示出。如上所述，基于M(m，n) 与像素阵列中单个像素之间的——对应关系，我们将M(m，n)表示为相应像素位置所对应的像素值。例如M(2，8),其表示在该像素阵列中第3行第9列的像素所对 应的像素值；又如M(10，17)，其表示在该像素阵列中第11行第18列的哑像素所 对应的像素值。从图1的描述中可以得知，图2的像素阵列中0列、17列以及0 行均为哑像素。换句话说，当采用本发明的系统和方法消除来自行和列的固定模 式噪声时，既可以采用0列和O行参与运算而消除列FPN和行FPN,也可以采用 17列和O行参与运算而消除列FPN和行FPN。在本发明下面的具体实施例中， 我们优选O行和O列作为哑像素行和哑像素列参与运算。需要特别指出的是，由 于哑像素的数值可以为正，也可以为负，所以增加一个像素偏移量来保证所有的 补偿情况下都不会出现负数。例如，我们在读取像素阵列时，在将读取结果进行 A/D转换之前，用电路方法实现对于像素阵列中的每个像素增加一个像素偏移量， 该模拟型像素偏移量根据A/D转换所用设备的各种参数可以对应于一个量化的数 值，例如，对于8位的A/D转换器来说，该量化数值可以为0-255中的某个值， 其足以保证所有的补偿情况下都不会出现负数；而对于10位的A/D转换器来说， 该量化数值可以为0- 1023中的某个值。
图3示出依据本发明的 一个方面用于消除固定模式噪声的方法的示意性流程框 图。在描述该方法流程框图前，我们不妨预先定义，M(m，n)为目标像素的数字数 值；M(m，O)为与该目标像素处在同 一行并处于像素阵列首列的哑像素对应的数字 数值；M(O，n)为与该目标像素处在同一列并处于像素阵列首行的哑像素对应的数字 数值；R1(m,n)为该目标像素在消除了列FPN后的数字数值；R2(m，n)为该目标像 素在消除了行FPN后的数字数值；而R(m，n)为该目标像素真实的数字数值。参照 图3,本发明用于消除固定模式噪声的方法可以采用如下的步骤实现
步骤300，利用读取电路读出像素阵列；
步骤302,将读取电路的结果输入至PGA算法模块；
步骤304，对PGA算法模块内的像素阵列中的每个像素增加一像素偏移量， 以保证在所有的补偿情况下都不会出现负数；
步骤306，将增加了像素偏移量的校正像素值通过A/D转换单元进行A/D转换， 以获得量化后的数值结果；
步骤308,获取A/D转换结果，并将其送入FPN消除单元进行处理；
步骤310，将M(m，n)减去M(m，O)，得到R1(m，n)以消除该目标像素的列FPN;步骤312，将R1(m,n)减去M(0，n)，得到R2(m，n)以消除该目标像素的行FPN;
和
步骤314，将像素阵列首行首列的哑像素对应的数字数值M(0，0)作为补偿值与 R2(m，n)相加，并得到该目标像素的真实数字数值R(m，n)。
从该实现方法的上述步骤中可以看出，经过A/D转换单元而获得的转换结果 中，不仅使用M(m，n)-M(m，O)消除了像素阵列中每个像素的列FPN，而且还使用 [M(m,n) - M(m,0)] - M(0,n)消除了像素阵列中每个像素的行FPN，从而在该像素 阵列中的每一个像素都会利用与其对应的。亚像素行和。亚像素列进行补偿。此外， 由于像素阵列中的哑像素的数据都是伴随着每一帧图像实时釆集的，因而对基于 电源扰动引起的FPN也能起到一定的补偿作用。
图4示出依据本发明的另 一 个方面用于消除固定模式噪声的系统的结构框图。 参照图4，本发明用于消除固定模式噪声的系统至少包括像素阵列400、读取电 路402、 PGA算法单元404、 A/D转换单元406以及FPN消除单元408。
其中，由于哑像素的值可以为正，也可以为负，则在PGA算法单元404接收 了读取电路402的读取结果后，为了保证在所有的补偿情况下均不会出现负数， 对该像素阵列中的每个像素均增加一像素偏移量。
其中，在FPN消除单元中，为了消除目标像素的列FPN，将目标像素的数字 数值M(m，n)减去同行中首列所在的哑像素对应的数字数值M(m,O);以及为了消除 目标像素的行FPN,将[M(m，n) - M(m，O)]减去同列中首行所在的哑像素对应的数 字数值M(O，n)。由于在消除行FPN和歹'J FPN中进行了两次减法处理，我们将M(m,n) -M(m，0) - M(O，n)加以补偿值M(O，O)，从而获得该目标像素真实的数字数值。
本领域的技术人员应当理解的是，当将哑像素行和列参与运算以消除列FPN 和行FPN时，我们不仅可以采用如上所述的首行和首列哑像素，还可以釆用首行 和末列吸像素，或者首列末行的。亚像素，或者末列末行的吸像素。
图5示出依据本发明的另 一个方面用于消除固定模式噪声的系统在第0帧所采 样数据的统计示意图。如图5所示，表格中加粗后的斜体数值表示相应行和相应 列的哑像素的数值，而M(p，q)(其中p为1 ~ 16, q为1 ~ 16)表示像素阵列中真 实像素经A/D转换后的十六进制数值。从图5中可以非常直观的看出，每一哑像 素行和每一哑像素列的数值都有所不同，这说明像素阵列的行FPN或者列FPN的大小也不尽相同。以下是对于该像素阵列在第0帧所采样数据进行的测试程序
片段
iFrame=0, iRow=0, Gain=0, Shutter=0d， DeltaX=0, DeltaY=0, LedState=0， MaxPixel=0, MinPixel=0， lSumPixel=34938, cAveragePixel=136， cMaxPixel=167, cMinPixel=93, cDeltaPixel=74, Counter M=0， Counter N=256, iEquality= 4594,
Average_Upper_Pixel > 255吓actor—Aver
cMaxPixel一Limit is OK!
cMinPixel—Limit is OK!
图6示出依据本发明的另一个方面用于消除固定模式噪声的系统在第1帧所采 样数据的统计示意图。如图6所示，表格中加粗后的斜体数值表示相应行和相应 列的哑像素的数值，而M(p，q)(其中p为1 ~ 16, q为1-16)表示像素阵列中真 实像素经A/D转换后的十六进制数值。从图6中可以非常直观的看出，每一哑像 素行和每一哑像素列的数值都有所不同，这说明像素阵列的行FPN或者列FPN 的大小也不尽相同。并且结合图5和图6可以看出，对于在不同的帧进行图像数 据的釆样，相对应的哑像素行和哑像素列的数值也不相同，这反映出电源扰动对 于FPN噪声的影响也是不同的。以下是对于该像素阵列在第1帧所采样数据进行 的测试程序片段
iFrame=l, iRow=0, Gain=0， Shutter=0d， DeltaX=0, DeltaY=0, LedState=0, MaxPixel=0, MinPixel=0, lSumPixel=34727, cAveragePixel=135, cMaxPixel=167, cMinPixel=91, cDeltaPixel=76， Counter M=0, Counter N=256, iEquality=4554, fSQuality = 0.175868
Average—Upper—Pixel > 255*Factor_Aver
cMaxPixel—Limit is OK!
cMinPixel—Limit is OK!
实验表明，如果采集的图像质量越好，在测试表面上通过的机会就越大。并且， 如果将含有依据本发明的消除FPN系统的CMOS图像传感器应用到光电鼠标等 设备，在71张测试表面上，没有采用哑像素补偿方法的图像只能通过其中的50 张测试表面，而在采用了本发明的哑像素补偿方法后有超过60张的测试表面通过。 这充分说明，在采用了哑像素补偿方法后能够通过的测试表面比没有釆用哑像素 补偿方法时更多，也就是说，当采用了哑像素补偿方法后，CMOS图像传感器所采集的图像质量更好，而本领域的技术人员应当理解，这恰恰是因为采用了哑像
素行和哑像素列有效地消除FPN的结果。
上文中，参照附图描述了本发明的具体实施方式
。但是，本领域中的普通技术 人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体 实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的 范围内。
权利要求
1.一种在图像传感器中用于消除固定模式噪声的系统，其特征在于，该系统包括像素阵列，在所述像素阵列中不仅具有用于采集图像的原始像素阵列，还包括用于补偿所述像素阵列中每一像素单元的哑像素行和哑像素列；读取电路，用于读取所述像素阵列中每一像素单元的像素值；PGA算法单元，用于将来自所述读取电路的每一像素单元的像素值与一恒定的像素偏移量相加，并对相加所得的数据进行运算；模数转换单元，将所述PGA算法单元的运算结果转换为数字化数据；以及固定模式噪声消除单元，使用与每一像素单元具有相同行的第一哑像素数值和与所述像素单元具有相同列的第二哑像素数值来补偿所述像素单元。
2. 如权利要求1所述的系统，其特征在于，所述像素阵列具有两行哑像素和两 列哑像素。
3. 如权利要求2所述的系统，其特征在于，所述两行吸像素分别为所述像素阵 列的第一行和最后一行。
4. 如权利要求2所述的系统，其特征在于，所述两列哑像素分别为所述像素阵 列的第一列和最后一列。
5. 如权利要求1所述的系统，其特征在于，所述像素偏移量与所述模数转换单 元的转换参数相关。
6. 如权利要求1所述的系统，其特征在于，所述像素偏移量与所述哑像素行和 所述吸像素列的数值相关。
7. 如权利要求1所述的系统，其特征在于，所述第一哑像素数值来自于所述哑 像素行中的任意一行。
8. 如权利要求1所述的系统，其特征在于，所述第二哑像素数值来自于所述哑 像素列中的任意一列。
9. 一种在图像传感器中用于消除固定模式噪声的方法，其特征在于，该方法包 括步骤读出像素阵列；将读取结果输入至PGA算法单元，对所述PGA算法单元中的每一像素单元增加一恒定的像素偏移量，并对相加后的结果进行运算；将来自所述PGA算法单元的运算结果进行模数转换；以及使用与每一像素单元具有相同行的第 一哑像素数值和与所述像素单元具有相同列的第二哑像素数值来补偿所述像素单元。
10. 如权利要求9所述的方法，其特征在于，所述像素阵列不仅具有用于采集 图像的原始像素阵列，还包括用于补偿所述像素阵列中每一像素单元的哑像素行 和哑像素列。
11. 如权利要求9所述的方法，其特征在于，所述像素偏移量与所述模数转换 单元的转换参数相关。
12. 如权利要求9所述的方法，其特征在于，所述像素偏移量与所述哑像素行 和所述。亚像素列的数值相关。
13. 如权利要求9所述的方法，其特征在于，为了消除所述像素阵列的列固定 模式噪声，如果M(m，n)表示目标像素的数字数值，M(m，O)表示与所述目标像素处 在同一行并处于所述像素阵列首列的哑像素对应的数字数值，则将M(m，n)与 M(m,0)相减。
14. 如权利要求9所述的方法，其特征在于，为了消除所述像素阵列的行固定 模式噪声，如果M(m,n)表示目标像素的数字数值，M(O，n)表示与所述目标像素处 在同一列并处于所述像素阵列首行的哑像素对应的数字数值，则将M(m，n)与 M(0，n)相减。
15. 如权利要求9至14中任意一项所述的方法，其特征在于，如果M(0，0)表 示所述像素阵列中位于首行且位于首列的哑像素对应的数字数值，则所述像素阵 列的目标像素的真实数字数值为M(m,n) - M(m，O)- M(0,n) + M(O,O)。
16. —种具有如权利要求1所述的用于消除固定模式噪声的系统的图像传感器。
17. —种光电鼠标，其至少具有图像传感器，其特征在于，所述图像传感器具 有如权利要求1所述的用于消除固定模式噪声的系统。
全文摘要
本发明揭示了一种用于消除固定模式噪声(FPNFixed Pattern Noise)的系统。它包括像素阵列；读取电路，用于读取每一像素单元的像素值；PGA算法单元；模数转换单元以及FPN消除单元，其使用当前行和当前列的哑像素数值进行补偿。本发明还揭示了一种消除FPN的实现方法，它包括读出像素阵列；输入读取结果至PGA算法单元，对每一像素单元增加一像素偏移量；将运算结果进行模数转换；以及使用当前行和当前列的哑像素数值进行补偿。采用本发明的系统及其方法，像素阵列中的每一像素不仅利用当前行的哑像素消除列FPN，而且也能够利用当前列的哑像素消除行FPN。此外，由于像素阵列中哑像素的数据都是实时采集的，因而对基于电源扰动引起的FPN也能起到一定的补偿作用。
文档编号G06F3/033GK101309359SQ20081004353
公开日2008年11月19日 申请日期2008年6月20日 优先权日2008年6月20日
发明者李碧洲 申请人:埃派克森微电子(上海)有限公司;埃派克森微电子有限公司