专利名称：使用高帧频的具有帧相加和运动补偿的cmos图像传感器的制作方法
技术领域：
本发明主要涉及CMOS图像传感器，更确切地说，涉及一种用来增加图像传感器的动态范围和/或运动稳定性的方法和设备。
背景技术：
集成电路技术已经使包括计算机、控制系统、通信和成像的各种领域发生了革命性的变化。例如，在成像领域，已经证明，CMOS图像传感器的制造相对于CCD成像设备要更加便宜些。而且，对于某些应用而言，CMOS设备的性能要更优越。例如，信号处理逻辑单元能被集成在成像电路旁，因此可以考虑使用一个单独的集成芯片来形成一个完整独立的成像设备。CMOS图像传感器可以从许多制造商获得，其中包括本发明的申请人全视技术有限公司(OmniVisionTechnologies，Inc)。
由CMOS图像传感器形成的图像的基本构成块是像素。像素的数量、大小和间隔决定了成像装置所产生图像的分辨率。一个CMOS图像传感器的像素元件是能够将入射的光子转化成电流信号的半导体器件。由每个像素产生的信号通常非常小，但是与入射光子的数量有关。
最理想地，图像传感器必须在大量光和运动的环境下工作。当应用在移动电话领域时，由于不能方便地使用闪光灯，可能会要求图像传感器在光线很暗的环境下记录图像。在这样的条件下，必须延长图像传感器的曝光时间，这与使用胶卷的传统相机非常相像。然而，如果传感器发生移动或摇动，曝光时间的增加会使图像变得模糊。
而且，在其它的应用中，比如数字静态照相机，图像传感器的动态范围对于同时具有低亮区和高亮区的图像的补偿可能是不够的。换句话说，不能充分分辩阴影和光亮。通常将动态范围定义为出现概率最大的不饱和信号与像素的最低噪声电平的比值。因此，动态范围与信噪比(SNR)有关。
上述的这些问题是CMOS图像传感器所特有的，CMOS图像传感器与电荷耦合器件(CCD)相比，具有较低的光敏感度和较窄的动态范围。
先前解决这些问题的尝试包括通过使用一个电子快门来增加曝光时间。然而，这个方法不能应用于阻塞型光电二极管，而且可能会导致运动虚像。
另一种方法采用帧相加法，它使用所拍摄到的同一图像的多个帧。然而，这种技术依赖于一个中低亮度的帧和另一个高亮度的帧。这就要对每帧采用不同的曝光时间来实现。然而，增加具有不同曝光时间的帧是很困难的，并且这还降低了画面质量。
还有一种方法使用一种具有两个不同占空因数额像素的图像传感器。可是这种类型的传感器对低亮度图像而言具有很低的分辨率。最后，还有一种方法采用高的帧驱动速度，它在每个像素元件里都包括模数转换(ADC)电路。这就使得像素尺寸很大。而且，由于可能会产生运动虚像，使得分辨率受限。
发明内容
本发明关于一种使用CMOS图像传感器形成图像的方法，该方法使用所述图像传感器拍摄多个帧，在所述多个图像的每一个中确定一个参考点，利用所述参考点将所述多个帧对齐，并且将所述多个帧组合成所述图像。
本发明还关于一种使用CMOS图像传感器形成高动态范围图像的方法，该方法使用所述图像传感器拍摄一个第一帧，将所述第一帧存储在一个帧存储器中，在所述第一帧中确定一个参考点，使用所述图像传感器拍摄第二帧，利用所述参考点将所述第二帧与所述第一帧对齐，并且将所述第二帧加到所述帧存储器中的所述第一帧上。
在附图中，在所有本发明的非限制性和非详举性实施例的各个示意图中，相同的附图标记表示相同的部件，其中图1是一个CMOS图像传感器的示意图。
图2表示由图像传感器获得并用于合成复合图像的四帧。
图3是本发明的方法的流程图。
图4是本发明的图像传感器的示意图。
具体实施例方式
在下面的说明中，给出了许多具体的细节，例如各种系统元件的说明，以实现对本发明实施例的充分理解。不过，本领域的技术人员将会知道，不需要这些具体细节中的一个或多个，或者使用其它的方法、元件、材料等等，也能够实现本发明。在另外一些情形下，为了避免使本发明的各个实施例的着眼点模糊不清，没有示出或详细介绍公知的结构、材料或操作过程。
本说明书通篇引用的“一个实施例”或“一实施例”的意思是，针对该实施例所介绍的特定的特征、结构或特点是包含在本发明的至少一个实施例中的。因此，在本说明书通篇各种不同地方出现的词语“在一个实施例中”或“在一实施例中”并不全都指的是同一实施例。而且，特定的特征、结构和特点可以以任何适当的方式结合在一个或多个实施例中。
参考图1，一个CMOS成像阵列101的结构包括一个矩形像素矩阵103。水平或x方向的像素数量，和垂直或y方向的像素数量构成了成像阵列101的分辨率。像素矩阵103的垂直的一列的每个像素发送它的信号到一个单一的电荷放大器105。
来自像素矩阵103的信息获取沿袭了公知的光栅扫描技术。具体讲，一行像素103是按照从左到右的顺序进行扫描的。然后下一行也采用这种方式进行扫描，直到将各行从上到下依次扫描完毕。在整个阵列101每次完整的扫描结束之际，一个具有预定时间的垂直消隐时期产生，直到光栅扫描图案重新开始。这种类型的扫描采用的是NTSC扫描方案。然而，在其它的应用中，可以采用不同的读出协议。传统设计的控制电路就是采取这种顺序读取像素矩阵103的方式。
当对每个像素进行扫描时，将来自于那个像素的信号送到该列的电荷放大器105。这样，电荷放大器105依次地接收信号。然后，将来自电荷放大器105的时序信号送到一个二阶放大器107，该放大器107对这些信号进行放大，从而可以对它们进行进一步处理。按照不同的实施方式，可以省略列放大器或二阶放大器。列放大器或二阶放大器的增益可随需要来选择是增加还是减小。像素矩阵103、放大器105和107的读取，以及下述的计算和处理可由处理器111来执行。
如上所述，图像传感器的一个重要功能是能够对低亮环境或包括高亮区和低亮区的环境进行补偿。试举一例，在阳光充足的日子里，到户外拍摄一幅图像，但是图像的对象是处于阴影中的。
本发明通过采用“帧相加”技术，增加了动态范围并使运动虚像最小化。这包括增加图像传感器的帧频和组合(例如通过相加)连续的帧来获得一个复合图像。正如这里所使用的，术语帧是由图像传感器拍摄到的图像，用于形成复合图像。
例如，典型的图像拍摄速率是每秒30帧。这就相当于各像素的曝光时间为1/30秒。然而，如果帧频增加到每秒120帧，那么曝光时间减少到1/120秒。这个更短的时间减少了图像中运动虚像的出现。实际上，图像中的物体在1/120秒的曝光时间，通常仅能移动几个像素。这使得运动检测能够得以精确完成。
如图2所示，例如，拍摄到了具有对象203的4幅连续的帧201a-d。这些帧是以很快的曝光时间拍摄的，例如1/120秒。结果，在每帧201a-d(称为帧内运动)里的对象203，几乎没有什么模糊，即使帧里的对象是运动的。然而，如图2所示，在帧201a-d里的对象203明显是移动的(称为帧间运动)。因此，由于使用者握持的不稳定，对象203从帧201a到201b是向下移动的。类似地，对象203从帧201b到201c是向上和向右移动的。最后，对象203从帧201c到201d是向下和向左移动的。
正如下面将要详细介绍的，将四个帧201a-d来形成一个复合图像205，该图像具有更高的信噪比，并从而具有更高的动态范围。在一个实施例中，通过对来自每帧201a-d的信号进行一个简单的数学相加来形成复合图像205。在其它实施例中，其它数学或信号处理技术可用来形成复合图像205。
此外，在这里介绍的例子采用的是曝光时间均为1/120秒的四帧。但是，应当意识到，出于应用和不同方案的权衡，用于形成复合图像205的帧的数目和每帧的曝光时间是可以不同的。
重要的是，由于帧内移动，要为每帧201a-d确定一个参考点。这个点也称为扫描开始点207。扫描开始点207用来对齐各个帧201a-d，从而减小帧内移动的影响。参考点的确定可以采用许多技术中的任一一种来实现，比如目前用于解决视频记录装置中的运动稳定性的技术。另外，也可以使用其它的现有技术，比如通常用于光学鼠标的加速计或运动检测算法。
图3是一个表示本发明的方法的流程图。在一个实施例中，在方框301中，每个帧201a-d都是采用相同的曝光时间拍摄的。这减小了以固有的方式组合帧的难度。然而，按照某些其它的实施方式，按照公知和可控的方式，曝光时间可以不同。
下一步，在方框303中，将帧201a-d储存在存储器中，并对它们进行分析来确定相对的帧内运动。一旦这样做了，那么这些帧就实现了彼此对齐，从而确保每帧的对象203彼此“重叠”。
再下一步，在方框305中，帧201a-d互相组合以形成复合图像205。这种组合可以是一个简单的算术相加，或者是某种加权函数。这一相加能够由设置在图像传感器上的算术或其它类型的处理器来完成。应当意识到，可以使用许多现有的软件或硬件来实现这个组成过程。
在一个可供选择的实施例中，为了节省存储器需求，这些连续帧以一种相加的方式按顺序添加到存储器中。例如，可以将第一帧存储到一个帧存储器中。仅仅简单地将第二帧相加到存储在帧存储器中的数据中，而不再需要单独的存储器。当然，应当确定扫描开始点207，以便加入到帧存储器中的第二帧能够与第一帧对齐。对第三和第四帧重复这个处理过程。
图4是依照本发明的CMOS图像传感器。在许多方面，图像传感器401与当前可得到的由本发明的申请人全视技术有限公司生产的图像传感器基本上相同。例如，图像传感器包括了成像阵列101，放大器105，信号处理单元111，I/O 403，JPEG压缩电路405，和其它的标准组件。但是，按照本发明，图像传感器401还包括一个帧存储器407和一个运动检测器409。帧存储器407用作累加寄存器，它累加来自不同帧的信号。运动检测器409能够完成对齐帧201a-d的工作，以使参考点重合。
上述的本发明提供了一个比现有技术更宽的动态范围。通过使用更高的帧频，比如每秒120帧，与每秒30帧的帧频相比，动态范围增加了4倍。即使一个CMOS图像传感器的最低噪声电平是相对应的CCD图像传感器的2倍，这仍能使动态范围增加大约2倍。
而且，本发明补偿了数字静态照相机和移动电话的握持不稳定。由于它允许长的曝光时间，因此它能够在低亮度的条件下工作。
虽然仅就有限数量的实施例对本发明进行了介绍和说明，但是只要不脱离本发明本质特征的思想，本发明可以以多种形式实施。因此，应当将这些进行了介绍和说明的实施例在各个方面都考虑为是启发性的而非限制性的。因此，本发明的范围是由所附的权利要求述来限定，而不是由前述的说明，而且与权利要求相等价的含义和范围之内的变化都属于本发明的保护范围。
权利要求
1.一种使用CMOS图像传感器形成图像的方法，包括使用所述图像传感器拍摄多个帧；在所述多个图像的每一个中确定一个参考点；利用所述参考点将所述多个帧对齐；并且将所述多个帧组合成所述图像。
2.如权利要求1所述的方法，其中所述组合是所述多个帧中相应像素的算术组合。
3.如权利要求1所述的方法，其中所述多个图像中的每一个是使用基本上相同的曝光时间拍摄到的。
4.一种使用CMOS图像传感器形成高动态范围图像的方法，包括使用所述图像传感器拍摄一个第一帧；将所述第一帧存储在一个帧存储器中；在所述第一帧中确定一个参考点；使用所述图像传感器拍摄第二帧；利用所述参考点将所述第二帧与所述第一帧对齐；并且将所述第二帧加到所述帧存储器中的所述第一帧上。
5.如权利要求4所述的方法，其中用所述图像传感器拍摄另外的帧，利用所述参考点进行对齐，并将它们加到所述帧存储器中。
6.如权利要求4所述的方法，其中所述加是所述第一和第二帧中相应像素的算术组合。
7.如权利要求4所述的方法，其中所述第一和第二帧中的每一个是使用基本上相同的曝光时间拍摄到的。
全文摘要
一种利用CMOS图像传感器形成复合图像的方法。该方法包括使用图像传感器拍摄多个帧，在每帧中确定一个参考点，并利用该参考点将这些帧对齐。最后，将这些帧组合成复合图像，例如将这些帧算术相加。
文档编号H04N5/235GK1577877SQ20041005465
公开日2005年2月9日 申请日期2004年7月22日 优先权日2003年7月22日
发明者宗平真锅 申请人:全视技术有限公司