专利名称：扩展动态范围的成像系统的制作方法
技术领域：
本发明总的涉及成像领域，具体地，涉及到使用具有基于像素地址的可编程积分时间的电子成像器的成像。
背景技术：
成像器，尤其是CMOS成像器，在过去对具有高动态范围的某些场景存在这样的问题，即部分场景在其中具有高亮度部分。这被称为场景曝光范围。在图像的这些被强光照射的部分中，传用器的像素变为饱和，从而使得数字像素输出变为全1。因此，当摄取的场景比起典型地可拍摄的场景包含更大的动态范围时，例如两个人站在公园中太阳在他们的肩部之上时，传感器的像素是特别饱和的。通常的场景可以具有6到7个光圈数的动态范围。太阳的图像引入动态范围的另外的10个光圈数。当前的现有技术的照相机规定这样的曝光水平以摄取两个人，并允许太阳在最终得到的照片中使图像饱和。在包含镜面反射的图像中存在类似的环境，例如，太阳从汽车的金属保险杠反光。另一个示例性要摄取的麻烦的场景包含在晚上在停车场中的汽车。为了正确地让汽车曝光，汽车头灯和照射停车场的街灯最终使得图像饱和。因此，对于传统的成像系统，当场景动态范围接近于或等于图像摄取系统的动态范围时，在确定曝光时只能容忍非常小的误差。
所需要的是一种总是具有大于所摄取的场景的动态范围的图像摄取系统。
发明概要上述的需要是由本发明通过提供一种用于减小在成像器内饱和像素组(paxel)的积分时间的方法而解决的；其中该方法包括按照来自所摄取图像的场景数据减小在成像器内饱和像素组的积分时间。本发明的另一方面提供电子图像摄取系统，包括一个能使像素组有独立的积分时间控制的成像器，和一种用于根据像素组的饱和水平来确定像素的正确的积分时间的算法。
发明的有利的效果通过多个图像摄取，像素组的积分时间被加以调节，从而达到在场景动态范围与摄取的场景信号噪声比之间的理想的折衷。
本发明将校正所述的问题，并且导致一个具有更大的场景曝光范围的系统。因此，本发明将导致具有摄取更大的场景动态范围的能力的图像摄取系统。
附图简述
图1是利用本发明的示例性照相机的框图。
图2是利用本发明的示例性电子成像系统的框图。
图3是用于本发明的像素组积分时间调节算法的示例性流程图。
图4是按照本发明被用于Bayer滤色镜阵列图案的像素的示例图。
发明详细说明在以下的说明中，将在利用微处理器作为控制器和还执行像素组积分时间算法的优选实施例中描述本发明。本领域技术人员将会看到，这个系统的等同物也可以仅用硬件来建造。
本发明确定图像的明亮的或高亮度的区域的地理位置。本发明所利用的自适应曝光算法减小在图像的高亮度区域中像素组的积分时间，以使得这些像素组被正确地曝光，即，接近于饱和，但不处于饱和。这样，可以摄取比起使用常规方法具有更大动态范围的场景。附加的动态范围是由具有减小的积分时间的像素摄取的动态范围。本发明利用如在Robert M.Guidash在2003年9月3日提交的美国专利申请序列号No.10/654,313中更详细地描述的、在成像器内互相独立地对像素组的积分时间进行编程的能力，该专利申请在此引用以供参考。
为了解决动态范围问题，在示例性实施例中，本发明利用CMOS成像传感器，它能根据像素X-Y地址独立地按像素水平对积分时间编程。在单次曝光时，有可能具有变动的积分时间的交替像素行。也有可能把像素分组成各小的X-Y组。这些小的X-Y组被称为像素组。这些像素组的X-Y的大小可以动态地改变。典型地，这些像素组是以用于检测图像中不同彩色的滤色镜阵列图案为基础的。例如，Bayer滤色镜阵列图案(CFA)具有在第一线上的绿色-红色交替，而在下一个条线上则具有蓝色-绿色交替。这个CFA图案对于成像器中所有的线重复。可以对成像器的交替的行规定具有很大不同的积分时间。本发明以相同方式利用像素块，即，像素组。某些块可以具有长的积分时间，而某些块可以具有短的积分时间。
在本发明的一个实施例中，由成像器摄取的场景数据被分析，并在逐个像素组的基础上对饱和进行分析和评估。成像器可以是一个具有独立的可X-Y寻址的积分时间的成像器。这里，积分时间被定义为在摄取过程期间允许成像器吸收图像的时间量。对于本发明，只有饱和的像素的积分时间被减少。另外的图像在不同的积分时间下被重复摄取、分析和评估，直至饱和的像素组的数目接近于零为止。
参照图1，本发明的一个实施例显示由微处理器120控制的、具有光学闪光灯110的照相机系统100。微处理器120还控制快门130、成像器140、图像存储器150、和快闪非易失性存储器160。一个双阶段、双触点快门释放开关170把信号输入到微处理器120。本领域技术人员将会看到，本发明也可以使用单阶段、单触点快门释放开关170来实施。
微处理器120执行像素积分时间算法300，如图3所示，除了用于照相机系统100的微处理器120的已知的功能以外，它还控制在成像器140与图像存储器150之间的关系。通常，图像由成像器140摄取后送到图像存储器150，如图3所示的像素组积分时间算法300确定在最后的图像中每个像素组的正确的积分时间。
成像器140可以是一个CMOS成像器或一个CCD成像器，对于被称为像素组的多组像素，它们具有独立的X-Y寻址的积分时间。在这里描述的实施例中，使用快闪非易失性存储器160，然而，本领域技术人员将会看到，EPROM、电池支持的RAM、和可熔断的连线ROM是可被替换地使用于本发明的某些其它存储器任选项。
第二实施例利用电子成像系统200，如图2所示(它可以是电子静止照相机、运动摄取系统、或机器视觉系统、或利用成像能力的任何装置)。图2显示照相机系统200包括具有像素组可编程积分能力的CMOS成像器240。CMOS成像器240还具有多个并行的数据信号输出290。这些多个并行的数据信号输出290改进CMOS成像器240的读出速率。因此，得到最后的图像的时间得以减小。换句话说，操作是与图1所示的第一实施例相同的。
参照图3，图上显示用于按照来自摄取的图像的场景数据减小成像器内饱和的像素的积分时间的像素积分时间算法300。用于操作如图1和2所示的快门释放开关170的快门操作310被用来确定照相机系统100和200总的曝光量。在图像摄取操作320中，第一图像被摄取并送到存储器150或250(按照图1或图2)。对每个像素在操作330中测试其饱和情形。通过把组成每个像素组的4个像素取平均而得到一个值，从而得出所有的像素组值。如果该值等于或大于最大值(K)，则相应的像素组被认为是饱和的。在完成操作330后，饱和像素组的X-Y位置在操作340中被记录，随后，在操作350中对饱和的像素取总和。条件操作360确定如果饱和的像素组的数量是0，则在操作365中，图像被写入快闪非易失性存储器。替换地，对于条件操作360，如果饱和的像素的数量不是零，则在操作370中，对饱和的像素组计数。当双阶段快门释放开关170或270分别用于照相机100或200时，任选的条件操作362插在条件操作360与写操作365之间。
第二条件操作，操作375确定饱和像素组的数量是否大于常数N。在操作385中，饱和像素的积分时间按一个大的增量而被减小(在本例中，是曝光时间的1/4或2个光圈数)。一个光圈数是信号的一半或减小一半。两个光圈数是信号减小到1/4。使用大的增量是为了使摄取具有更大的总的动态范围的正确曝光的图像所需要的拍摄数目最小化。(直至达到正确的积分时间之前，积极地减小积分时间。然后以较小的增量来减小积分时间以得到更大的精度。)如果在操作380中，饱和像素组的数量小于常数N，则饱和的积分时间以较小的增量来减小(在本例中，是曝光时间的1/2，或1个光圈数)。
操作390使在操作350中使用的像素计数器复位。操作395记录像素组积分时间。在操作320，摄取新的图像，并且重复该算法，直至在操作360中，满足“0饱和像素组”为止。然后在操作365中连同与它们的各个像素有关的积分时间和像素组X-Y位置一起记录扩展的动态范围图像。这个信息用于图像重建过程中，虽然是在摄取之后。
如果饱和像素组的数量等于或小于常数N，而大于常数M，则饱和的积分时间以小的增量被减小(在本例中，是曝光时间的3/4，或1/2光圈数)。使用小的增量，以使得系统不会让经过曝光的像素组严重地欠曝光。如果饱和像素组的数量等于或小于常数M，则曝光被认为是正确的，并且使图像被摄取。
这两个积分时间都被记录，因为这是下游的图像重建算法所需要的信息。其前提是，饱和像素组的数量越大，图像越饱和。第二图像被摄取，并且过程重复进行。这个过程连续进行，直至没有饱和像素为止。被存储在图像存储器中的图像这时写入到快闪存储器中。双积分时间的选择使得系统能够用较少数目的图像摄取来得到正确的总的曝光量。这个方法可以通过饱和像素组的积分时间的多次改变而扩展到多个判决点。
对像素进行平均可得出每个像素组的单个数值(例如，在2×2像素中；然而，像素组尺寸可变化)。参照图4和像素组图400，图上显示几个像素组阵列；例如，2×2多彩色像素组420以及4×4多彩色像素组430。图上还显示2×2绿色像素组440、2×2红色像素组450、2×2蓝色像素组460、和4×4绿色像素组470。还显示用于成像器实施方案的、被使用于Bayer滤色镜阵列图案的的像素组410。
本发明的替换实施例是可预期的。例如，在一个实施例中，电子成像系统连续运行，并包含一个具有像素组可编程积分能力的CMOS成像器240。电子成像系统200连续运行。当按下快门释放开关时，第一个0饱和的像素组图像被存储。图像摄取的时间被减小。在所有其余情况下，它像以前描述的实施例一样可行。
另一个实施例是电子静止照相机成像系统200，它使用双阶段快门释放开关。当闭合第一开关时，照相机被启动。本发明为正常的和饱和的像素组找到正确的积分时间。当闭合第二开关时，不包含饱和像素组的第一图像就存储在快闪非易失性存储器260中。本发明包含具有像素组可编程积分能力的CMOS成像器240。图像摄取的时间得以减小。
再一个实施例是成像系统10，包含一个具有像素组可编程积分能力的CMOS成像器240。这个系统使用被包含在早先的实施例中的任何的或所有的概念。本实施例的主要用途是构成用于照相机曝光确定系统的传感器。它可被用于胶卷照相机或电子照相机。本实施例可以利用低分辨率的传感器，所以，它的操作是快速的而成本是低廉的。
可以看到，本发明将在具有电子快门的成像器140或240中起作用。还将会看到，本发明将在需要机械的或机电的快门的成像器中起作用。
因此，本发明是特别地相对于某些优选实施例被详细地描述的，然而将会看到，可以在本发明的精神和范围内实施变化和修改方案。
零件表100 照相机系统110 光学闪光灯120 微处理器130 快门140 成像器150 图像存储器160 快闪非易失性存储器170 双阶段、双触点快门释放开关200 电子成像照相机系统210 光学闪光灯220 透镜光圈230 快门240 CMOS成像器250 图像存储器260 快闪非易失性RAM270 双阶段、双触点快门释放开关280 微处理器290 多个数据输出300 流程图310 操作320 操作330 操作340 操作350 操作360 操作362 操作370 操作375 操作380 操作385 操作
390 操作395 操作400 示例性像素组阵列410 具有Bayer滤色镜阵列的像素组420 2×2多彩色像素组430 4×4多彩色像素组440 2×2绿色像素组450 2×2红色像素组460 2×2蓝色像素组470 4×4绿色像素组
权利要求
1.一种用于减小成像器内的饱和像素组的积分时间的方法，包括以下步骤按照来自摄取的图像的场景数据，减小成像器内饱和像素组的积分时间。
2.在权利要求1中要求的方法，其中饱和像素组通过摄取的图像内的像素组的X-Y寻址而在地理上被定位。
3.在权利要求1中要求的方法，其中减小的积分时间的大小是与饱和像素组的数量有关的。
4.在权利要求3中要求的方法，其中大量的饱和像素组导致大幅度减小的积分时间。
5.在权利要求3中要求的方法，其中小量的饱和像素组导致小幅度减小的积分时间。
6.用于对成像系统中X-Y像素组寻址的方法，包括以下步骤a)摄取第一图像；b)在逐个像素组的基础上测试第一图像的饱和，其中该像素组是地理上互相关联的像素的多个组；c)为第一图像内的每个饱和的像素组记录X-Y地址；d)确定饱和像素组的数目；e)把饱和像素组数目与常数N进行比较，其中饱和像素组数目大于零；f)根据饱和像素组数目是大于或小于常数N，改变饱和像素组的积分时间。
7.电子图像摄取系统，包括一个能控制像素组的独立的积分时间的成像器，和一个根据该像素组的饱和水平确定该像素组的正确积分时间的算法。
8.如在权利要求7中引述的电子图像摄取系统，它使用多个装置以确定饱和像素组的积分时间。
9.如在权利要求7中引述的电子图像摄取系统，它连续地运行以减小摄取图像的时间。
10.如在权利要求7中引述的电子图像摄取系统，它利用一个双阶段、快门释放开关，其中所述开关使电子图像摄取系统初始化以便摄取最后的图像。
11.如在权利要求1中引述的电子图像摄取系统，其中成像器能独立地进行像素组积分时间的控制和根据在摄取的图像内的像素组的地理位置和从摄取的图像中记录的光确定像素组的正确的积分时间的算法。
12.如在权利要求11中要求的电子图像摄取系统，其中所述成像器包括用于由此而减小图像摄取时间的多个信号输出。
13.如在权利要求7中引述的电子图像摄取系统，包括一个能进行独立的像素积分时间控制的粗分辨率成像器，和一个根据在摄取的图像内像素组的地理位置来确定正确的像素组积分时间的算法。
14.如在权利要求13中要求的电子图像摄取系统，其中成像器收集用于照相机曝光确定算法的场景曝光信息。
全文摘要
用于减小成像器内饱和的像素组的积分时间的方法，其中该方法包括按照所摄取图像的场景数据减小成像器内饱和像素组的积分时间。
文档编号H04N5/355GK1981518SQ200580022986
公开日2007年6月13日 申请日期2005年6月3日 优先权日2004年7月7日
发明者B·C·麦德莫特 申请人:伊斯曼柯达公司