图像数据的聚合高动态范围的成像系统及相关方法
【专利说明】图像数据的聚合高动态范围的成像系统及相关方法
【背景技术】
[0001] 传统的图像传感器具有有限的动态范围，例如60分贝（地）至70地。然而，很多场 景具有大得多的动态范围。例如，天然的场景常常具有90地或更大的动态范围。因此，技 术已经被研发出来扩展图像传感器的动态范围。
[0002] 例如，多重曝光技术已经被研发出来，由传统的图像传感器的多重曝光获得单一 的高动态范围图像。在该些技术中，多个图像数据集被产生，其中每一个图像数据集用图像 传感器的光电二极管W不同的曝光的持续时间来产生。多个图像数据集可W-个接一个顺 序地被产生。或者，多个图像数据集可W利用滚动快口技术部分地并行地被产生，由此减少 给定像素的连续的曝光之间的延迟。高动态范围图像根据一个或多个标准，在多个图像的 数据集中，选择被高动态范围图像所表示的每一个像素位置而相继地被产生。在多重曝光 技术中，图像数据集不会同时重叠在给定的像素位置上，当图像场景于多个图像数据集之 间改变时，会造成运动伪影。
[0003] 高动态范围图像传感器也已经被研发。高动态范围图像传感器的一个例子是分 割-像素图像传感器。该种图像传感器的特征在于，每一个像素包括至少两个不同的光电 二极管，其具有优化的不同强度范围的光。例如，图1是现有技术的分割-像素的图像传感 器100的俯视图，其包括多个像素102,每一个像素102包括四个大的光电二极管104,106， 108,110,和四个小的光电二极管112,114,116,118。大的光电二极管104,106,108和110， 被优化用来捕获高强度的光，而小的光电二极管112,114,116和118,被优化用来捕获低强 度的光。每一个像素102包括拜耳炬ayer)彩色滤波器阵列，使得大的光电二极管104和 小的光电二极管112适合于捕获红色光，大的光电二极管106,108和小的光电二极管114， 116适合于捕获绿色光，而大的光电二极管110和小的光电二极管118适合于捕获藍色光。
[0004] 大的光电二极管104,106,108,110产生第一图像数据集，其被优化而用于高强度 的光，而小的光电二极管112,114,116,118产生第二图像数据集，其被优化而用于低强度 的光。高动态范围图像，根据一个或多个标准，通过在第一和第二的数据集之间选择被高动 态范围图像表示的每一个像素的位置而产生。第一和第二图像数据集典型地至少部分地在 时间上重叠，因此，比起使用多重曝光技术的成像系统，分割-像素图像传感器100显著不 易出现运动伪影。然而，事实上，每一个像素102包括至少八个光电二极管，故减少了大的 光电二极管的可利用的表面积，从而在低光条件下，使其难W得到高灵敏度。
【发明内容】
[0005] 在一个实施例中，用来产生虚拟的长曝光图像数据集的方法包括；（1)由光电二 极管阵列产生N个图像数据集，该N个图像数据集的每一个W光电二极管阵列的不同的各 曝光的持续时间来产生，其中N是大于1的整数，和（2)聚合N个图像数据集，W获得虚拟 的长曝光图像数据集。在一个实施例中，图像数据的聚合高动态范围的成像系统包括图像 传感器，用来从光电二极管阵列产生N个图像数据集，其中N是大于1的整数。图像传感器 适于W光电二极管阵列的不同的各曝光的持续时间来产生N个图像数据集。该系统还包括 图像数据聚合模块，用来聚合N个图像数据集，W获得虚拟的长曝光图像数据集。
【附图说明】
[0006] 图1是现有技术的分割-像素的图像传感器的俯视图。
[0007] 图2显示根据实施例的图像数据的聚合高动态范围的成像系统。
[000引图3显示图2的图像数据的聚合高动态范围的成像系统的图像传感器的一个可能 的实施例。
[0009] 图4显示图2的图像数据的聚合高动态范围的成像系统的图像传感器的另一个可 能的实施例。
[0010] 图5显示根据实施例的用来产生虚拟的长曝光图像数据集的方法。
【具体实施方式】
[0011] 申请人已经发现，利用聚合与不同的各曝光时间相关联的图像数据，上述缺点的 一个或多个可W被减少，或者甚至基本上被消除。该样的图像数据的聚合可W减少运动伪 影，运动伪影在使用多重曝光的高动态范围的技术时是常见的，并且图像数据的聚合可W 帮助实现分割-像素图像传感器的高灵敏度，如下面所讨论的。
[0012] 图2显示图像数据的聚合高动态范围（IDAHDR)的成像系统200。IDAHDR成像系 统包括图像传感器202,图像数据聚合模块204,平均化模块206,自动曝光控制（AEC)模块 208,和曝光处理模块210。图像传感器202包括光电二极管阵列（未示出）并且重复地产 生图像数据帖212,其中每一个图像数据帖212包括图像数据集E1至EN，其中N是大于1 的整数。每一个图像数据集E是值的阵列，其中阵列的每一个的值表示入射至图像传感器 202中的各光电二极管上的光214的强度。
[0013] 在每一个图像数据帖212中，每一个图像数据集EW图像传感器202的光电二极 管的不同的各曝光的持续时间来产生。因此，N表示图像传感器202的不同曝光的持续时间 的数目。最长曝光的持续时间对应于N= 1，第二最长曝光的持续时间对应于N= 2,依此 类推。例如，在一些实施例中，N为2,并且每一个第一图像数据集El表示W第一曝光的持续 时间所捕获的入射光214,且每一个第二图像数据集E2表示W第二曝光的持续时间所捕获 的入射光214,其中第一曝光的持续时间大于第二曝光的持续时间。作为另一个例子，在一 些其它实施例中，N为3,且每一个第一图像数据集El表示W第一曝光的持续时间所捕获的 入射光214,每一个第二图像数据集E,表示W第二曝光的持续时间所捕获的入射光214,且 每一个第=图像数据集Es表示W第=曝光的持续时间所捕获的入射光214,其中第一曝光 的持续时间大于第二曝光的持续时间，且第二曝光的持续时间大于第=曝光的持续时间。
[0014] 在一些实施例中，例如经由使用多重曝光技术，图像传感器202顺序地产生每一 个图像帖212中的图像数据集E。下面参考图3来讨论一个使用多重曝光技术的实施例。 在某些其它实施例中，例如经由使用分割-像素图像传感器202,在每一个图像数据帖212 内同时产生图像数据集E。下面参考图4来讨论包括分割-像素图像传感器的一个实施例。 尽管图2显示每一个图像数据集E分别地可通信地被禪合到图像数据聚合模块204和平均 化模块206上，但在一些实施例中，两个或更多个不同的图像数据集E可W可通信地被禪合 在单一的数据总线上。
[0015] 图像数据聚合模块204可w经由在每一个图像数据帖212内聚合图像数据集E，来 产生每一个图像数据帖212中的虚拟的长曝光图像数据，如下所示：
[0016] E娜=El巧2+. . . +En(方程式 1)
[0017]因此，每一个虚拟的长曝光图像数据集是任何的值的阵列，其中阵列的每一 个值是各光电二极管的N个曝光时间的每一个的强度值的总和。图像数据聚合模块204可 被修改，用来比例缩放图像数据集E，W及对图像数据集E求和，而不脱离本申请的范围。图 像数据集E和虚拟的长曝光图像数据集Eifg可W是在模拟或数字域中。
[0018]虚拟的长曝光图像数据集Eifg，例如，可通信地被禪合216到其它模块或系统（未 示出），而用于显示，存储，和/或后处理。虚拟的长曝光图像数据集E貞有利地具有高动 态范围，因为它们代表在两个或更多个不同的曝光的持续时间所捕获的图像数据。另外，图 像数据集E的聚合有效地提高了传感器202的灵敏度，因为Eifg表示N个不同的曝光的入 射光214的集体强度。此灵敏度的提高能够在该样的实施例中尤其有利，其中图像传感器 202是