产生高动态范围影像的方法与装置以及计算机程序产品的制作方法
【技术领域】
[0001] 本发明涉及影像信号处理技术，且特别涉及产生高动态范围影像的技术。
【背景技术】
[0002] 在影像处理技术中，影像中最高亮度与最低亮度的比值被定义为此影像的动态范 围。以互补式金属氧化物半导体（ComplementaryMetalOxideSemiconductor，CMOS)影 像感测器为例，CMOS影像感测器所撷取的影像的动态范围受噪声基底（noisefloor)以及 全井容量（fullwellcapacity)，因此，每像素可提供8位元（256阶）亮度信息的CMOS影 像感测器所撷取的影像的动态范围会远低于人眼所感测的真实世界的动态范围。CMOS影像 感测器可调整曝光时间以及光敏度（photosensitivity)以符合所欲撷取的场景。尽管如 此，如果在所欲撷取的场景中同时有亮区域以及暗区域，例如具有非常大对比度的场景，则 部份影像信息可能无法清楚表示。举例而言，在以高曝光量撷取的影像中，暗区域中的细节 可清楚显示但在亮区域中会有过曝现象。相反地，在以低曝光量撷取的影像中，亮区域中的 细节可清楚显示但暗区域会太暗且多噪声。
[0003] 在扩大CMOS影像感测器的动态范围的一方法中，会减少暗噪声（darknoise)或 增进全井容量。在扩大CMOS影像感测器的动态范围的另一方法中，利用具有不同光敏度多 个像素单元在一次撷取中产生高动态范围影像。除此之外，在扩大CMOS影像感测器的动态 范围的再一方法中，结合以不同曝光量撷取的多笔影像数据而产生高动态范围影像。尽管 如此，在以上述方法扩大CMOS影像感测器的动态范围时，还是需要考量其它问题，例如运 动模糊（motionblur)、运动假影（motionartifacts)、处理时间增加和硬件成本增加等。
【发明内容】
[0004] 有鉴于此，本发明提供一种成本低效益高的方法以产生没有运动模糊和运动假影 的1?动态范围影像。
[0005] 在一实施例中，本发明提供一种产生高动态范围影像的方法，包括：借助一影像 感测阵列，利用一第一曝光值以及一第二曝光值撷取一场景的一曝光随空间变化的影像数 据，其中该第一曝光值大于该第二曝光值；再取样该曝光随空间变化的影像数据以取得该 场景对应该第一曝光值的一第一影像数据以及该场景对应该第二曝光值的一第二影像数 据；根据该第一影像数据以及该第二影像数据，决定一高动态范围影像数据的每一像素的 一运动索引；根据该第一影像数据的一对应像素的第一像素值、该第二影像数据的一对应 像素的第二影像值以及该运动索引，决定该高动态范围影像数据的每一像素的一像素值； 以及输出该高动态范围影像数据。
[0006] 在另一实施例中，本发明提供一种产生高动态范围影像的装置，包括：一影像感测 阵列，利用一第一曝光值以及一第二曝光值撷取一场景的一曝光随空间变化的影像数据， 其中该第一曝光值大于该第二曝光值；以及一影像处理器，耦接至该影像感测阵列，包括： 一再取样器，再取样该曝光随空间变化的影像数据以取得该场景对应该第一曝光值的一第 一影像数据以及该场景对应该第二曝光值的一第二影像数据；一运动检测器，根据该第一 影像数据以及该第二影像数据，决定一高动态范围影像数据的每一像素的一运动索引；以 及一饱和检测器，根据该第一影像数据的一对应像素的第一像素值、该第二影像数据的一 对应像素的第二影像值以及该运动索引，决定该高动态范围影像数据的每一像素的一像素 值，并且输出该高动态范围影像数据。
[0007] 在再一实施例中，本发明提供一种计算机程序产品，其被一电子设备载入以使该 电子设备执行一种产生高动态范围影像的方法，包括：一第一程序代码，用于借助一影像 感测阵列，利用一第一曝光值以及一第二曝光值撷取一场景的一曝光随空间变化的影像数 据，其中该第一曝光值大于该第二曝光值；一第二程序代码，用于再取样该曝光随空间变化 的影像数据以取得该场景对应该第一曝光值的一第一影像数据以及该场景对应该第二曝 光值的一第二影像数据；一第三程序代码，用于根据该第一影像数据以及该第二影像数据， 决定一高动态范围影像数据的每一像素的一运动索引；一第四程序代码，用于根据该第一 影像数据的一对应像素的第一像素值、该第二影像数据的一对应像素的第二影像值以及该 运动索引，决定该高动态范围影像数据的每一像素的一像素值；以及一第五程序代码，用于 输出该高动态范围影像数据。
【附图说明】
[0008] 图1所示为根据本发明一实施例的产生高动态范围影像的方法的流程图。
[0009] 图2A所示为根据本发明一实施例的用以撷取曝光随空间变化的影像数据的影像 感测阵列的一示例性组成的示意图。
[0010] 图2B所示为根据本发明一实施例的用以撷取曝光随空间变化的影像数据的影像 感测阵列的另一示例性组成的示意图。
[0011] 图3所示为根据本发明一实施例的不同曝光值的积分时间的时序图。
[0012] 图4所示为根据本发明一实施例的曝光随空间变化的影像数据的示意图。
[0013] 图5A所示为根据本发明一实施例的对应第一曝光值的第一影像数据的示意图。
[0014] 图5B所示为根据本发明一实施例的对应第二曝光值的第二影像数据的示意图。
[0015] 图6所示为根据本发明一实施例的高动态范围影像数据的示意图。
[0016] 图7所示为像素值差与运动索引之间的关系的示意图。
[0017] 图8所示为根据本发明一实施例的产生高动态范围影像的装置的示意图。
[0018] 附图符号说明
[0019] 10?产生高动态范围影像的方法；
[0020] 80?产生高动态范围影像的装置；
[0021] 310、320?积分时间；
[0022] 800?影像感测阵列；
[0023] 810?影像处理器；
[0024] 811?再取样器；
[0025] 812?运动检测器；
[0026] 813?乘法器；
[0027] 814?混合器；
[0028] 815?饱和检测器；
[0029] CMD?混合影像数据；
[0030] D?像数值差；
[0031]EVl?第一曝光值；
[0032]EV2?第二曝光值；
[0033]GA?曝光增益；
[0034] HMD?高动态范围影像数据；
[0035] MDl?第一影像数据；
[0036] MD2?第二影像数据；
[0037] MI?运动索引；
[0038]MMD?增益影像数据；
[0039]P0、P1、P2、P3、P4、P5 ?像素；
[0040] Pn-P15、P21_P25、？31_?35、？41_?45?像素；
[0041 ] P111-P115' P12I-P12S' ?131_?135、？141_?145?像素；
[0042] P211-P215' P221_P225、P231_P235、P241_P245?像素；
[0043]SI、S2、S3、S4 ?距离；
[0044]S100、S200、S300、S400 ?步骤；
[0045]SMD?曝光随空间变化的影像数据；
[0046]TH1、TH2 ?阈值；
[0047]Tre、Trsl、Trs2 ?时间点。
【具体实施方式】
[0048] 以下说明为本发明的实施例。其目的是要举例说明本发明一般性的原则，不应视 为对本发明的限制，本发明的范围当以权利要求为准。
[0049]图1所示为根据本发明一实施例的产生高动态范围影像的方法10的流程图。首 先，在步骤SlOO中，取得一场景对应第一曝光值EVl的第一影像数据IMDl以及该场景对 应第二曝光值EV2的第二影像数据IMD2。在本说明书中，第一曝光值EVl大于第二曝光值 EV2。第一影像数据MDl以及第二影像数据MD2是借助再取样该场景的曝光随空间变化 的影像数据，上述曝光随空间变化的影像数据是由影像感测阵列（例如CMOS感测阵列）利 用第一曝光值EVl以及第二曝光值EV2撷取而得。参照图2A，图2A所示为根据本发明一 实施例的用以撷取曝光随空间变化的影像数据的影像感测阵列的一示例性组成的示意图。 影像感测阵列覆盖有Bayer式彩色滤波器阵列（Bayercolorfilterarray)。如图2A所 示，影像感测像素以不同曝光值（第一曝光值EVl以及第二曝光值EV2)感测该场景。须注 意的是，本发明并不局限于图2A所示的用以撷取曝光随空间变化的影像数据的影像感测 阵列的组成。举例而言，图2B所示为根据本发明一实施例的用以撷取曝光随空间变化的影 像数据的影像感测阵列的另一示例性组成的示意图。由于在包括CMOS感测阵列的影像装 置中没有实体的快门，利用不同积分时间（电荷储存时间）实现不同的曝光值。图3所示 为根据本发明一实施例的不同曝光值的积分时间的时序图。所感测的数据被一列一列地从 COMS感测阵列读出，因此，不同曝光值的积分时间被配置