用于产生高动态范围影像的系统和方法

用于产生高动态范围影像的系统和方法
【专利摘要】一种方法藉由以下操作而自具有不同亮度之两个影像判定一高动态范围影像中之一像素值：自该两个影像获得对应输入像素强度；判定组合权重；及计算该高动态范围影像中之该像素值作为该等输入像素强度之一加权平均值。另一方法藉由以下操作而自两个以上影像判定一高动态范围影像中之一像素值：形成对应输入像素强度之对；针对每一对判定用于该等输入像素强度之相对组合权重；应用一正规化条件以判定绝对组合权重；及计算该高动态范围影像中之该像素值作为该等输入像素强度之一加权平均值。用于自两个或两个以上输入影像产生高动态范围影像产生之系统包括一处理器、一存储器、一组合权重模块及一像素值计算模块。
【专利说明】用于产生高动态范围影像的系统和方法

【技术领域】
[0001] 本发明涉及用于产生高动态范围影像的系统和方法。

【背景技术】
[0002] 标准影像传感器具有约60dB至70dB或更小之有限动态范围。举例而言，相较于 具有较大位深度之传感器通常更经济的8位传感器具有仅48dB之动态范围。然而，真实世 界之明度动态范围大得多，且自然场景常常跨越90dB或更大之范围。当影像传感器捕捉具 有超出传感器动态范围之明度动态范围的场景时，信息必定会遗失。取决于曝光设定，较明 亮区可饱和，及/或较黯淡区可曝光不足，从而产生具有不能够再生实际场景之质量的经 捕捉影像。
[0003] 为了同时地捕捉场景之光辉部及阴影，已在影像传感器中使用高动态范围（HDR) 技术以增加经捕捉动态范围。用以增加动态范围之最常见技术中的一者是将运用标准低动 态范围影像传感器而捕捉之多次曝光合并成相较于单一曝光影像具有大得多之动态范围 的单一 HDR影像。举例而言，可以一系列不同曝光时间来记录同一场景之影像，其中最长曝 光经设定以最佳地捕捉该场景之最黯淡部分，且最短曝光经设定以最佳地捕捉该场景之最 明亮部分。
[0004] 适当地组合多个影像以形成高质量HDR影像具挑战性。对于HDR影像中之每一像 素，组合程序涉及作出关于输入影像中之对应像素之相对权重的决策。HDR影像归因于影像 组合程序所固有之瑕疵而频繁地含有假影。作为一实例，不连续性在影像之表示实际场景 中之平滑强度及/或色彩转变的区域中可显而易见，不连续性是由输入影像之加权依据输 入影像像素之性质（例如，强度、噪声及传感器响应）的离散移位造成。


【发明内容】

[0005] 根据本文中之教示，系统及方法基于复数个输入影像来产生高动态范围影像。本 文所揭示之方法产生高动态范围影像，该等高动态范围影像为实际场景的平滑且真实之表 示，其在影像之表示实际场景中之平滑亮度及/或色彩转变的区中没有不连续性，该等不 连续性为习知解决方案中之常见HDR影像组合假影。
[0006] 在一实施例中，一种方法基于具有不同亮度之第一输入影像及第二输入影像来判 定一高动态范围影像中之一像素值。该方法包括：(a)获得该第一输入影像中的一第一像 素之一第一输入像素强度及该第二输入影像中的一对应像素之一第二输入像素强度；(b) 判定用于该第一输入像素强度之一第一组合权重及用于该第二输入像素强度之一第二组 合权重，该第一组合权重及该第二组合权重中每一者为该第一输入像素强度及该第二输入 像素强度之一函数；及（c)使用该第一组合权重及该第二组合权重来计算该高动态范围影 像中之该像素值作为该第一输入像素强度及该第二输入像素强度之一加权平均值，其中该 计算步骤包含将该第一输入像素强度及该第二输入像素强度按比例调整至一共同影像亮 度。
[0007] 在一实施例中，一种方法自具有不同亮度之N个输入影像判定一高动态范围影像 中之一像素值，其中N为大于2之一整数。该方法包括：(a)形成输入像素强度之对之一清 单，该等输入像素强度中每一者对应于该N个输入影像中之同一位置，且其中惟对之该清 单中之第一对除外的对之该清单中之所有对包含对之该清单中之先前对中的该等输入像 素强度中之一者，及该等先前对中任一者中未表不的该等输入像素强度中之一者；(b)对 于对之该清单中之每一对，判定用于该等输入像素强度之相对组合权重，该等相对组合权 重为该对中之该等输入像素强度两者之一函数；(c)将一正规化条件应用至该等相对组合 权重以判定绝对组合权重；及（d)使用该等绝对组合权重来计算该高动态范围影像中之该 像素值作为该等输入像素强度之一加权平均值，其中该计算步骤包含将该等输入像素强度 按比例调整至一共同影像亮度。
[0008] 在一实施例中，一种高动态范围影像产生系统包括：(a) -处理器；(b) -存储器， 其以通信方式耦接至该处理器，且包括用于储存来自一第一输入影像及一第二输入影像之 第一输入像素强度及第二输入像素强度的一影像储存器；(C) 一组合权重模块，其包括储 存于该存储器中之机器可读指令，该等机器可读指令在由该处理器执行时执行判定用于该 第一输入像素强度之一第一组合权重及用于该第二输入像素强度之一第二组合权重的功 能，该第一组合权重及该第二组合权重中每一者为该第一输入像素强度及该第二输入像素 强度之一连续函数；及（d) -像素值计算模块，其包括储存于该存储器中之机器可读指令， 该等机器可读指令在由该处理器执行时执行以下功能：将该第一输入像素强度及该第二输 入像素强度按比例调整至一共同亮度；及使用该第一组合权重及该第二组合权重来计算一 高动态范围影像中之一像素值作为该等经按比例调整第一及第二输入像素强度之一加权 平均值。
[0009] 在一实施例中，一种高动态范围影像产生系统包括：(a) -处理器；(b) -存储器， 其以通信方式耦接至该处理器，且包括用于储存来自N个输入影像之输入像素强度的一影 像储存器，其中N为大于2之一整数；（c) 一组合权重模块，其包括储存于该存储器中之机 器可读指令，该等机器可读指令在由该处理器执行时执行以下功能：（i)形成输入像素强 度之对之一清单，该等输入强度中每一者对应于该N个输入影像中之同一位置，且其中惟 对之该清单中之第一对除外的对之该清单中之所有对包含对之该清单中之先前对中的该 等输入像素强度中之一者，及该等先前对中任一者中未表示的该等输入像素强度中之一 者；（ii)判定用于该等输入像素强度之相对组合权重，用于对之该清单中之一对的该等相 对组合权重中每一者为该对中之该等输入像素强度两者之一连续函数；及（iii)将一正 规化条件应用至该等相对组合权重以判定绝对组合权重；及（d) -像素值计算模块，其包 括储存于该存储器中之机器可读指令，该等机器可读指令在由该处理器执行时执行以下功 能：将该等输入像素强度按比例调整至一共同亮度；及使用该等绝对组合权重来计算一高 动态范围影像中之一像素值作为该等经按比例调整输入像素强度之一加权平均值。

【专利附图】

【附图说明】
[0010] 图1说明根据一实施例的用于判定用于高动态范围影像组合中之组合权重之加 权映像。
[0011] 图2说明根据一实施例的用于使用加权映像来产生高动态范围影像之系统。
[0012] 图3说明根据一实施例的用于使用加权映像来捕捉影像且产生高动态范围影像 之系统。
[0013] 图4说明根据一实施例的用于使用加权映像来判定组合权重之方法。
[0014] 图5说明根据一实施例的用于使用加权映像来产生高动态范围影像之方法。

【具体实施方式】
[0015] 本文揭示用于自具有低动态范围及不同亮度之多个输入影像产生HDR输出影像 之系统及方法。举例而言，可以不同曝光时间、摄影机增益及/或孔径光阑来记录输入影 像。向HDR输出影像中之每一像素指派为输入影像中之对应像素之强度之函数的值。该函 数包括用以对来自不同输入影像之像素强度进行加权的组合权重、用以将不同输入影像按 比例调整至共同亮度之比例因子，且视情况包括对按比例调整之校正。
[0016] 组合权重用来产生被按比例调整至共同亮度之输入像素强度之加权平均值，且对 于产生高质量HDR影像至关重要。通常，组合权重对于具有较好质量之输入像素强度较大， 其中像素质量之判定可基于数个性质及关联准则。本文所揭示之系统及方法未特定于某些 质量度量；可使用任何度量或度量组合。举例而言，基于任何适合单一度量或度量组合，较 大组合权重可被给予至高于传感器噪声位准、低于饱和度、在传感器响应之线性体系中、具 有高信杂比及/或被认为具有较好质量的输入像素强度。因此，本发明所揭示之HDR影像产 生系统及方法可适应于极广泛范围之使用情境，且重要地，允许同时地考虑众多不同质量 度量。自对应于HDR输出影像中之给定像素之所有输入像素强度的比较来判定组合权重， 此是与输入像素强度之独立评估相对。此情形引起较多最佳组合权重，此是因为该比较提 供可经评估及利用以判定该等组合权重之额外信息。另外，本发明之系统及方法以平滑方 式来指派组合权重。具体而言，与HDR输出影像中之给定像素相关联的组合权重为所有对 应输入像素强度之连续函数。结果，HDR输出影像通常提供实际场景的平滑且真实之表示， 且在影像之表示实际场景中之平滑亮度及/或色彩转变的区中没有亮度或色彩不连续性， 该等连续性为习知解决方案中之常见HDR影像组合假影。本发明所揭示之系统及方法的所 有上述优点是使用简单加权映像以低计算成本而提供，该加权映像被稀疏地填入有预定义 组合权重。
[0017] 用于产生HDR影像的本发明所揭示之系统及方法利用用于判定组合权重之加权 映像。图1展示用以自待组合成单一 HDR输出影像之两个个别输入影像判定对应像素之 对之组合权重的加权映像100。如下文将论述，当组合两个以上输入影像时，可将加权映像 100应用至输入影像之一系列对。加权映像100将用于输入影像1中之个别像素 i之组合 权重展示为强度I1Q)及I2α)之函数，其中I1Q)为输入影像1中之像素强度，且I 2 α)为 对应输入影像2中之像素强度。X轴105表示强度I1 (i)，且y轴106表示强度I2 (i)。
[0018] 在一实施例中，加权映像100含有具有预定义组合权重Wn1Ii2之离散二维网格（参 见图1中之标签110,并非所有预定义组合权重Wn 1Ii2皆被加标签），其中II1及112为在0至 3之范围内的整数。在此实施例中，加权映像100为4X4网格，但加权映像100可具有其它 尺寸而不脱离本发明之范畴。定义组合权重Wn 1Ii2之网格位置对应于为输入影像1及2所 共有之临限值ThO (图1中之标签120)、被指派至影像1之临限值Thl1A Tt^1及ThS1 (在图 1中未加标签），及被指派至影像2之临限值Thl2、Th22及Th3 2 (在图1中未加标签）。此等 临限值指示输入影像1及2中的像素 i之全强度范围的所要划分。举例而言，一临限值可与 针对上方噪声像素强度之下限、针对无饱和度效应之像素强度之上限、零像素强度、最高可 能像素强度重合；或临限值之对可将传感器响应之线性范围或信杂比之范围括在一起。在 一个例示性实施例中，临限值ThO为零像素强度，临限值Thl 1为针对上方噪声像素强度之 下限，临限值Thl1及Tt^1 一起将传感器响应之线性范围括在一起，临限值ThS1为最高可能 像素强度，Thl2及Th2 2 -起将传感器响应之线性范围括在一起，Th22为针对无饱和度效应 之像素强度之上限，且Th32为最高可能像素强度。
[0019] 在替代实施例中，该加权映像相较于加权映像100是基于较多或较少临限值，从 而引起较密集或较不密集之网格。
[0020] 该等临限值对于输入影像1及2可相同或可不同。若影像1及2被知道为具有不 同性质，则可有利的是针对影像1及2定义不同临限值。此知识可基于实际影像之评估，抑 或基于影像1及2被捕捉所处之条件（例如，曝光时间）之一般知识。举例而言，较长曝光 时间通常是与归因于（例如）在曝光期间之热诱发性信号之累积的较高噪声位准相关联。 可藉由定义为曝光时间之函数的表示噪声底限之临限值而在加权映像100中考虑此关联。 若影像1及2是以不同曝光时间被捕捉，则此临限值对于影像1及2将不同。在一般表达 式中，加权映像可基于在一个维度上之η个临限值，及在另一维度上之m个临限值，从而引 起nXm网格，其中n、m> 2。可藉由实施较多临限值而将较多信息嵌入于加权映像中。然 而，此情形将相对于与较大矩阵之储存及操纵相关联的存储器及计算成本进行取舍。
[0021] 实际像素强度之任何给定对（来自输入影像1之I1⑴及来自输入影像2之I 2 (i)) 定义加权映像100中之点P (由图1中之标签130指示）。若点P与预定义组合权重Wn1Ii2重 合，则组合权重W 1 (i) = Wn1Ii2被指派至输入影像1之像素 i,且组合权重w2 (i) = I - W1 (i) 被指派至输入影像2之像素 i。同样地，点P将不与预定义组合权重重合，在此状况下，用 于输入影像1中的像素 i之组合权重W1Q)是藉由使用四个最近预定义组合权重Wn1Ii2之 内插而找到。就图1中之点P之例示性位置而言，该内插是基于预定义组合权重wll、wl2、 w21 及 w22〇
[0022] 可使用此项技术中所知之任何方法（例如，双线性内插）来执行内插。在利用双线 性内插之实施例中，可应用在X方向上之线性内插以判定用于在y方向上之后续线性内插 中的中间组合权重以找到最终组合权重。根据以下方程序，沿着由Wll及《21定义之网网 格线执行线性内插以判定由图1中之卷标140指示的中间组合权重w xl (i)，且沿着由《12及 w22定义之网网格线执行线性内插以判定由图1中之卷标141指示的中间组合权重wx2(i)

【权利要求】
1. 一种用于基于具有不同亮度的第一输入影像和第二输入影像来判定高动态范围影 像中的像素值的方法，包括： 获得所述第一输入影像中的第一像素的第一输入像素强度和所述第二输入影像中的 对应像素的第二输入像素强度； 判定用于所述第一输入像素强度的第一组合权重和用于所述第二输入像素强度的第 二组合权重，所述第一组合权重和所述第二组合权重中的每个为所述第一输入像素强度和 所述第二输入像素强度的函数；以及 使用所述第一组合权重和所述第二组合权重来计算所述高动态范围影像中的所述像 素值作为所述第一输入像素强度和所述第二输入像素强度的加权平均值，其中该计算步骤 包括将所述第一输入像素强度和所述第二输入像素强度按比例调整至共同影像亮度。
2. 根据权利要求1所述的方法，所述函数为所述第一输入像素强度和所述第二输入像 素强度的连续函数。
3. 根据权利要求2所述的方法，所述函数具有预定义值，所述预定义值用于预定义第 一像素强度和预定义第二像素强度的多个对。
4. 根据权利要求3所述的方法，通过考虑至少一个质量度量来定义所述预定义值。
5. 根据权利要求4所述的方法，所述至少一个质量度量包括以下各项中的一个或多 个：强度、噪声贡献、饱和度效应、信杂比、传感器响应的线性、第一像素强度与第二像素强 度的比率。
6. 根据权利要求4所述的方法，所述质量度量包括利用所述第一输入像素强度与所述 第二输入像素强度的比较的至少一个质量度量。
7. 根据权利要求4所述的方法，当所述第一输入像素强度和所述第二输入像素强度不 与所述预定义第一像素强度和预定义第二像素强度的对重合时，通过在预定义第一像素强 度和预定义第二像素强度的所述对之间进行内插来判定所述函数的值。
8. 根据权利要求7所述的方法，通过在预定义第一像素强度和预定义第二像素强度的 最近对之间进行内插来判定所述函数的所述值。
9. 根据权利要求7所述的方法，所述内插的步骤包括双线性内插。
10. 根据权利要求4所述的方法，还包括获得与所述第一输入影像相关联的第一亮度 参数和与所述第二输入影像相关联的第二亮度参数，且其中按比例调整是基于所述第一亮 度参数和所述第二亮度参数。
11. 根据权利要求10所述的方法，还包括校正所述第一亮度参数和所述第二亮度参数 中至少之一的误差。
12. 根据权利要求11所述的方法，误差是由非线性传感器响应和亮度条件的不正确评 估中的一个或多个造成，其中在所述亮度条件下捕捉所述第一输入影像和所述第二输入影 像中至少之一。
13. -种用于从具有不同亮度的N个输入影像判定高动态范围影像中的像素值的方 法，其中N为大于2的整数，所述方法包括： 形成输入像素强度对的清单，所述输入像素强度中的每个与所述N个输入影像中的同 一位置对应，其中所述清单中除第一对之外的所有对包括所述清单中的先前对中的所述输 入像素强度之一，以及所述先前对中的任一个中未表不的所述输入像素强度之一； 对于所述清单中的每对，判定用于所述输入像素强度的相对组合权重，所述相对组合 权重为所述对中的两个输入像素强度的函数； 将正规化条件应用至所述相对组合权重，以判定绝对组合权重；以及 使用所述绝对组合权重来计算所述高动态范围影像中的所述像素值作为所述输入像 素强度的加权平均值，其中该计算步骤包括将所述输入像素强度按比例调整至共同影像亮 度。
14. 根据权利要求13所述的方法，其中所述清单中的每对包括来自所述N个输入影像 中的两个输入影像的输入像素强度，所述两个输入影像具有使得所述N个输入影像中的其 它输入影像在其间不具有亮度的亮度。
15. 根据权利要求13所述的方法，所述函数为由所述对包括的所述输入像素强度的连 续函数。
16. 根据权利要求14所述的方法，所述函数具有预定义值，所述预定义值用于预定义 像素强度的多个对，通过考虑至少一个质量度量来定义所述预定义值。
17. 根据权利要求16所述的方法，当所述输入像素强度不与预定义像素强度的对重合 时，通过在预定义像素强度的对之间进行内插来判定所述函数的值。
18. 一种商动态范围影像广生系统，包括： 处理器； 存储器，以通信方式耦接至所述处理器，并包括影像储存器，所述影像储存器用于储存 来自第一输入影像和第二输入影像的第一输入像素强度和第二输入像素强度； 组合权重模块，包括储存在所述存储器中的机器可读指令，所述机器可读指令在由所 述处理器执行时执行判定用于所述第一输入像素强度的第一组合权重和用于所述第二输 入像素强度的第二组合权重的功能，所述第一组合权重和所述第二组合权重中的每个为所 述第一输入像素强度和所述第二输入像素强度的连续函数；以及 像素值计算模块，包括储存在所述存储器中的机器可读指令，所述机器可读指令在由 所述处理器执行时执行以下功能：将所述第一输入像素强度和所述第二输入像素强度按比 例调整至共同亮度；及使用所述第一组合权重和所述第二组合权重来计算高动态范围影像 中的像素值作为经按比例调整的所述第一输入像素强度和所述第二输入像素强度的加权 平均值。
19. 根据权利要求18所述的系统，所述组合权重模块经进一步调适以针对储存在所述 影像储存器中的、不与预定义第一像素强度和预定义第二像素强度的对重合的第一像素强 度和第二像素强度而在预定义第一像素强度和预定义第二像素强度的所述对之间进行内 插。
20. 根据权利要求18所述的系统，还包括协作地配置成用于影像捕捉的传感器和成像 光学件。
21. 一种商动态范围影像广生系统，包括： 处理器； 存储器，以通信方式耦接至所述处理器，并包括影像储存器，所述影像储存器用于储存 来自N个输入影像的输入像素强度，其中N为大于2的整数； 组合权重模块，包括储存在所述存储器中的机器可读指令，所述机器可读指令在由所 述处理器执行时执行以下功能：(a)形成输入像素强度对的清单，所述输入像素强度中的 每个与所述N个输入影像中的同一位置对应，且其中所述清单中除第一对之外的所有对包 括所述清单中的先前对中的所述输入像素强度之一，以及所述先前对中的任一个中未表示 的所述输入像素强度之一；(b)判定用于所述输入像素强度的相对组合权重，用于所述清 单中的一对的所述相对组合权重中的每个为所述对中的两个输入像素强度的连续函数；及 (c)将正规化条件应用至所述相对组合权重，以判定绝对组合权重；及 像素值计算模块，包括储存在所述存储器中的机器可读指令，所述机器可读指令在由 所述处理器执行时执行以下功能：将所述输入像素强度按比例调整至共同亮度；及使用所 述绝对组合权重来计算高动态范围影像中的像素值作为经按比例调整的所述输入像素强 度的加权平均值。
22. 根据权利要求21所述的系统，所述组合权重模块经进一步调适以形成所述清单， 使得所述清单中的每对包括来自所述N个输入影像中的两个输入影像的输入像素强度，所 述两个输入影像具有使得所述N个输入影像中的其它输入影像在其间不具有亮度的亮度。
23. 根据权利要求21所述的系统，还包括协作地配置成用于影像捕捉的传感器和成像 光学件。
【文档编号】H04N5/359GK104378558SQ201410403453
【公开日】2015年2月25日 申请日期:2014年8月15日 优先权日:2013年8月15日
【发明者】邝江涛, 吴东晖, 单继章 申请人:全视技术有限公司