专利名称：用于产生高动态范围图像和视频帧的方法和单元的制作方法
技术领域：
本发明的实施例涉及用于通过产生用于对准(align)用不同曝光获取的图像序 列的图像的平均差曲线来创建高动态范围(HDR)图像的方法。本发明的另一实施例涉及用 于通过根据单个图像产生具有不同曝光的图像来创建HDR图像的方法。本发明的另一实施 例涉及用于通过根据单个帧产生具有不同曝光的帧来创建HDR视频的方法。
背景技术：
在HDR图像创建中，用不同曝光获取多个图像并且随后混合该多个图像以便具有 动态范围高于单个图像的动态范围的图像。在该混合过程内，那些具有较小曝光的图像 (其在亮区中包含更多信息)改进在图像的这些亮区内的动态范围，并且具有较高曝光的 其它图像改进在暗区内的动态范围。因此通过混合不同曝光的这些图像，可以增大所得到 的图像的动态范围。然而，用手持式摄影机获取的图像序列包含全局的和局部的运动，其中全局的运 动源自于例如摄影机的移动而局部的运动源自于例如要成像的对象的移动。因此，对于HDR 图像创建，在混合那些图像之前它们应当彼此对准。在下文中，术语“亮度”与术语“发光 度”等价地使用。问题在于用于运动估计的现有技术水平(state of the art)的方法不能有效地 对准具有不同曝光的图像，因为在捕获图像之后由于在摄影机内的非线性后处理，在用不 同曝光获取的图像之间没有亮度上的线性改变。传统的运动估计对于非线性的亮度改变来说行不通，因为现有技术水平的技术修 剪图像，其引起信息的损失以及伪影(artifact)，这在应用传统技术时由于运动而会在对 准后的图像中出现。因此，在使用现有技术水平的技术时，不可能在所有图像区域中保持图 像的动态范围。在传统的基于块的运动估计中，当前图像中的块与参考图像中的相邻块相匹配， 并且具有例如最小平均绝对差(MAD)的块被视为预测块。此外，在其中在计算平均绝对差中从每一个像素值中减去每个图像的全局DC的 使图像褪色(fade)的方法对于具有不同曝光的图像来说行不通，因为在曝光上的改变是 依赖于亮度的。因此传统方法和用于使图像褪色的方法对于具有不同曝光的图像来说都行 不通，因为在曝光上的改变是依赖于亮度的。迄今为止根据单个图像产生不同曝光图像或者在HDR视频中根据单个帧产生不 同曝光帧也是不可能的。因此本发明的目的在于提供一种用于改进在不同曝光图像之间根据参考产生高 动态范围图像的方法和单元，使得创建不同曝光的对准的图像供HDR成像之用。
发明内容
通过根据权利要求1所述的方法、根据权利要求8所述的单元和根据权利要求12所述的计算机可读介质解决了该问题。在从属权利要求中限定了更进一步的实施例。通过考虑附图和随后的描述，本发明更多细节将变得清楚明白。
附图被包括以提供对实施例的更进一步的了解并且被并入本说明书中且构成其 一部分。附图示出了实施例并且和描述一起用来解释实施例的原理。其它实施例和实施例 的许多预期的优点将容易被明白，因为通过参考以下详细描述它们变得更好理解。附图的 元件不一定相对于彼此按比例绘制。类似的附图标记表示对应的类似部分。图1是示出了发现运动矢量的基本意图的框图。图2是示出了用于产生HDR图像的方法的框图。图3a是示出了在不同曝光下获取具有像素值的非线性改变的图像的过程的框 图。图3b示出了像素值(在实例中所考虑的像素值为“10”)对于不同曝光如何变化。该 像素值上的变化/改变还可以被认为是在参考图像与具有曝光值eVl、eV2等的n_l个另外 的图像之一之间的转变。图4a和4b示出了对于从具有曝光值eVO的参考图像到具有曝光值eVl的另外的 图像的转变和对于到具有曝光值ev2的另一个另外的图像的转变的参考值的阵列。图5a和5b对应于图4a和4b中示出的转变并且示出了对于图4a或4b的转变的 每一个像素值的“平均差值”。图6示出了对于每一个像素值的所有转变的平均差值，并且是要存储的最终的查 找表。在图7和8中示出了查找表的不同用途。图9示出了用于产生高动态范围图像的产生单元。
具体实施例方式在下文中，描述了本发明的实施例。重要的是请注意，在下文中所有所描述的实施 例可以以任何方式结合，即没有限制某一个所描述的实施例不可以与其它的实施例结合。 此外，应当注意，在所有附图中相同的附图标记表示相同的或类似的元件。应当理解，在不脱离本发明范围的情况下可以使用其它实施例并且可以进行结构 的或逻辑的改变。因此，以下详细描述不应被认为是限制性的，并且本发明的范围由所附权 利要求来限定。还要理解，除非有明确的不同指示，否则在本文中描述的各种实施例的特征可以 彼此结合。图1是示出了发现运动矢量的基本意图的框图。在图像10中，块11被设置为具 有像素12，其中每一个像素具有像素值。在具有不同曝光的另一个图像20中，块11的像素 值将对应于块21的像素22的像素值，其中由于在图像10与20之间曝光不同，块21的那 些像素值不同于块11的像素值。然而如果在图像20与图像10之间存在运动，在像素值上 的该改变还与在图像平面内对应块的移动关联，并且只有当已知在图像10与图像20之间 的运动矢量11-21时才能被确定。图2是示出了用于产生平均差曲线的方法的框图。在步骤S200中，在没有局部的或全局的运动的情况下用摄影机获取η个图像的序列以便产生理想的“参考情形”，并且这 可以用安装在三脚架上的摄影机来实现。这些图像之一被挑选作为参考图像并且其它图像 用作辅助的或另外的图像，其中该参考图像的曝光值被称为eVO而对于另外的图像的曝光 值为eVl、eV-1、eV2等等。然后注意到，可能在参考图像内出现若干次的某一个像素值如 何在参考图像与另外的图像之间改变差值，该差值对于参考图像的所有像素来说不一定是 恒定的。在步骤S210中，对于参考图像的每一个像素值，对于另外的图像的多个差值被确 定并且组成阵列。在步骤S220中，针对在参考图像与n-1个另外的图像之间的n-1个参考 (转变)中的每一个，计算差曲线。该差曲线代表表示每一个像素值的平均差值的图。根据 像素值的阵列的差值来计算该平均差值作为平均值。在步骤230中，平均差值被存为查找 表中的这些平均差曲线，其然后被用于摄影机，对该摄影机已经计算了该值。如图3a所示，用不同曝光值eVx获取η个图像的序列，其中曝光上的差可能源自 于曝光时间上的差或孔径尺寸上的差。这必须发生在没有局部的或全局的运动的情况下以 便产生理想的“参考情形”。因此应当例如通过用三脚架获取图像来避免在获取图像期间 的任何运动。这些η个图像之一被确定为用作参考图像而其它n-1个图像被用作另外的图 像，用于计算它们的像素值相对于参考图像的像素值上的差。由此术语“像素值”包括关于 发光度的信息。像素值可能是例如0到255。在方法的实施例中，其曝光不是最高或最低的图像可以被挑选作为参考图像，以 便使用以类似的效率改进暗区和亮区两者的范围的效果。之后针对在参考图像内的每一个 像素值来考虑差，其中确定从参考图像到n-1个另外的图像的差值。图3b示出了像素值(在实例中所考虑的像素值为“10”)在从参考图像到具有曝 光值eVl等的另外的图像的转变期间如何变化。因此对于参考图像的每一个像素值，针对n-1个转变(从参考图像到n-1个另外 的图像)来计算差值的阵列。例如在图3b中，像素值10的从eVO到eVl的转变得到像素 值14、13和15。图4a中示出了针对到eVl的转变所得到的对于像素值10的差值阵列，而 图4b中示出了针对到eV2的转变所得到的对于像素值10的差值阵列。在像素的直接比较 中该计算是可能的，因为在图像的序列内没有移动。针对从参考图像到n-1个另外的图像 的所有n-1个转变来进行计算。之后每个阵列被“收缩”到作为对应像素值的平均差值的 一个值。虽然图4a和4b示出了仅仅针对像素值10的阵列，但是对应的图5a和5b针对在 像素值10下的阵列并且针对其它像素值的每个另外的阵列而采取一个平均值，使得产生 曲线，其表示针对每一个像素值的一个平均差值。图5a和5b中示出的针对从参考图像到 具有曝光值eVl的另外的图像和到具有曝光值eV2的另外的图像的转变的该曲线也被称为 平均差曲线。图6示出了查找表LUT，其中要填入针对像素值0到255的n_l个转变(在y轴 上)的所有平均差值。出于更容易说明的原因，仅仅针对像素值10示出了针对两个不同转 变的两个平均差值。如果连续地填满这种查找表，它还可以被示出为在像素值(图6的X 轴)之上的跨过不同转变(图6的y轴)的平面上方的三维空间图。然后存储该查找表， 并且有可能存储针对多个不同焦距和/或不同ISO灵敏度的多个查找表。不同曝光图像的数目η越高趋向于提供越好的加权。
当用手持式摄影机获取HDR图像并且在图像序列内存在运动时，在合并图像以创 建HDR图像之前该图像的对准是必需的。如果具有局部的或全局的运动的图像彼此不对 准，则在创建的HDR图像中会有伪影。如上面已经解释的，曾经针对图像获取单元(例如照相机)而产生查找表。一旦 被产生，查找表可以用于对准甚至包括运动的相同的摄影机获取的图像的序列。因此，一旦知道由查找表代表的亮度_曝光-依赖性，即使在不同曝光图像的序列 内具有运动，可以在没有伪影的情况下进行用于创建HDR图像的图像序列的对准，并且无 需使用任何参数的另外的手动调谐。如已经表示的，可以针对一个摄影机存储针对不同焦距和针对不同ISO灵敏度的 不同查找表。在示出根据本发明另外实施例的用于创建高动态范围图像的方法的图7中示出 了查找表的一个用途。通过使用查找表来对准为创建HDR图像而获取的图像序列，并且在 对准的图像的线性化之后可以混合图像以在没有引起伪影的情况下得到一个HDR图像。在图7中，如上所述并且如图2中所示出的，在没有运动的情况下通过获取图像的 第一序列而已经知道查找表。然后在步骤S710中，用相同的摄影机获取图像的序列。在步 骤S720中，根据已经为该摄影机已知的查找表来对准该获取的序列。接着可以是线性化该 对准的图像的进一步步骤S730。在步骤S740中，混合图像以便产生HDR图像。该方法也可以被应用于视频帧。此外，如图8所示，查找表还可以用于通过根据单个图像产生不同曝光图像而不 另外需要在混合之前对准的某种“人造的(artificial)HDR”图像创建。该人造的所产生的 序列的混合将增强原始的单个图像的对比度。以类似的方式还可以通过对单个帧应用该方 法、由此产生用于混合的人造的不同曝光帧(其将增强原始单帧的对比度)，来人造地创建 HDR视频。因此此外在图8中，如上所述并且如图2中所示出的，在没有运动的情况下通过获 取图像的第一序列而已经知道查找表。然后在步骤S810中，用相同的摄影机获取单个图 像。在步骤S820中，根据已经为该摄影机已知的查找表，从该获取的单个图像中产生多个 人造的另外的图像。在步骤S830中，混合所获取的单个图像和人造地创建的另外的图像以 便产生HDR图像。该方法也可以被应用于视频帧。图9示出了用于产生高动态范围图像的产生单元100。该产生单元包括成像单元 110，其被配置为用不同曝光获取对象的η个图像的序列或图像。因为为了获取该第一初始 化序列，对象、成像单元和周围环境必须相对于彼此保持静止，所以成像单元或产生单元可 以被布置在图9中未示出的三脚架上。产生单元还可以包括第一处理器120和第二处理器130，第一处理器120被配置为 针对包含η-1个差值的参考图像阵列的每一个像素值计算对应于η-1个另外的图像之一的 每个阵列，第二处理器130被配置为针对η-1个另外的图像中的每一个计算平均差曲线，其 中每个平均差曲线代表每一个像素值的平均差值。第一和第二处理器还可以被结合为一个 处理器。此外产生单元100可以包括被配置为存储平均差值的存储器140，针对查找表中的 η-1个另外的图像中的每一个并且针对每一个像素值来描述该平均差值。
存储器140可以被配置为存储用于不同焦距和/或不同ISO灵敏度的查找表。产生单元100还可以包括被配置为根据查找表来对准图像的对准单元200和被配 置为混合图像的混和单元400。产生单元100还可以包括线性化单元300，其被配置为在图像对准之后线性化该 图像。产生单元100还可以包括图像创建单元500，其被配置为根据查找表来从单个图 像中创建多个另外的图像，其还可以通过混合单元400来混合。虽然在本文中已经示出和 描述了特定的实施例，但是本领域普通技术人员将明白，在不脱离所描述实施例的范围的 情况下各种替代的和/或等同的实现方式可以代替所示出和描述的特定实施例。本申请意 图覆盖在本文中讨论的特定实施例的任何改编或变化。因此，本发明意图仅仅由权利要求 及其等同物限制。
权利要求
一种用于产生高动态范围图像的方法，包括用摄影机获取对象的具有不同曝光的n个图像的第一序列，其中所述对象和所述摄影机相对于彼此保持静止，其中所述序列包含具有像素值的一个参考图像和n 1个另外的图像，其中n≥2，针对所述参考图像的每一个像素值计算包含x个差值的阵列，每个阵列对应于所述n 1个另外的图像之一，其中x是所考虑的像素值出现在所述参考图像中的次数，针对所述n 1个另外的图像中的每一个计算平均差曲线，每个平均差曲线代表针对每一个像素值的平均差值，以及在查找表中存储针对每一个像素值和针对所述n 1个另外的图像中的每一个的平均差值。
2.根据权利要求1所述的用于产生高动态范围图像的方法，还包括 用所述摄影机获取图像的第二序列，根据所述查找表来对准所述图像，以及 混合线性化后的图像。
3.根据权利要求1所述的用于产生高动态范围图像的方法，还包括 获取单个图像，根据所述查找表从所述单个图像中创建多个另外的图像，以及 将所述单个图像和所述另外的图像混合到一个图像。
4.根据权利要求1所述的用于产生高动态范围图像的方法，还包括用所述摄影机获取图像的另一个第二序列，其中所述对象和所述摄影机相对于彼此保 持静止，以及根据所述查找表来混合所述图像。
5.根据权利要求1所述的用于产生高动态范围图像的方法，其中在不同曝光之间的差 源自于曝光时间上的差。
6.根据权利要求1所述的用于产生高动态范围图像的方法，其中在不同曝光之间的差 源自于孔径尺寸上的差。
7.一种用于产生高动态范围视频的方法，包括 获取视频帧的序列，根据权利要求3所述的方法来从每个视频帧中创建多个另外的视频帧，其中将每个视 频帧处理为单个图像。
8.一种用于产生高动态范围图像的产生单元(100)，包括成像单元(110)，被配置为获取对象的具有不同曝光的η个图像的序列，其中所述对象 和所述成像单元(110)相对于彼此保持静止，并且其中所述序列包含具有像素值的一个参 考图像和η-1个另外的图像，其中η > 2，第一处理器(120)，被配置为针对包含η-1个差值的参考图像阵列的每一个像素值计 算对应于所述η-1个另外的图像之一的每个阵列，第二处理器(130)，被配置为针对所述η-1个另外的图像中的每一个计算平均差曲线， 每个平均差曲线代表针对每一个像素值的平均差值，以及存储器(140)，被配置为在查找表中存储针对每一个像素值并且针对η-1个另外的图 2像中的每一个的平均差值。
9.根据权利要求8所述的用于产生平均差曲线的产生单元(100)，其特征在于所述存 储器(140)被配置为存储用于不同焦距和/或不同ISO灵敏度的查找表。
10.根据权利要求8所述的用于创建高动态范围图像的产生单元，还包括 对准单元(200)，被配置为根据所述查找表来对准所述图像，以及混合单元(400)，被配置为混合线性化后的图像。
11.根据权利要求8所述的用于产生高动态范围图像的产生单元，还包括图像创建单元(500)，被配置为根据所述查找表从单个图像中创建多个另外的图像，以及混合单元，被配置为将所述单个图像和所述另外的图像混合到一个图像。
12.—种计算机可读介质，包括其使得计算机执行用于产生高动态范围图像的方法的 计算机程序指令，包括用摄影机获取对象的具有不同曝光的η个图像的序列，其中所述对象和摄影机相对于 彼此保持静止，其中所述序列包含具有像素值的一个参考图像和η-1个另外的图像，其中 η彡2，针对包含η-1个差值的参考图像阵列的每一个像素值计算对应于所述η-1个另外的图 像之一的每个阵列，针对所述η-1个另外的图像中的每一个计算平均差曲线，每个平均差曲线代表针对每 一个像素值的平均差值，以及在查找表中存储针对每一个像素值和针对所述η-1个另外的图像中的每一个的平均差值。
13.一种计算机可读存储介质，包括根据权利要求12所述的计算机可读介质。
全文摘要
用于产生高动态范围图像和视频帧的方法和单元。本发明的一个实施例涉及用于通过产生用于对准用不同曝光获取的图像序列的图像的平均差曲线来创建高动态范围(HDR)图像的方法，其中曝光上的差可能源自于曝光时间上的差或孔径尺寸上的差。本发明的另一实施例涉及用于通过根据单个图像产生具有不同曝光的图像来创建HDR图像的方法。本发明的另一实施例涉及用于通过根据单个帧产生具有不同曝光的帧来创建HDR视频的方法。
文档编号H04N5/262GK101902581SQ20101015924
公开日2010年12月1日 申请日期2010年3月31日 优先权日2009年3月31日
发明者K·齐默曼, M·西迪圭, M·阿蒂夫 申请人:索尼株式会社