专利名称：针对多次曝光的增强动态范围图像和视频的方法和系统的制作方法
技术领域：
本发明的一些实施例包括利用传感器捕获增强动态范围图像和视频的方法和系统，所述传感器不能够利用单次图像捕获来捕获增强动态范围。一些实施例还涉及视频序列的编码和解码。
背景技术：
本发明利用⑴当前传感器技术和(ii)功率受限成像平台(例如，摄像机电话) 解决了捕获高(或较高)动态范围视频的问题。当前，针对当今环境没有很好地解决高动态范围获取的问题。先前的工作合并了较高动态范围图像传感器或者使用标准动态范围图像传感器，来获取多次曝光然后融合结果用于输出。具体地，传统技术不能解决以下特征(1)以极低帧速率获取增强曝光。(2)创建电话所执行的高动态范围视频(即，来自低动态范围设备，例如蜂窝电话中的移动视频摄像机，或者摄像机电话)。(3)高效率地编码增强曝光。(4)以后向兼容的比特流存储增强曝光。(5)使用用于融合多次曝光的方法。具体地，使用用于融合色度数据并使用混合金字塔的方法。本发明通过开发一种不需要新图像传感器并且不需要提高传感器的帧速率的系统，来至少解决这些问题。
发明内容
公开了一种用于对视频序列进行解码的方法。该方法包括接收交织的帧序列， 所述交织的帧序列包括利用第一曝光配置捕获的多个低动态范围(LDR)参考帧以及利用第二曝光配置捕获的多个增强帧；将所述LDR参考帧和所述至少一个增强帧中的亮度通道与至少一个色度通道分离；对所述LDR参考帧和所述增强帧的所述亮度通道执行运动估计；对所述LDR参考帧和所述增强帧的所述亮度通道执行运动补偿，以将所述增强帧与所述LDR参考帧对准；在所述LDR参考帧之间进行插值，以针对捕获所述增强帧的时间创建插值后的LDR参考帧；在所述增强帧之间进行插值，以针对捕获所述LDR参考帧的时间创建翘曲增强帧；将时间权重值分配给所述增强帧；创建失配图，所述失配图用于标识所述增强帧与所述LDR参考帧未对准的位置；融合所述增强帧、所述翘曲增强帧、所述插值LDR参考帧以及所述LDR参考帧的亮度通道；融合所述增强帧、所述翘曲(wraped)增强帧、所述插值 LDR参考帧以及所述LDR参考帧的色度通道；对所述融合的亮度通道执行色调映射，以使通道值符合有效强度范围；以及将所述融合的、色调映射的亮度通道与所述融合的色度通道相组合，以产生重构序列。
公开了一种根据低动态范围(LDR)图像帧和多个增强帧产生增强动态范围(EDR) 图像帧的方法。该方法包括针对所述增强帧和所述LDR图像帧中的每一个，来计算拉普拉斯金字塔；计算与所述拉普拉斯金字塔相对应的混合金字塔，所述混合金字塔表示在金字塔混合过程中如何使用所述拉普拉斯金字塔中的像素；以及根据所述混合金字塔在所述拉普拉斯金字塔之间执行逐像素的最大化，从而创建混合的金字塔。公开了一种对来自低动态范围(LDR)图像帧和多个增强帧的色度通道进行融合的方法。所述方法包括针对所述增强帧中的每一个，来计算颜色融合图，其中，所述计算颜色融合图包括计算所述增强帧的平滑边界图，以及对所述平滑边界图进行归一化，使得所述平滑边界图中的较大平滑边界图具有值1 ；基于所述增强帧与所述LDR图像帧之间的失配程度，来调整所述归一化的平滑边界图的值；计算饱和度置信图，其中所述饱和度置信图中的值与所述饱和度置信图的相应亮度值和中色调值之间的差值相关；以及基于所述颜色融合图和所述饱和度置信图，对所述色度通道进行融合。公开了一种将较高动态范围(HDR)图像色调映射至较低动态范围(LDR)图像的方法。所述方法包括计算所述HDR图像的拉普拉斯金字塔；对所述拉普拉斯金字塔的最粗糙级别应用压缩图，从而创建压缩的金字塔；以及重构所述压缩的金字塔。公开了一种用于检测不同曝光图像之间的错误配准的方法。所述方法包括接收利用第一曝光配置捕获的第一图像；接收利用第二曝光配置捕获的第二图像；相对于所述第二图像对所述第一图像执行曝光补偿；针对所述第一图像和所述第二图像中的每一个计算拉普拉斯金字塔；计算所述第一图像中的像素与所述第二图像中的相同位置的像素之间的局部归一化相关；计算针对所述第一图像和所述第二图像的局部活动性；以及基于所述局部归一化相关和所述局部活动性，使用失配图来合并所述拉普拉斯金字塔的级别。公开了一种用于捕获和编码增强动态范围视频序列的方法。所述方法包括使用第一曝光配置，以实质上固定的间隔捕获多个低动态范围(LDR)参考帧；使用第二曝光配置捕获至少一个增强帧；以及编码所述LDR参考帧和所述至少一个增强帧，使得支持解码器将所述LDR参考帧解码成视频序列，而无需参考所述增强帧，以及使得支持解码器可以将所述LDR参考帧和所述至少一个增强帧解码成增强的视频序列。公开了一种用于捕获和编码增强动态范围视频序列的方法。所述方法包括使用第一曝光配置来捕获多个第一配置参考帧；产生对第一曝光配置参数加以标识的第一曝光配置元数据；使用第二曝光配置来捕获至少一个第二配置帧；产生对第二曝光配置参数加以标识的第二曝光配置元数据；对所述第一配置参考帧和所述至少一个第二配置帧执行曝光补偿，以校正所述第一曝光配置参数与所述第二曝光配置参数之间的差异，从而创建补偿的视频序列；对所述补偿视频序列进行编码；以及将所述补偿视频序列与所述第一曝光配置元数据和所述第二曝光配置元数据相关联。公开了一种对增强动态范围视频序列进行解码的方法。所述方法包括接收包括多个经补偿的第一配置参考帧和至少一个经补偿的第二配置帧在内的补偿视频序列，多个经补偿的第一配置参考帧和至少一个经补偿的第二配置帧与第一曝光配置元数据和第二曝光配置元数据相关联，第一曝光配置元数据与所述第一配置参考帧相关，第二曝光配置元数据与所述至少一个第二配置帧相关；对所述经补偿的第一配置参考帧和所述至少一个经补偿的第二配置帧进行解码，从而创建解码的补偿序列；以及对所述解码的补偿序列执行逆曝光补偿。公开了一种实现视频序列中的加权预测的方法。所述方法包括接收利用第一曝光配置捕获的第一视频帧；接收对第一曝光配置参数加以描述的第一视频帧曝光元数据； 基于所述第一视频针对曝光元数据，确定所述第一视频帧的第一亮度值；接收利用第二曝光配置捕获的第二视频帧；接收对第二曝光配置参数加以描述的第二视频帧曝光元数据； 基于所述第一视频帧曝光元数据，确定所述第二视频帧的第二亮度值；基于所述第一亮度值与所述第二亮度值之间的关系，来实现针对所述第一视频帧和所述第二视频帧的加权预测。公开了一种对视频序列进行解码的系统。所述系统包括接收机，接收交织的帧序列，所述交织的帧序列包括利用第一曝光配置捕获的多个低动态范围(LDR)参考帧以及利用第二曝光配置捕获的多个增强帧；分离器，将所述LDR参考帧和所述至少一个增强帧中的亮度通道与至少一个色度通道分离；运动估计器，对所述LDR参考帧和所述增强帧的所述亮度通道执行运动估计；运动补偿器，对所述LDR参考帧和所述增强帧的所述亮度通道执行运动补偿，以将所述增强帧与所述LDR参考帧对准；第一插值器，在所述LDR参考帧之间进行插值，以针对捕获所述增强帧的时间创建插值后的LDR参考帧；第二插值器，在所述增强帧之间进行插值，以针对捕获所述LDR参考帧的时间创建翘曲增强帧；时间权重分配器，将时间权重值分配给所述增强帧；失配标识器，用于标识所述增强帧与所述LDR参考帧未对准的位置；亮度融合器，融合所述增强帧、所述翘曲增强帧、所述插值LDR参考帧以及所述LDR参考帧的亮度通道；色度融合器，融合所述增强帧、所述翘曲增强帧、所述插值LDR 参考帧以及所述LDR参考帧的色度通道；色调映射器，对所述融合的亮度通道执行色调映射，以使通道值符合有效强度范围；以及组合器，将所述融合的、色调映射的亮度通道与所述融合的色度通道相组合，以产生重构序列。结合附图，考虑到本发明的以下详细描述将更容易理解本发明的上述和其他目的、特征和优点。
图1是示出参考帧和增强帧的示例序列的图；图2A是示出了示例配置阶段的图；图2B是示出了示例融合阶段的图；图3是示出了捕获的参考帧、插值后的参考帧、增强帧以及翘曲增强帧之间的关系的图；图4是示出了示例错误配准检测算法的图；图5是示例色调映射函数的图；图6是示出了示例传统(legacy)比特流的图；图7是示出了示例时间插值过程和关联的帧的图；图8是示出了示例预测结构的图；图9是示出了示例备选预测结构的图；图10是示出了具有曝光补偿的示例预测结构的图；图IlA是示出了典型视频捕获设备的图IlB是示出了具有元数据增强的示例视频捕获设备的图；图12是示出了具有曝光补偿的示例视频编码系统的图；图13A是示出了供示例配准阶段使用的系统的图；图13B是示出了供示例融合阶段使用的系统的图。
具体实施例方式参照附图来最佳地理解本发明的实施例，其中，贯穿附图类似的部分由类似的附图标记来指出。将以上列出的附图明确地并入，作为该详细描述的一部分。易于理解的是，可以通过各种不同配置来布置和设计此处在附图中大致描述和示意的本发明的组件。因此，以下本发明的方法、设备和系统的实施例的更详细描述并非意在限制本发明的范围，而是仅表示本发明当前优选实施例。可以以硬件、固件和/或软件的形式来实施本发明的实施例的元件。虽然在此揭示的示例性实施例可能仅描述了这些形式中的一种，但应理解本领域技术人员能够以这些形式中的任意形式来实现这些元件，同时仍保持在本发明的范围之内。本发明的实施例包括使用捕获设备来捕获增强动态范围视频的系统和方法，所述捕获设备可以包括低质量、低帧速率和/或低动态范围传感器。诸如LDR摄像机之类的捕获设备可以合并简单的控制器，这种简单的控制器用增强帧来代替小的自动曝光帧子集， 增强帧以不同方式曝光，以捕获在基本序列中饱和的信息。增强帧的时间分辨率可以相对较低(例如，大约1FPS)；可以通过控制器实时地确定增强帧的曝光，控制器可以基于自动曝光帧的饱和量来激活或去激活对增强帧的捕获。在一些实施例中，增强帧的低时间频率允许通过以下操作恢复具有可忽略的可见质量劣化的原始自动曝光序列通过丢弃增强帧并执行简单的时间插值或者其他过程，以填充丢失帧。同时，可以采用下文中描述的融合过程，来将自动曝光帧与增强数据进行融合，从而产生更丰富的增强动态范围(EDR)输出。这些系统和方法也可以通过在缺省自动曝光的同时捕获(手动，或经由自动过程)一个或多个增强帧，而容易地应用于静止图像。本发明的一些实施例解决了从低质量、低帧速率设备产生增强动态范围视频的任务。这些实施例与其他模型的不同之处在于，利用了与较低帧速率增强序列交织的基本参考序列。这些实施例可以输出类似于且具有不低于参考序列的质量的序列，而同时利用了增强帧所提供的附加信息。—些实施例的优点在于，当配准失败时中止融合并恢复到参考序列的能力。参考序列的存在也有助于保持时间亮度一致性，这在融合具有变化曝光的帧时会出现问题。一些实施例还可以包括如下文更加详细描述的鲁棒的配准过程以及可靠的对象运动检测器。在一些实施例中，物理精确度不是目的之一，并且融合过程的核心可以基于多尺度分解，这允许来自所有图像的细节的累加。一些实施例采用对由于帧之间的全局运动而出现的边界状态的新颖处理。标准金字塔结构算法典型地沿着图像边界采用简单边界处理技术(例如对称填充)；这些方法很难扩展至所定义的区域不是矩形的情况，并且在任何情况下，这些方法在应用于帧内部时会引起恼人的伪像。4. 3. 1节描述了一种用于计算包括非定义区域的图像的金字塔表示的方法。在本发明的一些实施例中，使用色调映射方法来对融合结果进行后处理。由于多传感器融合技术的输出通常引起扩展的动态范围，因此典型的融合方法线性地压缩结果， 以使该结果适合于LDR监视器。然而，该过程涉及减小结果的对比度。4. 4. 1节描述了一种以较小对比度损耗来压缩这种图像的范围的简单方法。本发明的一些实施例还可以包括一般错误配准检测器，目的在于当发生对象运动、配准误差或者其他现象时抑制融合。在4. 2节中讨论的运动检测器可以基于简单局部图像统计并不需要大量帧来操作。该运动检测器对于曝光改变是鲁棒的，并且可以在多个尺度上进行操作，以消除来自中等大小对象运动的现象，从而细化混叠伪像。2.算法概述本发明的实施例典型地接收自动曝光(LDR参考)帧(A-帧)50、54、56和60的序列形式的输入，自动曝光(LDR参考)帧(A-帧)5054、56和60的序列利用第一曝光配置捕获来捕获，并且周期性地由利用第二曝光配置捕获的不同方式曝光的增强帧(E帧)52和 58来代替；参见图1。图像序列可以是低分辨率且被压缩的，可能具有复杂的摄像机移动和对象运动。这些系统和方法典型地包括两个基本阶段配准和融合。配准阶段可以包括全局运动估计、图像翘曲和插值以及其他方法。配准阶段的目的在于将交织或复用的自动和增强曝光序列转换成配准帧集合序列，其中，每个帧集合对应于特定时间点，并且可以包括自动曝光帧以及一个或多个对准的增强帧。融合阶段执行融合过程，融合过程可以引起输出EDR序列。融合可以在每个时间点单独执行，并且可以包括失配检测器，失配检测器可以约束或排除包含了局部运动以及来自融合过程的其他配准误差的区域。在图2A和2B中概括了算法的两个阶段。图2A概括了预处理和配准阶段，图2B 概括了融合阶段。在一些实施例中，该系统被设计为，使得这些部分中的每个部分是独立的。上述的关键优点在于每个部分可以单独进行修改和细化调节，具体地，可以利用另一技术来代替例如本申请中描述的运动估计技术。这样的改变仅在更精确估计过程产生较少错误配准的程度上影响系统，并因此获得更多细节。配准阶段(图2A)可以从如图1所示的相关A和E帧序列开始。至少一个A帧可以具有与至少一个色度通道分离的亮度通道。可以将帧转换至亮度-色度颜色空间，以允许强度和颜色的分离处理；在一些实施例中，LW颜色空间产生良好结果。在一些实施例中，然后，通过将每个A帧与其两个周围E帧对准来对每个A帧和E帧的亮度通道执行运动估计。运动估计可以用于将两个E帧翘曲至A帧的坐标系统，这产生了三个帧的帧集合。并行地，运动估计可以用于填充丢失的自动曝光，减少丢失的自动曝光有利于E帧。这种填充过程可以通过对每个丢失帧(每个丢失帧来自其两个周围A帧和捕获的E帧)进行时间插值来实现。第一阶段获得一系列帧集合，每个时间点一个帧集合(见图幻。每个帧集合可以包括捕获的自动曝光帧或者插值的自动曝光帧，以及一个或多个对准的增强帧。本发明将这些帧集合中的自动曝光帧(捕获的和插值的自动曝光帧)称作参考帧，这是因为这些自动曝光帧是在没有应用融合时成为用于显示的缺省帧的帧。术语“增强帧”用于指代捕获的 E帧及其翘曲版本。在图3中，具有实线轮廓的空白帧30-33表示捕获的参考帧，而具有虚线轮廓的空白帧34-35表示由插值创建的参考帧。阴影帧36和37表示捕获的增强帧，浅阴影帧38-41表示翘曲增强帧。每个垂直帧列(例如，4 表示针对单个时间点的帧集合。图2B所示的算法实施例的示例融合阶段目的在于，以时间一致方式将每个帧集合到单个EDR帧。该算法开始于单个参考帧以及一个或多个对准的增强帧，并且注意到，由于全局运动，每个增强帧可以仅覆盖参考帧的一部分。在一些实施例中，融合过程开始于将 0与1之间的权重值分配给每个增强帧。这些权重值反映了对应的增强帧与参考帧之间的时间距离。这些权重后续在算法的各个部分中使用，以便于时间一致性。在一些实施例中， 然后将帧馈送至错误配准检测器，错误配准检测器比较这些帧，并且标识这些帧匹配不充分的位置。这样区域被标记为失配，并且可以从融合中排除或者以不同方式进行处理。在给定失配图的情况下，进行融合过程的核心过程。在示例实施例中，可以使用带通拉普拉斯金字塔分解(累加所有尺度(scale)中的信息)对亮度通道进行融合。可以使用更简单的基于单尺度置信度的方法来融合需要较低精确度的颜色通道。在一些情况下， 融合的亮度值通常延伸到强度的有效范围之外，这可以使用简单强度压缩技术来解决。可以重新组合最后的亮度(融合的、色调映射的亮度通道)和颜色通道(融合的色度通道)， 以产生重构序列，并且转换至用于显示的RGB。3.配准阶段3. 1运动估计在示例实施例中，在帧之间可以使用简单2D投影全局运动模型。由于帧对准必须高度精确，以免引入双边缘和其他伪像，并且在曝光变化的情况下也必须是稳定的，因此可以使用二阶段技术。第一阶段是基于特征的对准，提供对曝光改变的鲁棒性以及适度噪声。 第二阶段是迭代细化方法，使用第一阶段的输出作为初始化，并且传递融合过程所需的精度。为了降低计算复杂度，可以在运动估计之前调整较大帧的大小。在一些实施例中，可以仅在相关序列中的连续帧之间执行全局运动估计。这提高了过程的稳定性，这是因为2D投影运动模型对于较小的摄像机移动更精确。一旦这些估计对于所有对可用，可以通过累加序列中任意两个帧之间的连续运动(近似地)来对准两个帧。3. 1. 1基于特征的运动估计在给定两个(可能是不同方式曝光的)帧的情况下，基于特征的运动检测器可以使用SIFT特征匹配，来产生两个帧之间的密集点对应。由于当帧具有较低质量时(由于是针对低成本传感器的情况)该对应可以具有大量异常值，因此RANSAC异常值抑制可以用于标识正常值(inlier)匹配集合。可以使用最大似然估计过程，根据正常值集合来估计2D 投影运动。3. 1.2迭代运动细化在示例实施例中，可以使用迭代多尺度Lucas-Kanade类型方法来细化由基于特征的过程提供的所提出的运动估计。该方法尝试使用一阶近似(线性化罚函数并通向迭代求解器)最小化两个图像之间的逐点误差,丨L - :1 ^。可以采用粗至精细化来加速过程并且适应较大运动。由于这种方法基于逐点误差，因此可以在使用该方法来对准不同方式曝光的图像时应用曝光补偿。可以使用简单直方图规范来完成该任务，将增强帧的直方图与参考帧的直方图相匹配。在一些实施例中，可以假定更一般的运动模型，例如，分级2D单应 (homography)模型。这对于方法的性能是有利的。3. 2运动补偿
一旦确定了运动估计，可以使用翘曲来对准增强和自动曝光帧，并且创建要融合的帧集合。这可以通过对自动曝光帧和增强帧的亮度通道执行运动补偿来实现。在示例实施例中，可以使用平衡复杂度和质量的双三次插值。已经发现更简单的双线性插值来产生较差的结果。翘曲结果中未定义的像素可以使用未定义的数字来标记。3.3自动曝光插值只要捕获到E帧，就会损失该时间点处的自动曝光帧。为了补偿这一点，使用该帧的两个相邻A帧以及捕获的E帧来对该帧进行插值，以产生插值后的LDR参考帧。类似地， 只要捕获到A帧，就可以在增强帧之间执行插值，以创建翘曲增强帧。3. 3. 1 方法示例插值方法相对简单。首先，使用已知的运动估计来将两个相邻A帧翘曲至当前坐标系统。然后对翘曲帧进行平均。按照原状拷贝仅由A帧之一覆盖的像素。最后，在一些实施例中，如果任何像素保持未定义(那些没有被任何A帧覆盖的像素)，则在如下所述对该帧应用曝光补偿之后，使用增强帧来填充这些像素。彩色图像的曝光补偿一些实施例可以包括曝光补偿。在给定两个不同方式曝光的图像的情况下，曝光补偿(当涉及强度图像时也被称作辐射度对准)的目的在于，修改图像之一的值，使得模拟另一图像的曝光条件。在涉及强度图像的一些实施例中，可以经由直方图规范来进行曝光补偿，S卩，对图像之一的强度应用单调函数，使得该图像的直方图类似于另一图像的直方图。当涉及彩色图像时，上述过程可以用于校准两个图像的亮度通道。关于颜色，理论上这些通道在两个图像中是等同的；然而，实际上，由于有限传感器灵敏度、量化效应以及 RGB立方体的限制的组合并不是这种情况。在一些实施例中，因此如下应用颜色校正。在一些实施例中，可以使用仿射模型对与两个图像有关的颜色变换进行建模，(U1, V1)1 ^ A · (u0, v0)T-b (1)其中，(u0, V0)和(Ul，Vl)分别是源图像和目标图像中的颜色值，A e R2x2, b e R2。 注意到，该模型是启发式的且在物理上并不精确，然而，实际上，该模型提供了良好的结果。 可以经由线性回归来估计仿射模型的参数。假定对两个帧进行粗对准，将每一对相应像素视为回归过程的样本，并且执行对模型参数具有异常值抑制的鲁棒估计。在一些实施例中， 可以通过限制用于估计的样本数目来降低复杂度。4.融合阶段在一些实施例中，融合过程接受单个帧集合(包括参考帧以及一个或多个增强帧)作为输入，并且输出融合的EDR帧。融合方法还采用集合中帧的索引作为输入，以允许建立帧之间的时间距离。现在描述融合过程的各个步骤。4. 1时间加权融合过程开始于向帧集合中的每个增强帧分配范围
的时间权重值。可以通过增强帧与参考帧时间距离来确定增强帧的权重，并且稍后在算法的各个部分中使用该权重，以便于时间一致性。在一些实施例中，可以根据以下规则来分配权重。当帧集合包括仅一个增强帧时， 始终向该帧分配权重1。当帧集合包括两个增强帧时，向最近的增强帧分配权重1，而向较远的增强帧分配较小权重，该权重和增强帧与参考帧的时间距离成线性。为了定型上述，通过ki; 1 表示集合中三个帧的索引，其中，“是六帧的索引，ki; 1 是E帧的索引(相应地)，并且Ic1 < I1 < 现在较远帧的权重由以下公式给出
权利要求
1.一种用于对视频序列进行解码的方法，所述方法包括a)接收交织的帧序列，所述交织的帧序列包括利用第一曝光配置捕获的多个低动态范围(LDR)参考帧以及利用第二曝光配置捕获的多个增强帧；b)将所述LDR参考帧和所述至少一个增强帧中的亮度通道与至少一个色度通道分离；c)对所述LDR参考帧和所述增强帧的所述亮度通道执行运动估计；d)对所述LDR参考帧和所述增强帧的所述亮度通道执行运动补偿，以将所述增强帧与所述LDR参考帧对准；e)在所述LDR参考帧之间进行插值，以针对捕获到所述增强帧的时间，创建插值LDR参考帧；f)在所述增强帧之间进行插值，以针对捕获到所述LDR参考帧的时间，创建翘曲增强帧；g)将时间权重值分配给所述增强帧；h)创建失配图，所述失配图标识所述增强帧与所述LDR参考帧未对准的位置；i)融合所述增强帧、所述翘曲增强帧、所述插值LDR参考帧以及所述LDR参考帧的亮度通道；j)融合所述增强帧、所述翘曲增强帧、所述插值LDR参考帧以及所述LDR参考帧的色度通道；k)对所述融合的亮度通道执行色调映射，以使通道值符合有效强度范围；以及 1)将所述融合的、色调映射的亮度通道与所述融合的色度通道相组合，以产生重构序列。
2.根据权利要求1所述的方法，其中，所述融合所述增强帧的亮度通道包括计算所述增强帧的自适应拉普拉斯金字塔。
3.根据权利要求1所述的方法，其中，所述融合所述增强帧的亮度通道包括使用逐像素最大化来合并所述自适应拉普拉斯金字塔。
4.一种根据低动态范围(LDR)图像帧和多个增强帧产生增强动态范围(EDR)图像帧的方法，所述方法包括a)针对所述增强帧和所述LDR图像帧中的每一个，来计算拉普拉斯金字塔；b)计算与所述拉普拉斯金字塔相对应的混合金字塔，所述混合金字塔表示在金字塔混合过程中将如何使用所述拉普拉斯金字塔中的像素；以及c)根据所述混合金字塔在所述拉普拉斯金字塔之间执行逐像素的最大化，从而创建混合的金字塔。
5.根据权利要求4所述的方法，其中，所述混合金字塔包括在所述执行期间对所述拉普拉斯金字塔中像素的相对贡献加以定义的加权因子。
6.根据权利要求4所述的方法，还包括将时间权重值分配给所述拉普拉斯金字塔。
7.根据权利要求4所述的方法，还包括对所述混合金字塔执行二值阈值化操作。
8.根据权利要求4所述的方法，还包括对所述混合金字塔执行平滑操作。
9.一种对来自低动态范围(LDR)图像帧和多个增强帧的色度通道进行融合的方法，所述方法包括a)针对所述增强帧中的每一个，来计算颜色融合图，其中，所述计算颜色融合图包括i)计算所述增强帧的平滑边界图，以及ii)对所述平滑边界图进行归一化，使得所述平滑边界图中的较大平滑边界图具有值 iii)基于所述增强帧与所述LDR图像帧之间的失配程度，来调整所述归一化的平滑边界图的值；b)计算饱和度置信图，其中所述饱和度置信图中的值与所述饱和度置信图的相应亮度值和中色调值之间的差值相关；以及c)基于所述颜色融合图和所述饱和度置信图，对所述色度通道进行融合。
10.一种将较高动态范围(HDR)图像色调映射至较低动态范围(LDR)图像的方法，所述方法包括a)计算所述HDR图像的拉普拉斯金字塔；b)对所述拉普拉斯金字塔的最粗糙级别应用压缩图，从而创建压缩的金字塔；以及c)重构所述压缩的金字塔。
11.一种用于检测不同曝光图像之间的错误配准的方法，所述方法包括a)接收利用第一曝光配置捕获到的第一图像；b)接收利用第二曝光配置捕获到的第二图像；c)相对于所述第二图像对所述第一图像执行曝光补偿；d)针对所述第一图像和所述第二图像中的每一个计算拉普拉斯金字塔；e)计算所述第一图像中的像素与所述第二图像中的相同位置的像素之间的局部归一化相关；f)计算所述第一图像和所述第二图像的局部活动性；以及g)基于所述局部归一化相关和所述局部活动性，使用失配图来合并所述拉普拉斯金字塔的级别。
12.一种用于捕获和编码增强动态范围视频序列的方法，所述方法包括a)使用第一曝光配置，以实质上固定间隔捕获多个低动态范围(LDR)参考帧；b)使用第二曝光配置捕获至少一个增强帧；以及c)对所述LDR参考帧和所述至少一个增强帧进行编码，使得支持解码器能够将所述 LDR参考帧解码成视频序列，而无需参考所述增强帧，以及使得支持解码器能够将所述LDR 参考帧和所述至少一个增强帧解码成增强的视频序列。
13.根据权利要求12所述的方法，所述支持解码器在所述增强帧出现的时刻在所述 LDR参考帧之间添加跳过帧。
14.一种用于捕获和编码增强动态范围视频序列的方法，所述方法包括a)使用第一曝光配置来捕获多个第一配置参考帧；b)产生对第一曝光配置参数加以标识的第一曝光配置元数据；c)使用第二曝光配置来捕获至少一个第二配置帧；d)产生对第二曝光配置参数加以标识的第二曝光配置元数据；e)对所述第一配置参考帧和所述至少一个第二配置帧执行曝光补偿，以校正所述第一曝光配置参数与所述第二曝光配置参数之间的差异，从而创建补偿的视频序列；f)对所述补偿视频序列进行编码；以及g)将所述补偿视频序列与所述第一曝光配置元数据和所述第二曝光配置元数据相关联。
15.一种对增强动态范围视频序列进行解码的方法，所述方法包括a)接收包括多个经补偿的第一配置参考帧和至少一个经补偿的第二配置帧在内的补偿视频序列，多个经补偿的第一配置参考帧和至少一个经补偿的第二配置帧与第一曝光配置元数据和第二曝光配置元数据相关联，其中第一曝光配置元数据与所述第一配置参考帧相关，第二曝光配置元数据与所述至少一个第二配置帧相关；b)对所述经补偿的第一配置参考帧和所述至少一个经补偿的第二配置帧进行解码，从而创建解码的补偿序列；以及c)对所述解码的补偿序列执行逆曝光补偿。
16.一种实现视频序列中的加权预测的方法，所述方法包括a)接收利用第一曝光配置捕获到的第一视频帧；b)接收对第一曝光配置参数加以描述的第一视频帧曝光元数据；c)基于所述第一视频帧曝光元数据，确定所述第一视频帧的第一亮度值；d)接收利用第二曝光配置捕获到的第二视频帧；e)接收对第二曝光配置参数加以描述的第二视频帧曝光元数据；f)基于所述第一视频帧曝光元数据，确定所述第二视频帧的第二亮度值；g)基于所述第一亮度值与所述第二亮度值之间的关系，来实现针对所述第一视频帧和所述第二视频帧的加权预测。
17.—种对视频序列进行解码的系统，所述系统包括(a)接收机，接收交织的帧序列，所述交织的帧序列包括利用第一曝光配置捕获的多个低动态范围(LDR)参考帧以及利用第二曝光配置捕获的多个增强帧；(b)分离器，将所述LDR参考帧和所述至少一个增强帧中的亮度通道与至少一个色度通道分离；(c)运动估计器，对所述LDR参考帧和所述增强帧的所述亮度通道执行运动估计；(d)运动补偿器，对所述LDR参考帧和所述增强帧的所述亮度通道执行运动补偿，以将所述增强帧与所述LDR参考帧对准；(e)第一插值器，在所述LDR参考帧之间进行插值，以针对捕获到所述增强帧的时间， 创建插值LDR参考帧；(f)第二插值器，在所述增强帧之间进行插值，以针对捕获到所述LDR参考帧的时间， 创建翘曲增强帧；(g)时间权重分配器，将时间权重值分配给所述增强帧；(h)失配标识器，用于标识所述增强帧与所述LDR参考帧未对准的位置；(i)亮度融合器，融合所述增强帧、所述翘曲增强帧、所述插值LDR参考帧以及所述LDR 参考帧的亮度通道；(j)色度融合器，融合所述增强帧、所述翘曲增强帧、所述插值LDR参考帧以及所述LDR 参考帧的色度通道；(k)色调映射器，对所述融合的亮度通道执行色调映射，以使通道值符合有效强度范围；以及(1)组合器，将所述融合的、色调映射的亮度通道与所述融合的色度通道相组合，以产生重构序列。
全文摘要
本发明的方面涉及用于视频编码和解码的系统和方法。一些方面涉及基于在第一曝光配置下捕获的一系列低动态范围(LDR)帧来编码和解码增强的动态范围序列，所述一系列低动态范围(LDR)帧与在第二曝光配置下捕获的一系列增强帧相乘。
文档编号H04N7/18GK102282838SQ20108000465
公开日2011年12月14日 申请日期2010年1月19日 优先权日2009年1月19日
发明者克里斯托弗·A·塞格尔, 容·鲁宾斯坦, 赵杰 申请人:夏普株式会社