针对多次曝光的增强动态范围图像和视频的方法和系统的制作方法
【专利摘要】本发明的方面涉及用于视频编码和解码的系统和方法。一些方面涉及基于在第一曝光配置下捕获的一系列低动态范围(LDR)帧来编码和解码增强的动态范围序列，所述一系列低动态范围(LDR)帧与在第二曝光配置下捕获的一系列增强帧相乘。
【专利说明】针对多次曝光的增强动态范围图像和视频的方法和系统
[0001] 本申请是申请号为201080004654. 1 ( "针对多次曝光的增强动态范围图像和视频 的方法和系统"）的中国专利申请的分案申请。
【技术领域】
[0002] 本发明的一些实施例包括利用传感器捕获增强动态范围图像和视频的方法和系 统，所述传感器不能够利用单次图像捕获来捕获增强动态范围。一些实施例还涉及视频序 列的编码和解码。
【背景技术】
[0003] 本发明利用（i)当前传感器技术和（ii)功率受限成像平台（例如，摄像机电话） 解决了捕获商（或较商）动态范围视频的问题。
[0004] 当前，针对当今环境没有很好地解决高动态范围获取的问题。先前的工作合并了 较高动态范围图像传感器或者使用标准动态范围图像传感器，来获取多次曝光然后融合结 果用于输出。
[0005] 具体地，传统技术不能解决以下特征：
[0006] (1)以极低帧速率获取增强曝光。
[0007] (2)创建电话所执行的高动态范围视频（S卩，来自低动态范围设备，例如蜂窝电话 中的移动视频摄像机，或者摄像机电话）。
[0008] (3)高效率地编码增强曝光。
[0009] (4)以后向兼容的比特流存储增强曝光。
[0010] (5)使用用于融合多次曝光的方法。具体地，使用用于融合色度数据并使用混合金 字塔的方法。
[0011] 本发明通过开发一种不需要新图像传感器并且不需要提高传感器的帧速率的系 统，来至少解决这些问题。
【发明内容】
[0012] 公开了一种用于对视频序列进行解码的方法。该方法包括：接收交织的帧序列， 所述交织的帧序列包括利用第一曝光配置捕获的多个低动态范围（LDR)参考帧以及利用 第二曝光配置捕获的多个增强帧；将所述LDR参考帧和所述至少一个增强帧中的亮度通 道与至少一个色度通道分离；对所述LDR参考帧和所述增强帧的所述亮度通道执行运动估 计；对所述LDR参考帧和所述增强帧的所述亮度通道执行运动补偿，以将所述增强帧与所 述LDR参考帧对准；在所述LDR参考帧之间进行插值，以针对捕获所述增强帧的时间创建插 值后的LDR参考帧；在所述增强帧之间进行插值，以针对捕获所述LDR参考帧的时间创建翘 曲增强帧；将时间权重值分配给所述增强帧；创建失配图，所述失配图用于标识所述增强 帧与所述LDR参考帧未对准的位置；融合所述增强帧、所述翘曲增强帧、所述插值LDR参考 帧以及所述LDR参考帧的亮度通道；融合所述增强帧、所述翘曲（wraped)增强帧、所述插值 LDR参考帧以及所述LDR参考帧的色度通道；对所述融合的亮度通道执行色调映射，以使通 道值符合有效强度范围；以及将所述融合的、色调映射的亮度通道与所述融合的色度通道 相组合，以产生重构序列。
[0013] 公开了一种根据低动态范围（LDR)图像帧和多个增强帧产生增强动态范围（EDR) 图像帧的方法。该方法包括：针对所述增强帧和所述LDR图像帧中的每一个，来计算拉普拉 斯金字塔；计算与所述拉普拉斯金字塔相对应的混合金字塔，所述混合金字塔表示在金字 塔混合过程中如何使用所述拉普拉斯金字塔中的像素；以及根据所述混合金字塔在所述拉 普拉斯金字塔之间执行逐像素的最大化，从而创建混合的金字塔。
[0014] 公开了一种对来自低动态范围（LDR)图像帧和多个增强帧的色度通道进行融合 的方法。所述方法包括：针对所述增强帧中的每一个，来计算颜色融合图，其中，所述计算颜 色融合图包括计算所述增强帧的平滑边界图，以及对所述平滑边界图进行归一化，使得所 述平滑边界图中的较大平滑边界图具有值1 ;基于所述增强帧与所述LDR图像帧之间的失 配程度，来调整所述归一化的平滑边界图的值；计算饱和度置信图，其中所述饱和度置信图 中的值与所述饱和度置信图的相应亮度值和中色调值之间的差值相关；以及基于所述颜色 融合图和所述饱和度置信图，对所述色度通道进行融合。
[0015] 公开了一种将较高动态范围（HDR)图像色调映射至较低动态范围（LDR)图像的方 法。所述方法包括：计算所述HDR图像的拉普拉斯金字塔；对所述拉普拉斯金字塔的最粗糙 级别应用压缩图，从而创建压缩的金字塔；以及重构所述压缩的金字塔。
[0016] 公开了一种用于检测不同曝光图像之间的错误配准的方法。所述方法包括：接收 利用第一曝光配置捕获的第一图像；接收利用第二曝光配置捕获的第二图像；相对于所述 第二图像对所述第一图像执行曝光补偿；针对所述第一图像和所述第二图像中的每一个计 算拉普拉斯金字塔；计算所述第一图像中的像素与所述第二图像中的相同位置的像素之间 的局部归一化相关；计算针对所述第一图像和所述第二图像的局部活动性；以及基于所述 局部归一化相关和所述局部活动性，使用失配图来合并所述拉普拉斯金字塔的级别。
[0017] 公开了一种用于捕获和编码增强动态范围视频序列的方法。所述方法包括：使用 第一曝光配置，以实质上固定的间隔捕获多个低动态范围（LDR)参考巾贞；使用第二曝光配 置捕获至少一个增强帧；以及编码所述LDR参考帧和所述至少一个增强帧，使得支持解码 器将所述LDR参考帧解码成视频序列，而无需参考所述增强帧，以及使得支持解码器可以 将所述LDR参考帧和所述至少一个增强帧解码成增强的视频序列。
[0018] 公开了一种用于捕获和编码增强动态范围视频序列的方法。所述方法包括：使用 第一曝光配置来捕获多个第一配置参考巾贞；产生对第一曝光配置参数加以标识的第一曝光 配置元数据；使用第二曝光配置来捕获至少一个第二配置帧；产生对第二曝光配置参数加 以标识的第二曝光配置元数据；对所述第一配置参考帧和所述至少一个第二配置帧执行曝 光补偿，以校正所述第一曝光配置参数与所述第二曝光配置参数之间的差异，从而创建补 偿的视频序列；对所述补偿视频序列进行编码；以及将所述补偿视频序列与所述第一曝光 配置元数据和所述第二曝光配置元数据相关联。
[0019] 公开了一种对增强动态范围视频序列进行解码的方法。所述方法包括：接收包括 多个经补偿的第一配置参考帧和至少一个经补偿的第二配置帧在内的补偿视频序列，多个 经补偿的第一配置参考帧和至少一个经补偿的第二配置帧与第一曝光配置元数据和第二 曝光配置元数据相关联，第一曝光配置元数据与所述第一配置参考帧相关，第二曝光配置 元数据与所述至少一个第二配置帧相关；对所述经补偿的第一配置参考帧和所述至少一个 经补偿的第二配置帧进行解码，从而创建解码的补偿序列；以及对所述解码的补偿序列执 行逆曝光补偿。
[0020] 公开了一种实现视频序列中的加权预测的方法。所述方法包括：接收利用第一曝 光配置捕获的第一视频帧；接收对第一曝光配置参数加以描述的第一视频帧曝光元数据； 基于所述第一视频针对曝光元数据，确定所述第一视频帧的第一亮度值；接收利用第二曝 光配置捕获的第二视频帧；接收对第二曝光配置参数加以描述的第二视频帧曝光元数据； 基于所述第一视频帧曝光元数据，确定所述第二视频帧的第二亮度值；基于所述第一亮度 值与所述第二亮度值之间的关系，来实现针对所述第一视频帧和所述第二视频帧的加权预 测。
[0021] 公开了一种对视频序列进行解码的系统。所述系统包括：接收机，接收交织的帧序 列，所述交织的帧序列包括利用第一曝光配置捕获的多个低动态范围（LDR)参考帧以及利 用第二曝光配置捕获的多个增强帧；分离器，将所述LDR参考帧和所述至少一个增强帧中 的亮度通道与至少一个色度通道分离；运动估计器，对所述LDR参考帧和所述增强帧的所 述亮度通道执行运动估计；运动补偿器，对所述LDR参考帧和所述增强帧的所述亮度通道 执行运动补偿，以将所述增强帧与所述LDR参考帧对准；第一插值器，在所述LDR参考帧之 间进行插值，以针对捕获所述增强帧的时间创建插值后的LDR参考帧；第二插值器，在所述 增强帧之间进行插值，以针对捕获所述LDR参考帧的时间创建翘曲增强帧；时间权重分配 器，将时间权重值分配给所述增强帧；失配标识器，用于标识所述增强帧与所述LDR参考帧 未对准的位置；亮度融合器，融合所述增强帧、所述翘曲增强帧、所述插值LDR参考帧以及 所述LDR参考帧的亮度通道；色度融合器，融合所述增强帧、所述翘曲增强帧、所述插值LDR 参考帧以及所述LDR参考帧的色度通道；色调映射器，对所述融合的亮度通道执行色调映 射，以使通道值符合有效强度范围；以及组合器，将所述融合的、色调映射的亮度通道与所 述融合的色度通道相组合，以产生重构序列。
[0022] 结合附图，考虑到本发明的以下详细描述将更容易理解本发明的上述和其他目 的、特征和优点。
【专利附图】
【附图说明】
[0023] 图1是示出参考帧和增强帧的示例序列的图；
[0024] 图2A是示出了示例配置阶段的图；
[0025] 图2B是示出了示例融合阶段的图；
[0026] 图3是示出了捕获的参考帧、插值后的参考帧、增强帧以及翘曲增强帧之间的关 系的图；
[0027] 图4是示出了示例错误配准检测算法的图；
[0028] 图5是示例色调映射函数的图；
[0029] 图6是示出了示例传统（legacy)比特流的图；
[0030] 图7是示出了示例时间插值过程和关联的帧的图；
[0031] 图8是示出了示例预测结构的图；
[0032] 图9是示出了示例备选预测结构的图；
[0033] 图10是示出了具有曝光补偿的示例预测结构的图；
[0034] 图11A是示出了典型视频捕获设备的图；
[0035] 图11B是示出了具有元数据增强的示例视频捕获设备的图；
[0036] 图12是示出了具有曝光补偿的示例视频编码系统的图；
[0037] 图13A是示出了供示例配准阶段使用的系统的图；
[0038] 图13B是示出了供示例融合阶段使用的系统的图。
【具体实施方式】
[0039] 参照附图来最佳地理解本发明的实施例，其中，贯穿附图类似的部分由类似的附 图标记来指出。将以上列出的附图明确地并入，作为该详细描述的一部分。
[0040] 易于理解的是，可以通过各种不同配置来布置和设计此处在附图中大致描述和示 意的本发明的组件。因此，以下本发明的方法、设备和系统的实施例的更详细描述并非意在 限制本发明的范围，而是仅表示本发明当前优选实施例。
[0041] 可以以硬件、固件和/或软件的形式来实施本发明的实施例的元件。虽然在此揭 示的示例性实施例可能仅描述了这些形式中的一种，但应理解本领域技术人员能够以这些 形式中的任意形式来实现这些元件，同时仍保持在本发明的范围之内。
[0042] 本发明的实施例包括使用捕获设备来捕获增强动态范围视频的系统和方法，所述 捕获设备可以包括低质量、低帧速率和/或低动态范围传感器。诸如LDR摄像机之类的捕 获设备可以合并简单的控制器，这种简单的控制器用增强帧来代替小的自动曝光帧子集， 增强帧以不同方式曝光，以捕获在基本序列中饱和的信息。增强帧的时间分辨率可以相对 较低（例如，大约1FPS);可以通过控制器实时地确定增强帧的曝光，控制器可以基于自动 曝光帧的饱和量来激活或去激活对增强帧的捕获。
[0043] 在一些实施例中，增强帧的低时间频率允许通过以下操作恢复具有可忽略的可见 质量劣化的原始自动曝光序列：通过丢弃增强帧并执行简单的时间插值或者其他过程，以 填充丢失帧。同时，可以采用下文中描述的融合过程，来将自动曝光帧与增强数据进行融 合，从而产生更丰富的增强动态范围（EDR)输出。这些系统和方法也可以通过在缺省自动 曝光的同时捕获（手动，或经由自动过程）一个或多个增强帧，而容易地应用于静止图像。
[0044] 本发明的一些实施例解决了从低质量、低帧速率设备产生增强动态范围视频的任 务。这些实施例与其他模型的不同之处在于，利用了与较低帧速率增强序列交织的基本参 考序列。这些实施例可以输出类似于且具有不低于参考序列的质量的序列，而同时利用了 增强帧所提供的附加信息。
[0045] -些实施例的优点在于，当配准失败时中止融合并恢复到参考序列的能力。参考 序列的存在也有助于保持时间亮度一致性，这在融合具有变化曝光的帧时会出现问题。一 些实施例还可以包括如下文更加详细描述的鲁棒的配准过程以及可靠的对象运动检测器。
[0046] 在一些实施例中，物理精确度不是目的之一，并且融合过程的核心可以基于多尺 度分解，这允许来自所有图像的细节的累加。一些实施例采用对由于帧之间的全局运动而 出现的边界状态的新颖处理。标准金字塔结构算法典型地沿着图像边界采用简单边界处理 技术（例如对称填充）；这些方法很难扩展至所定义的区域不是矩形的情况，并且在任何情 况下，这些方法在应用于帧内部时会引起恼人的伪像。4. 3. 1节描述了一种用于计算包括非 定义区域的图像的金字塔表示的方法。
[0047] 在本发明的一些实施例中，使用色调映射方法来对融合结果进行后处理。由于多 传感器融合技术的输出通常引起扩展的动态范围，因此典型的融合方法线性地压缩结果， 以使该结果适合于LDR监视器。然而，该过程涉及减小结果的对比度。4.4. 1节描述了一种 以较小对比度损耗来压缩这种图像的范围的简单方法。
[0048] 本发明的一些实施例还可以包括一般错误配准检测器，目的在于当发生对象运 动、配准误差或者其他现象时抑制融合。在4. 2节中讨论的运动检测器可以基于简单局部 图像统计并不需要大量帧来操作。该运动检测器对于曝光改变是鲁棒的，并且可以在多个 尺度上进行操作，以消除来自中等大小对象运动的现象，从而细化混叠伪像。
[0049] 2.算法概述
[0050] 本发明的实施例典型地接收自动曝光（〇)1?参考）帧仏-帧）50、54、56和60的序 列形式的输入，自动曝光（LDR参考）巾贞（A-巾贞）50、54、56和60的序列利用第一曝光配置 捕获来捕获，并且周期性地由利用第二曝光配置捕获的不同方式曝光的增强帧（E帧）52和 58来代替；参见图1。图像序列可以是低分辨率且被压缩的，可能具有复杂的摄像机移动和 对象运动。这些系统和方法典型地包括两个基本阶段：配准和融合。配准阶段可以包括全 局运动估计、图像翘曲和插值以及其他方法。配准阶段的目的在于将交织或复用的自动和 增强曝光序列转换成配准帧集合序列，其中，每个帧集合对应于特定时间点，并且可以包括 自动曝光帧以及一个或多个对准的增强帧。融合阶段执行融合过程，融合过程可以引起输 出EDR序列。融合可以在每个时间点单独执行，并且可以包括失配检测器，失配检测器可以 约束或排除包含了局部运动以及来自融合过程的其他配准误差的区域。
[0051] 在图2A和2B中概括了算法的两个阶段。图2A概括了预处理和配准阶段，图2B 概括了融合阶段。在一些实施例中，该系统被设计为，使得这些部分中的每个部分是独立 的。上述的关键优点在于每个部分可以单独进行修改和细化调节，具体地，可以利用另一技 术来代替例如本申请中描述的运动估计技术。这样的改变仅在更精确估计过程产生较少错 误配准的程度上影响系统，并因此获得更多细节。
[0052] 配准阶段（图2A)可以从如图1所示的相关A和E帧序列开始。至少一个A帧可 以具有与至少一个色度通道分离的亮度通道。可以将帧转换至亮度-色度颜色空间，以允 许强度和颜色的分离处理；在一些实施例中，L*a*b*颜色空间产生良好结果。在一些实施 例中，然后，通过将每个A帧与其两个周围E帧对准来对每个A帧和E帧的亮度通道执行运 动估计。运动估计可以用于将两个E帧翘曲至A帧的坐标系统，这产生了三个帧的帧集合。 并行地，运动估计可以用于填充丢失的自动曝光，减少丢失的自动曝光有利于E帧。这种填 充过程可以通过对每个丢失帧（每个丢失帧来自其两个周围A帧和捕获的E帧）进行时间 插值来实现。
[0053] 第一阶段获得一系列帧集合，每个时间点一个帧集合（见图3)。每个帧集合可以 包括捕获的自动曝光帧或者插值的自动曝光帧，以及一个或多个对准的增强帧。本发明将 这些帧集合中的自动曝光帧（捕获的和插值的自动曝光帧）称作参考帧，这是因为这些自 动曝光帧是在没有应用融合时成为用于显示的缺省帧的帧。术语"增强帧"用于指代捕获的 E帧及其翘曲版本。在图3中，具有实线轮廓的空白帧30-33表示捕获的参考帧，而具有虚 线轮廓的空白帧34-35表示由插值创建的参考帧。阴影帧36和37表示捕获的增强帧，浅 阴影帧38-41表示翘曲增强帧。每个垂直帧列（例如，42)表示针对单个时间点的帧集合。
[0054] 图2B所示的算法实施例的示例融合阶段目的在于，以时间一致方式将每个帧集 合到单个EDR帧。该算法开始于单个参考帧以及一个或多个对准的增强帧，并且注意到，由 于全局运动，每个增强帧可以仅覆盖参考帧的一部分。在一些实施例中，融合过程开始于将 〇与1之间的权重值分配给每个增强帧。这些权重值反映了对应的增强帧与参考帧之间的 时间距离。这些权重后续在算法的各个部分中使用，以便于时间一致性。在一些实施例中， 然后将帧馈送至错误配准检测器，错误配准检测器比较这些帧，并且标识这些帧匹配不充 分的位置。这样区域被标记为失配，并且可以从融合中排除或者以不同方式进行处理。
[0055] 在给定失配图的情况下，进行融合过程的核心过程。在示例实施例中，可以使用带 通拉普拉斯金字塔分解（累加所有尺度（scale)中的信息）对亮度通道进行融合。可以使 用更简单的基于单尺度置信度的方法来融合需要较低精确度的颜色通道。在一些情况下， 融合的亮度值通常延伸到强度的有效范围之外，这可以使用简单强度压缩技术来解决。可 以重新组合最后的亮度（融合的、色调映射的亮度通道）和颜色通道（融合的色度通道）， 以产生重构序列，并且转换至用于显示的RGB。
[0056] 3.配准阶段
[0057] 3. 1运动估计
[0058] 在示例实施例中，在帧之间可以使用简单2D投影全局运动模型。由于帧对准必须 高度精确，以免引入双边缘和其他伪像，并且在曝光变化的情况下也必须是稳定的，因此可 以使用二阶段技术。第一阶段是基于特征的对准，提供对曝光改变的鲁棒性以及适度噪声。 第二阶段是迭代细化方法，使用第一阶段的输出作为初始化，并且传递融合过程所需的精 度。为了降低计算复杂度，可以在运动估计之前调整较大帧的大小。
[0059] 在一些实施例中，可以仅在相关序列中的连续帧之间执行全局运动估计。这提高 了过程的稳定性，这是因为2D投影运动模型对于较小的摄像机移动更精确。一旦这些估计 对于所有对可用，可以通过累加序列中任意两个帧之间的连续运动（近似地）来对准两个 帧。
[0060] 3· 1. 1基于特征的运动估计
[0061] 在给定两个（可能是不同方式曝光的）帧的情况下，基于特征的运动检测器可以 使用SIFT特征匹配，来产生两个帧之间的密集点对应。由于当帧具有较低质量时（由于是 针对低成本传感器的情况）该对应可以具有大量异常值，因此RANSAC异常值抑制可以用于 标识正常值（inlier)匹配集合。可以使用最大似然估计过程，根据正常值集合来估计2D 投影运动。
[0062] 3. 1. 2迭代运动细化
[0063] 在示例实施例中，可以使用迭代多尺度Lucas-Kanade类型方法来细化由基于特 征的过程提供的所提出的运动估计。该方法尝试使用一阶近似（线性化罚函数并通向迭代 求解器）最小化两个图像之间的逐点误差r 丨 ><=可以采用粗至精细化来加速过程并 且适应较大运动。
[0064] 由于这种方法基于逐点误差，因此可以在使用该方法来对准不同方式曝光的图 像时应用曝光补偿。可以使用简单直方图规范来完成该任务，将增强帧的直方图与参考 帧的直方图相匹配。在一些实施例中，可以假定更一般的运动模型，例如，分级2D单应 (homography)模型。这对于方法的性能是有利的。
[0065] 3. 2运动补偿
[0066] 一旦确定了运动估计，可以使用翘曲来对准增强和自动曝光帧，并且创建要融合 的帧集合。这可以通过对自动曝光帧和增强帧的亮度通道执行运动补偿来实现。在示例实 施例中，可以使用平衡复杂度和质量的双三次插值。已经发现更简单的双线性插值来产生 较差的结果。翘曲结果中未定义的像素可以使用未定义的数字来标记。
[0067] 3.3自动曝光插值
[0068] 只要捕获到E帧，就会损失该时间点处的自动曝光帧。为了补偿这一点，使用该帧 的两个相邻A帧以及捕获的E帧来对该帧进行插值，以产生插值后的LDR参考帧。类似地， 只要捕获到A帧，就可以在增强帧之间执行插值，以创建翘曲增强帧。
[0069] 3. 3. 1 方法
[0070] 示例插值方法相对简单。首先，使用已知的运动估计来将两个相邻A帧翘曲至当 前坐标系统。然后对翘曲帧进行平均。按照原状拷贝仅由A帧之一覆盖的像素。最后，在 一些实施例中，如果任何像素保持未定义（那些没有被任何A帧覆盖的像素），则在如下所 述对该帧应用曝光补偿之后，使用增强帧来填充这些像素。
[0071] 彩色图像的曝光补偿
[0072] -些实施例可以包括曝光补偿。在给定两个不同方式曝光的图像的情况下，曝光 补偿（当涉及强度图像时也被称作辐射度对准）的目的在于，修改图像之一的值，使得模拟 另一图像的曝光条件。
[0073] 在涉及强度图像的一些实施例中，可以经由直方图规范来进行曝光补偿，S卩，对图 像之一的强度应用单调函数，使得该图像的直方图类似于另一图像的直方图。
[0074] 当涉及彩色图像时，上述过程可以用于校准两个图像的亮度通道。关于颜色，理论 上这些通道在两个图像中是等同的；然而，实际上，由于有限传感器灵敏度、量化效应以及 RGB立方体的限制的组合并不是这种情况。在一些实施例中，因此如下应用颜色校正。
[0075] 在一些实施例中，可以使用仿射模型对与两个图像有关的颜色变换进行建模，
[0076] (u^ ^ A · (u〇, v〇)T+b (1)
[0077] 其中，（Uq，Vq)和（Ul， Vl)分别是源图像和目标图像中的颜色值，A e R2X2，b e R2。 注意到，该模型是启发式的且在物理上并不精确，然而，实际上，该模型提供了良好的结果。 可以经由线性回归来估计仿射模型的参数。假定对两个帧进行粗对准，将每一对相应像素 视为回归过程的样本，并且执行对模型参数具有异常值抑制的鲁棒估计。在一些实施例中， 可以通过限制用于估计的样本数目来降低复杂度。
[0078] 4.融合阶段
[0079] 在一些实施例中，融合过程接受单个帧集合（包括参考帧以及一个或多个增强 帧）作为输入，并且输出融合的EDR帧。融合方法还采用集合中帧的索引作为输入，以允许 建立帧之间的时间距离。现在描述融合过程的各个步骤。
[0080] 4. 1时间加权
[0081] 融合过程开始于向帧集合中的每个增强帧分配范围[0,1]的时间权重值。可以通 过增强帧与参考帧时间距离来确定增强帧的权重，并且稍后在算法的各个部分中使用该权 重，以便于时间一致性。
[0082] 在一些实施例中，可以根据以下规则来分配权重。当帧集合包括仅一个增强帧时， 始终向该帧分配权重1。当帧集合包括两个增强帧时，向最近的增强帧分配权重1，而向较 远的增强帧分配较小权重，该权重和增强帧与参考帧的时间距离成线性。为了定型上述，通 过、ki，k 2表示集合中三个帧的索引，其中，^是六帧的索引，ki，k2是E帧的索引（相应 地），并且& < h < k2。现在较远帧的权重由以下公式给出：
[0083] η- = Η、.Λ + . .. - --:--, Κ. ........ (2)
[0084] 其中，kfa, e {ki，k2)是较远帧的索引，0彡wmax彡1是表示分配给较远帧的最大权 重的可选常数。
[0085] 在示例实施例中，wmax = 0.6。以及，可以相对于图像的大小选择高斯核〇 ;对于 NxM 图像，使用 σ =min(N，M)/50。
[0086] 4· 2错误配准检测
[0087] 错误配准检测器的目的在于，对增强帧中并不足够精确地与参考帧对准的区域进 行映射，并且选择性地从融合中排除这些区域。
[0088] 4. 2. 1备选实施例
[0089] 一些实施例可以经由比较图像对，通过以下操作来执行错误配准检测过程：对两 个图像之一应用曝光补偿，并且计算每个像素处的误差。具有大于一些预定阈值的误差的 像素被标识为经受局部运动（除了这些像素中任一像素饱和的情况）。使用该位置处的最 少饱和图像来填充认为经过对象运动的像素，可能地利用该像素位置处强度没有明显不同 的其他图像来平均该像素。
[0090] 在一些实施例中，局部熵可以用作对象运动的指示符。构思在于，图像块的熵较 少受到曝光改变的影响，并且与该块的饱和度更相关。所提出的运动检测器计算包围每个 像素的窗口中的熵，并且如果该熵在曝光之间非常不同则认为该熵包含运动（containing motion)。一旦检测到运动，就使用最少饱和图像、采用平滑过程来填充像素，以避免可见的 不连续。
[0091] 在一些实施例中，示例估计过程开始于缩减（根据需要）要对准的两个图像的尺 度，以便降低计算成本。在这些实施例中，估计过程产生3X3单应矩阵4，该矩阵与两个 缩减尺度的图像相关，使得对于第一图像中的每个像素位置 Xl = 0^1，71，1)，第二图像中的 对应位置是x2?H Xl，其中，?表示向上等同因子。将上述变换成两个原始图像之间的关系 Η(假定像素坐标以（1，1)开始）是通过计算以下公式来实现的： I c 0 ? - c -- I c 0 1 ? r
[0092] Η = 〇 r 1 - c 1 H, 0 c 1 - r I (3) 1 t \ I '0 0 1 .. '00 1 ...
[0093] 其中，c < 1表示缩减尺度因子。
[0094] 4· 2· 2检测不同曝光之间的错误配准
[0095] 在一些实施例中，假定相同场景的两个不同方式曝光的图像总体上尽可能精确对 准。在这种情况下错误配准的来源可能是（a)由假定全局运动模型施加的约束，（b)不能 估计假定模型内的最优运动参数，（C)高频区域中的混叠伪像，混叠伪像转化成两个帧中不 可兼容的图案，以及（d)移动对象。这些实施例以相同方式处理所有这些情况，检测不兼容 性，并且从融合过程中排除受影响的区域。
[0096] 在图4中概括了用于检测不同方式曝光的图像之间的错误配准的示例实施例。这 些方法对两个图像的亮度通道进行操作，其中分别利用第一和第二曝光配置来捕获两个图 像。这些过程可以开始于，应用曝光补偿，以使增强帧更靠近参考帧。接着计算两个图像的 拉普拉斯金字塔；使用拉普拉斯金字塔，是由于其在多个尺度上揭示了图像的细节，将精细 纹理延伸至较大对象。移动对象引起两个金字塔在对应尺度上的不同，并且可能地在更细 化的尺度上不同。
[0097] 对于金字塔的每个带通级别，计算失配图，以标识增强帧与参考帧未对准的地方， 如下所述。设和f 是位置（i，j)处两个对应的（相同位置的）像素，k是两个金字 塔的尺度。在一些实施例中，用来量化两个像素之间的对应的基本值是第k个尺度处包围 两个像素的两个NxN窗口之间的归一化相关（局部归一化相关）。正式地，如果将包围:: 的NxN窗口中的像素排列为向量wt '并且将包围p.: ^的像素排列为向量:，则对应 度Μ为： ^ , 一 Μ'； ^ *?·；: ^5] Ph.i，k =二二二二二二二二二二二二二〒〒 =二二二二二二二二二二二 ?￡ ：{wl s \ - w\ jY '
[0098] \ 、 …# Iw1, - i w: _ ；:; Γ i w:, -. - (ht _ ；:)； 卜(4)
[0099] 该示例对应度量取[-1，1]内的值，并且只有在两个像素具有包围它们的类似边 缘图案时才为高（接近1)。与基于熵的检测器相反，例如，该度量对细化纹理不可兼容性敏 感，这会最终导致融合结果的模糊。类似地，该度量可以检测不可兼容的混叠图案以及其他 不一致边缘。这种度量对于曝光改变是鲁棒的，因为该度量不受仿射缩放的影响。
[0100] 显然，按原状使用P q,k有效地导致完全排除了帧之一实际上缺乏细节的所有区 域。因此，如果任意帧在一些邻域具有非常小的细节，则可以忽略Pu, k的值，并利用融合来 处理。为了量化围绕像素 Pi, j, k的活动性的量，使用拉普拉斯金字塔中像素 Pi, j, k包围窗口 的总能量，由以下给出： Λ _1] %*= (5)
[0102] 由于拉普拉斯金字塔中的非零条目对应于图像中的特征，因此该度量在相应的尺 度中直接量化包围PiM的细节量。
[0103] 使用公式（4)和（5)，现在可以定义本发明的失配检测器。开始于多尺度二值失配 金字塔m^k，定义为：
[0104] ，< =卜，-：i:; and [r、-、匕-} snd : i':)' (6)
[0105] 这里，a和是某预定阈值。只要两个帧之间的相关系数较小，并且两个帧具有 明显足够的活动性，则该图包括1。对于不同的金字塔级别，允许不同的活动性阈值f，这 是因为不对这些值进行归一化，并且图像导数倾向于实质上降低较粗的尺度。
[0106] 在给定这种金字塔的情况下，算法的最后步骤是将其不同的级别进行组合，并且 产生最后的运动图。这可以以类似于拉普拉斯金字塔重构过程的方式通过合并金字塔的级 别来进行。即，扩展最粗糙级别，并将其添加至其上的级别，并且重复，直到处理了整个金字 塔为止。粗略地，累加结果中的每个像素值是其中发现了包含运动的像素的尺度的数目；由 于本发明考虑单尺度足以指示运动，因此输出具有1的二值图，只要累加的像素值大于阈 值。
[0107] 4. 2. 3产生失配图
[0108] 现在描述如何利用上述方法来完成针对本发明一些实施例的融合过程的失配检 测系统。本发明假定在每个时间点处，具有参考帧和一个或两个增强帧。如图3所见，在多 数时间点处，针对每个参考帧具有两个增强帧，这两个增强帧源自序列中两个包围的E帧。 然而，在一些时间点处，仅具有一个增强帧；这在捕获到E帧时以及在序列中仅存在一个时 间上相邻的E帧的前几个帧和后几个帧处发生。
[0109] 但仅一个增强帧可用时，一些实施例可以使用4. 2. 2中的技术，来构造针对该增 强帧的失配图，并且结束过程。然而，当两个增强帧可用时，可以添加第二步骤，第二步骤比 较这两个增强帧，这是由于当存在对象运动或配准误差时这两个增强帧所贡献的信息是不 可兼容的。
[0110] 本发明通过计算两个增强帧之间的简单逐像素误差图并且为该图设置阈值，来比 较两个增强帧。由于两个增强帧以类似方式曝光，因此这两个增强帧应当实际上相同，除了 存在对象运动或配准误差的情况（可以表示为误差图中的较大条目）以外。为了允许检测 较大移动对象而不仅检测它们的边界，在高斯金字塔中的多个尺度上重复计算。因此，通过 为每个对应级别对之间的差异设置阈值来计算二值运动金字塔，并且将所获得的二值运动 金字塔合并到单个运动图中，就像在以不同方式曝光图像的情况。
[0111] 最后，在给定每个增强帧与参考帧之间的失配图％i和1%2以及两个增强帧之间 的失配图mu的情况下，在这些失配图之间应用二值或（0R)运算，以获得增强帧的最后失 配图：
[0112] ni! = moa or mlj2
[0113] m2 = m0j2 or mlj2 (7)
[0114] 4. 2. 4时间一致性
[0115] 至此描述的示例运动检测器具有一个主要缺陷，在时间上是不稳定的。考虑帧序 列低，…Ii，E 2，I2，…，E3)，其中，Ei，E2，E3是三个连续的E帧，Ii，I 2是两个A帧。注意 至IJ，在L处帧集合由组成，在E2处帧集合由{lnterp^g*)组成。在1 2处 帧集合由{12, E2, EJ组成。应用刚刚描述的失配检测方案，帧E2在与L融合时被其与Ei 的失配掩蔽，在与融合时被其与e3的失配掩蔽，并且在与插值后的巾贞融合时几乎不被掩 蔽。这可以引起围绕E帧的大量可见干扰。
[0116] 为了解决上述问题，本发明使用简单时间调整（adaptation)，以确保当越接近E 帧时，对较远E帧的影响逐步降低。可以想到通过采用两个增强帧之间的逐像素差异并且 对结果设置阈值来计算两个增强帧之间的失配图（实际上可以针对多个尺度重复上述，但 是本发明为了简单起见这里考虑单个尺度）。注意到，由于失配阈值增大，检测器变得对两 个帧之间的差异不敏感；具体地，如果假定[0，1]内的图像强度，则接近1的阈值实际上抵 消了失配检测。本发明利用该发现，通过在时间上针对每个增强帧单独地逐步改变阈值， 来在时间上稳定过程。因此，在给定两个增强帧之间的差异图的情况下，使用两个不同阈值 (每个帧一个阈值），根据该差异图产生两个不同的失配图。通过给予时间上较近帧较大阈 值，降低了较远帧对该较近帧的影响。可以对这些阈值进行时间平滑，以实现时间一致性结 果。可以使用两个所获得失配图来代替公式（7)中的图％, 2，图mu最初对于两个帧是公共 的。
[0117] 4. 2. 5备选失配检测实施例
[0118] 在一些实施例中，存在检测方法不能检测错误配准的情况。4. 2. 2中描述的方法 不会在图像之一缺乏细节的区域中检测到失配，并且始终假定缺少来自其他曝光的附加信 息。一个备选实施例可以利用饱和来替换作为丢失细节的指示符的局部活动性；因此，当两 个图像具有低相关性并且均不饱和时断言失配。
[0119] 4. 3融合亮度通道
[0120] 在示例实施例中，整个过程的核心是将一组亮度通道融合成到单个强度图像，单 个强度图像累加了来自所有图像的细节（即，来自增强帧、翘曲增强帧、插值参考帧以及参 考帧）。该过程在仅一个增强帧可用时采用集合{IpEpMj作为输入，或者在两个增强帧可 用时采用集合ΙΛ，Ερ E2, Μρ M2}，其中，Mi和M2是与增强帧相关联的两个失配图。基本上， 该方法是三步骤过程：
[0121] 1.针对每个输入帧计算自适应拉普拉斯金字塔
[0122] 2.使用每个级别中的逐像素最大化来合并金字塔
[0123] 3.经由合并的拉普拉斯金字塔的重构来获取输出图像
[0124] 在这些实施例中，出于多个原因选择拉普拉斯金字塔。首先，拉普拉斯金字塔已经 显示出了明显比临界采样小波变换在时间上更稳定。同时，仅发现拉普拉斯金字塔比偏移 不变小波变换或梯度金字塔在时间上略微不稳定，看起来这在融合来自非常不同的源的图 像时更相关。然而，使用拉普拉斯金字塔的主要动机在于拉普拉斯金字塔较简单，这允许为 具有未定义区域的图像设计变换的变型。
[0125] 4. 3. 1自适应图像金字塔
[0126] A.高斯和拉普拉斯金字塔
[0127] 图像的高斯和拉普拉斯金字塔是广泛使用的用于多尺度和带通图像分析的结构。 使用两个基本操作收缩和扩展来构造金字塔。收缩操作将图像的尺度缩减2倍，并且采用 平滑来最小化混叠。扩展操作将图像的尺度增大2倍，同样采用平滑来避免引入高频。
[0128] 在给定强度图像I的情况下，该强度图像的高斯金字塔g = {匕，G2，…，GJ简单 地是该图像的一系列缩减尺度的版本，其中Gi = I和Gh = shrinktei)。高斯金字塔通常 用于多尺度图像处理任务。图像的拉普拉斯金字塔L= {Lpl^，…，LJ实质上是图像的带 通分解。经由Ln = 6"和Lg = Gg-expancHGi)，根据高斯金字塔计算拉普拉斯金字塔。拉 普拉斯金字塔的每个级别表示图像频率范围的不同频带，由于这些级的下采样而具有相对 低的冗余。
[0129] B.自适应高斯金字塔
[0130] 只要在整个网格上定义图像，就会良好地定义高斯和拉普拉斯金字塔。在本申请 的情况下，尽管这对于参考帧而言是真实的，但这很少是针对增强帧的情况。增强帧（先前 或后续E帧的翘曲版本）典型地具有由于全局运动没有定义的区域。
[0131] 用于构造高斯金字塔的收缩操作包括平滑图像并对图像进行下采样。通常平滑经 由具有小的可分离高斯核的卷积来实现，其中对平滑的权重进行归一化，从而权重总共为 1。下采样包括丢弃图像样本，并且仅留下奇数（或偶数）索引的样本。
[0132] 当一些图像样本没有定义时，只要输出像素依赖于未定义的值，就会在平滑过程 中引起困难。可以想到对于图像I = ΙΛ,」}和平滑核g= {&,」}，输出J= {Jk,j由以下公 式定义：
【权利要求】
1. 一种用于捕获和编码增强动态范围视频序列的方法，所述方法包括： a) 使用第一曝光配置，以实质上固定间隔捕获多个低动态范围（LDR)参考巾贞； b) 使用第二曝光配置捕获至少一个增强帧；以及 c) 对所述LDR参考帧和所述至少一个增强帧进行编码，使得支持解码器能够将所述 LDR参考帧解码成视频序列，而无需参考所述增强帧，以及使得支持解码器能够将所述LDR 参考帧和所述至少一个增强帧解码成增强的视频序列。
2. 根据权利要求1所述的方法，所述支持解码器在所述增强帧出现的时刻在所述LDR 参考帧之间添加跳过帧。
3. -种用于捕获和编码增强动态范围视频序列的方法，所述方法包括： a) 使用第一曝光配置来捕获多个第一配置参考帧； b) 产生对第一曝光配置参数加以标识的第一曝光配置元数据； c) 使用第二曝光配置来捕获至少一个第二配置帧； d) 产生对第二曝光配置参数加以标识的第二曝光配置元数据； e) 对所述第一配置参考帧和所述至少一个第二配置帧执行曝光补偿，以校正所述第一 曝光配置参数与所述第二曝光配置参数之间的差异，从而创建补偿的视频序列； f) 对所述补偿视频序列进行编码；以及 g) 将所述补偿视频序列与所述第一曝光配置元数据和所述第二曝光配置元数据相关 联。
4. 一种对增强动态范围视频序列进行解码的方法，所述方法包括： a) 接收包括多个经补偿的第一配置参考帧和至少一个经补偿的第二配置帧在内的补 偿视频序列，多个经补偿的第一配置参考帧和至少一个经补偿的第二配置帧与第一曝光配 置元数据和第二曝光配置元数据相关联，其中第一曝光配置元数据与所述第一配置参考帧 相关，第二曝光配置元数据与所述至少一个第二配置帧相关； b) 对所述经补偿的第一配置参考帧和所述至少一个经补偿的第二配置帧进行解码，从 而创建解码的补偿序列；以及 c) 对所述解码的补偿序列执行逆曝光补偿。
5. -种实现视频序列中的加权预测的方法，所述方法包括： a) 接收利用第一曝光配置捕获到的第一视频帧； b) 接收对第一曝光配置参数加以描述的第一视频帧曝光元数据； c) 基于所述第一视频帧曝光元数据，确定所述第一视频帧的第一亮度值； d) 接收利用第二曝光配置捕获到的第二视频帧； e) 接收对第二曝光配置参数加以描述的第二视频帧曝光元数据； f) 基于所述第一视频帧曝光元数据，确定所述第二视频帧的第二亮度值； g) 基于所述第一亮度值与所述第二亮度值之间的关系，来实现针对所述第一视频帧和 所述第二视频帧的加权预测。
【文档编号】H04N19/527GK104065887SQ201410253280
【公开日】2014年9月24日 申请日期:2010年1月19日 优先权日:2009年1月19日
【发明者】克里斯托弗·A·塞格尔, 赵杰, 容·鲁宾斯坦 申请人:夏普株式会社