一种将第一动态范围视频转换为第二动态范围视频的设备及其方法与流程

本专利文件公开的一部分包含受版权保护的材料。本专利出现在专利和商标局专利文件和记载中，故版权所有者不反对任何专利文献或是专利公开对专利进行传真复制，但在其他方面保留所有版权权利。

本发明涉及数字图像和视频处理以及图像和视频的动态范围转换。更具体地说，涉及将标准动态范围图像和视频增强为高动态范围图像和视频的方法。

背景技术：

在过去，由于摄像机和监视器系统的限制，大多数视频都在与人类感知灵敏度相关的低动态范围内捕捉，并被编码为标准动态范围（sdr）视频。然而，高动态范围（hdr）显示技术的快速发展推动了hdr内容的需求。典型的hdr视频格式包括smpte-2084，dolbyvision，hlg和hdr10+。为了将大量现有的sdr视频转换成hdr视频，现已经开发了各种图像和视频转换方法。例如，us8948537，us8824829，us8582913和us8233738公开了用于实时执行增强输入低动态范围图像以产生具有更高动态范围的图像数据的各种方法。us8265378公开了如何将图像数据从较低比特深度转换和表示为较高比特深度以再现hdr图像数据，hdr图像数据通常使用10bit或者12bit进行编码，不是像sdr图像数据一样使用8bit进行编码。us8050512公开了一种在显示器显示过程期间执行转换的方法，这种转换不依赖于视频中的其他图像。us7573533中，提出了一种通过产生转移曲线的自适应对比度增强方法。

人眼对宽范围亮度水平具有较高的适应性。为了获得舒适的观看体验，人类视觉感知能根据目标显示自动调整。在不损失细节的情况下利用目标显示的最大动态范围，并且同时将大部分内容呈现在对人眼最敏感的亮度水平上是非常重要的。因此，从sdr视频到hdr视频的转换实际上是动态范围从sdr到hdr的增强。人眼对不同动态范围和颜色的感知反应是不同的。很难找到一种适用于视频中所有像素的通用映射，能够在视频转换为hdr后为观看者提供愉快的感知观看体验。显然，在大多数情况下，使用静态转换不是最佳方式，静态转换即：在不考虑视频的空间和时间特性的情况下对整个视频使用通用映射功能。例如，静态转换可能会导致把某些亮sdr图像转换为过亮hdr图像或把某些暗sdr图像转换为过暗hdr图像。基于视频空间统计的自适应转换可能会做得更好。然而，由于各帧的空间统计不同，仅利用空间信息的自适应转换可能导致帧与帧之间的亮度变化的连续性的丢失。除了场景转换的情况以外，这种自适应转换很可能会引起闪烁效应。

技术实现要素：

本发明的目的是提供一种将标准动态范围（sdr）视频转换为高动态范围（hdr）视频的设备。该转换是自适应的并且考虑到当前帧和先前帧的空间和时间信息，使得大多数像素落入目标动态范围中的人眼的最敏感区域，同时还在时间域保持了亮度的连续性，达到了防止闪烁的目的，从而带来更好的视觉感知体验。本发明的另一个目的是利用空间信息为逐像素的调整转换提供更多自由度，同时能够利用时间信息在时域上平滑地调整转换。

根据本发明的一个实施例，本发明提供了一种用于将sdr视频转换成hdr视频的设备，用于：接收sdr视频；根据当前帧和第一动态范围视频的一个或多个先前帧的时间信息和空间信息生成当前帧的一个或多个呼吸参数；根据所生成的当前帧的呼吸参数和一个或多个空间标准确定一个或多个映射函数；根据所确定的映射函数确定当前帧每个像素的一个或多个权重；根据所确定的映射函数和相应的权重将当前帧的像素转换为转换像素；重复转换当前帧的所有像素，以在第二动态范围视频中形成转换帧。

附图说明

下面将参照附图更详细地描述本发明的实施例，其中：

图1为根据本发明的一个实施例的转换方法的框图；

图2为根据本发明的一个实施例的产生呼吸参数的步骤的框图；

图3为根据本发明的一个实施例的确定映射函数的步骤的框图；

图4为根据本发明的一个实施例的确定权重的步骤的框图；

图5为根据本发明的一个实施例的用所确定的映射函数和权重来转换像素值的步骤的框图。

具体实施方式

在以下描述中，用于增强视频动态范围的转换方法被作为优选示例。在不脱离本发明的范围和精神的情况下可以对其进行包括增加和/或替换的修改，这对于本领域技术人员来说是显而易见。为了不模糊本发明，可以省略具体细节；然而，公开本撰写旨在使本领域技术人员能够在不需要过多实验的情况下实践本文的内容。

图1示出了基于本发明一个实施例的用于将sdr视频转换成hdr视频的方法流程图。该方法包括：从当前帧以及sdr视频的一个或多个先前帧的时间信息101和空间信息102中生成当前帧的呼吸参数103；根据所生成的当前帧的呼吸参数和一个或多个空间标准确定一个或多个映射函数104；根据所确定的映射函数确定当前帧每个像素的一个或多个权重105；根据所确定的映射函数和对应的权重将当前帧的像素转换为转换像素；重复转换当前帧的所有像素，以在hdr视频中形成转换帧106。

图2示出了基于本发明的一个实施例生成呼吸参数的过程。分析当前帧的像素值的直方图203或累积频率曲线并将其转换为当前帧的临时呼吸参数204，其中，诸如亮度，色度，以及红色、绿色和蓝色（rgb）通道中的任何一个或其组合，或者基于rgb通道中的任何一个或组合的任何后处理结果等都为当前帧的像素值。检索出从先前帧201的直方图或累积频率曲线提取得到的先前呼吸参数202。然后组合临时呼吸参数204和先前呼吸参数202以形成当前帧的当前呼吸参数205。优选地，可以通过使用时间函数来计算当前帧的临时呼吸参数与先前帧的呼吸参数的加权和来获得当前帧的当前呼吸参数。

应该注意的是，仅从当前帧导出的呼吸参数只是临时呼吸参数。当前帧和先前帧的呼吸参数之间的差异由时间函数控制，并且这个差异被限制在阈值以下以保持连续性。时间函数可以是沿着时域的线性函数。作为算法，在确定映射函数和确定每个像素的权重的过程步骤中，可以使用呼吸参数作为时间信息的来源，且呼吸参数的连续性可以贯穿整个转换过程。

图3示出了基于本发明的一个实施例如何确定映射函数。将一组空间标准303…306应用于当前帧的当前呼吸参数301中，以评估当前帧满足空间标准的百分比，同时根据每个像素是否满足任何一个空间标准和哪个空间标准，将当前帧的像素聚类为n个像素组。然后根据满足的空间标准为像素组302...305确定映射函数304...307。空间标准可以使用各种方法来定义，诸如肤色检测，高饱和度颜色检测或其他任何类型的机器学习方法。

如下式所示，可以使用多个映射函数来构建n维模型：

mconversion=w1m1+w2m2+…+wnmn,

其中mconversion为n维转换模型，m1…mn为独立映射函数，w1…wn为映射函数对应的权值，也代表一个像素对相应映射函数的适用性，n表示空间标准及其划分的像素组的编号。n维模型是一种用于模拟完美转换的线性模型，其中映射函数是向量。

映射函数主要是根据亮度和颜色统计以及sdr视频和hdr视频的动态范围来设计和生成，以匹配不同像素集的特性。这些映射函数还可以取决于呼吸参数，其中呼吸参数包含帧的时间和空间信息。并且这些映射函数可以相互独立，使得转换模型可以覆盖尽可能多的场景。通常，映射函数可以是非减函数凸函数。除了统计信息之外，还可以使用各种空间标准来生成可以为不同情景建模的映射函数。可以应用不同的空间标准来针对具有不同像素特性的不同像素组从而导出不同组的映射函数。例如，通过应用较不陡峭的映射函数可以抑制亮像素的亮度，而通过应用陡峭的映射函数可以增加暗像素的亮度。

图4说明了权重是如何确定的。这里使用与确定映射函数中使用的空间标准相同的一组空间标准403...407来估计每个像素对每个映射函数402...406的适合性。然后，根据分别估计的每个像素对每个映射函数的适合性，确定每个像素到各个映射函数的各个权重404...408。应该指出，映射函数是与帧相关的，这意味着每帧总共有n个映射函数，而权重是与像素相关的，这意味着对于每个像素，存在对应于n个映射函数的n个权重，并且对于每帧总共存在n*（帧中的像素数量）个权重。这相当于将像素聚类为不同的组，并将不同的映射函数应用于不同的像素组。

通常，标示像素是否落入像素组的值可以是一个软判定比以确保相邻像素之间的平滑过渡。标准化后，它们可以是介于0和1之间的连续比率。在该实施例中，当生成并应用映射函数时，该软判定比，即每个映射函数的权重，由像素特性确定。每个像素至少被一个像素组覆盖。换句话说，所有像素被与不同映射函数对应的不同像素组的并集覆盖。整个转换过程不仅使用来自呼吸参数的空间和时间信息来生成映射函数，而且还使用像素的空间信息来确定权重。因此，转换和组合出来的转换帧在空间领域更加平滑和连续。

图5说明如何在当前帧应用映射函数以获得hdr视频中的转换帧。当前帧的像素501被转换为一个或多个临时转换像素值506...511，其中映射函数505...510分别对应于像素组503...508。然后，利用相应的权重504...509计算临时转换像素值的加权和，以获得将被用于构建hdr视频帧的转换像素512。换句话说，转换帧是经过不同映射函数转换的像素值的加权和，其中权重是在先前步骤中确定的软判定比。也可以通过乘以常数来转换像素组，其中常数是将映射函数应用于像素最大值的有效增益，以此代替使用映射函数。

用于增强视频的动态范围的方法和系统可以应用于多种设备，诸如：在高清晰度电视，移动或个人计算设备（例如“平板”计算机，膝上型计算机和个人计算机）或具有内置或外围电子显示器的用户终端，或具有内置或外围电子显示器及数据连接性的任何设备，并且具有专门配置为执行机器指令的图像处理电子器件的计算机处理器；其中专门配置的图像处理电子器件可以包括一个或多个通用或专用计算设备，计算机处理器或电子电路，包括但不限于数字信号处理器（dsp），专用集成电路（asic），现场可编程门阵列（fpga）和其他可编程逻辑器件。该方法和系统还可以包括能够存储计算机指令或软件代码的计算机存储介质的使用和各种形式，其可以用于对计算机或微处理器进行编程来执行本发明的任何过程。存储介质包括但不限于软盘，光盘，蓝光光盘，dvd，cd-rom和磁光盘，rom，ram，闪存设备或任何类型的用于存储指令，代码和/或数据的合适的介质或设备。

本发明前面的描述主要为了达到说明和描述的目的。这并不是全面的或将本发明限制于所公开的确切形式。对于本领域技术人员而言，对本专利的诸多修改和变化是不可避免的。

实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例以及在特定场合下进行的各种修改。本发明的范围由以下权利要求及其等同物限定。