一种适用于LDR视频的HDR视频生成方法与流程

本发明涉及视频监控领域，特别是涉及一种HDR视频生成方法。

背景技术：

高动态范围(High Dynamic Range，简称HDR)视频与低动态范围(Low Dynamic Range，简称LDR)视频相比，能够更加准确的记录真实场景的绝大部分色彩和光照信息，并能表现出丰富的色彩细节和明暗层次，而且能够提供更高的对比度、更丰富的信息和更真实的视觉感受，能更好地匹配人眼对现实世界场景的认知特性。正因为如此，HDR技术可以被应用于对图像质量要求较高的领域，如医学影像、视频监控、卫星遥感和计算机视觉等领域中。

目前生成HDR视频的方法主要分为两类：一类是硬件方法，使用配有改进传感器的专用HDR摄相机一次曝光直接生成HDR，这种特殊的HDR摄相机系统需要有特殊的定制的硬件，不仅价格昂贵而且市场应用性不广泛。另一类是软件方法，包括：(1)使用普通的摄相机拍摄交替循环曝光的低动态范围(Low Dynamic Range，简称LDR)视频，然后利用多幅LDR相邻帧的图像生成HDR相应帧的图像，该方法获取视频源比较繁琐；(2)每一帧都利用单幅图像生成HDR图像的方法，从而生成HDR视频；该方法获取视频源较之简单，但是每一帧都采用相同的方法生成HDR，导致会有冗余的操作。但是，与硬件的方法相比较，软件的生成方法，细节信息更为细腻，而且对设备的要求较低。因此，实际应用中大多使用软件方法生成HDR视频。

技术实现要素：

基于现有技术，本发明提出了一种基于LDR视频的HDR视频生成方法，在单幅图像生成HDR图像方法的基础上，实现适用于LDR视频的HDR视频生成方案。

本发明提出了一种适用于LDR视频的HDR视频生成方法，该方法包括以下步骤：

步骤1、将一个正常曝光的图像转化为有着不同亮度的伪曝光图像，建模如下：

其中，L_wk表示第k个伪曝光HDR图像在坐标(i,j)点处的亮度，P_k表示相邻伪曝光之间的亮度差异的控制参数，L_d(i,j)表示在像素(i,j)点处的输入LDR图像的归一化的亮度控制参数，L_max,k表示生成的第k个伪曝光图像的最大亮度值。L_smax的值为382.5，L_ad,k表示第k幅伪曝光图像的平均亮度控制参数：

L_ad,k＝1+exp(μEV_k)

其中，EV_k表示第k幅图像的曝光值，μ的值设为0.85；对于给定不同的(EV_k，P_k)，得到LDR视频第一帧图像的多幅不同曝光的图像；

根据图像的对比度、饱和度以及曝光度，计算图像的权重图，并且得到N个多曝光图像序列中第k个图像(i,j)处的像素点的归一化权重为：

图像的权重图W_ij,k计算公式如下：

其中，ij,k表示多曝光图像序列中第k个图像(i,j)处的像素点；ω_C、ω_S、ω_E分别用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E对标量权重图W的影响程度，ω_C＝ω_S＝ω_E＝1；

将N幅多曝光图像序列分别进行拉普拉斯金字塔分解，得到关于不同分辨率的图像和权重图的金字塔融合公式如下：

式中，N表示输入的图像总数，即生成的伪曝光图像数，I_ij,k表示第k个输入的图像在坐标(i,j)处的值，即第一步生成的L_wk，i,j表示像素点坐标(i,j)，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示第k个输入图像在像素点坐标为(i,j)处的归一化的权重图；表示对第k个输入图像在像素点坐标为(i,j)处的归一化权重图进行高斯金字塔分解，得到的第l层高斯金字塔；表示坐标为(i,j)处的融合后图像R的第l层拉普拉斯金字塔；表示对像素点坐标为(i,j)处的第k个输入图像进行拉普拉斯金字塔分解，得到的第l层拉普拉斯金字塔；

最后，将金字塔L{R}^l进行拉普拉斯逆变换得到融合后的图像R；至此，求出对于LDR视频的第一帧LDR图像的HDR图像；

步骤2、将输入的第一帧LDR图像的R,G和B通道所有像素值存放到一个行向量x里，将第一帧合成的HDR图像的R,G和B通道所有像素值存放到行向量y里；

通过CFTOOL工具，输入向量x和向量y，通过判别均方误差的大小来决定一个拟合曲线的优劣性，找到一个MSE最小的拟合曲线；

通过HDR图像的平均亮度值的差异来对生成的曲线进行修正，从而得到最优拟合曲线；具体处理包括：

定义灰度图像的一元灰度熵为：

其中p_i表示图像中灰度值为i的像素在该图像中出现的概率；

通过人眼对生成的HDR图像进行感知，再参考信息熵的大小，对生成拟合曲线进行修正，从而找到一条最优化拟合曲线，作为LDR图像和HDR图像之间的曲线拟合结果；

步骤3、利用步骤2得到的最优化拟合曲线，对输入的LDR视频的每一帧都进行相应的像素级映射，得到最终的HDR视频序列。

与现有技术相比，本发明实现的获取视频源的方法复杂度低、减少了冗余的操作，更能够实现实时的LDR视频向HDR视频的转换；由于采用单曝光视频，所生成的HDR视频的色彩信息更符合人眼视觉特性，细节更加清晰，包含信息更丰富。

附图说明

图1为本发明的HDR图像合成示意图；

图2为LDR视频第一帧以及合成的HDR图像，(a)LDR视频第一帧；(b)伪曝光金字塔合成LDR视频；(c)利用较优曲线合成LDR视频。

图3为利用最优曲线生成的HDR视频，(a)LDR视频第一帧图像，(b)LDR视频第一帧图像合成的HDR图像，(c)LDR视频第二帧图像，(d)LDR视频第二帧图像合成的HDR图像。

具体实施方式

下面结合附图对本发明作进一步详细描述。

HDR视频生成方法，具体步骤如下：

第一步、将LDR视频第一帧图像合成HDR图像：将一个正常曝光的图像转化为有着不同亮度的伪曝光图像，从而可以获取更多的信息，建模如下：

其中，L_wk表示第k个伪曝光HDR图像在坐标(i,j)点处的亮度，P_k表示相邻伪曝光之间的亮度差异的控制参数，L_d(i,j)表示在像素(i,j)点处的输入LDR图像的归一化的亮度控制参数，L_max,k表示生成的第k个伪曝光图像的最大亮度值。L_smax的值被设置为382.5，L_ad,k表示第k幅伪曝光图像的平均亮度控制参数，而其是通过以下方程进行调整：

L_ad,k＝1+exp(μEV_k) (2)

其中，EV_k表示第k幅图像的曝光值，μ被设置为0.85。

因此该逆色调映射函数受EV_k、P_k控制，对于给定不同的(EV_k，P_k)，就会产生不同的伪曝光图像。

在得到LDR视频第一帧图像的多幅不同曝光的图像后，利用金字塔融合的方法，最终生成LDR视频第一帧图像对应的HDR图像。对于同一场景，由于生成的图像有的曝光过度或者曝光不足，因此会形成平滑区域和不饱和区域，这些区域包含的信息较少，应给予较小的权重，而感兴趣的区域应给予较大的权重。因此，根据图像的对比度、饱和度以及曝光度，计算图像的权重图。

图像的权重图W如下：

其中，ij,k表示多曝光图像序列中第k个图像(i,j)处的像素点；ω_C、ω_S、ω_E分别用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E对标量权重图W的影响程度，该算法中取ω_C＝ω_S＝ω_E＝1。将公式(3)进行归一化，得到N个多曝光图像序列中第k个图像(i,j)处的像素点的权重为：

由于传统的塔融合公式(5)合成效果不好，因此该算法使用金字塔来分解图像，以多分辨率的方式来融合图像。首先，将N幅多曝光图像序列分别进行拉普拉斯金字塔分解，将N幅权重图分别进行高斯金字塔分解，得到不同分辨率的图像和权重图，并记图像A的第l层拉普拉斯金字塔分解为L{A}^l，记图像B的第l层高斯金字塔分解为G{B}^l。然后，类似公式(5)，得到金字塔融合公式如下：

式中，N表示输入的图像总数，即生成的伪曝光图像数，I表示输入的伪曝光HDR图像，即第一步生成的L_wk，i,j表示像素点(i,j)处，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示归一化的权重图。

最后，将金字塔L{R}^l进行拉普拉斯逆变换得到融合后的图像R。至此，就求出了对于LDR视频的第一帧LDR图像的HDR图像。

第二步：生成LDR图像和HDR图像之间的曲线拟合

首先，将输入的第一帧LDR图像的R,G和B通道所有像素值存放到一个行向量x里，

将第一帧合成的HDR图像的R,G和B通道所有像素值存放到行向量y里；

1)、通过CFTOOL工具，输入向量x和向量y，通过判别均方误差(Mean Squared Error,MSE)的大小来决定一个拟合曲线的优劣性，找到一个MSE最小的拟合曲线，即为较优的拟合曲线。

2)、由于该曲线是近似曲线，存在着误差，因此需要对该曲线进行修正。本文采用HDR图像信息熵最大准则的方法，同时参考人眼对生成图像的视觉感知差异，通过图像的平均亮度值的差异来对1)生成的曲线进行修正，从而得到最优拟合曲线。其中：

图像信息熵：图像信息熵是一种特征的统计形式，它反映了图像中平均信息量的多少。

令p_i表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：

其中p_i是某个灰度在该图像中出现的概率，可由灰度直方图获得。

本发明通过人眼对生成的HDR图像进行感知，再参考信息熵的大小，对1)生成的较优的拟合曲线进行修正，从而找到一条最优的拟合曲线。

第三步：利用拟合曲线将LDR视频转换为HDR视频

利用第二步得到的最优化拟合曲线，对输入的LDR视频的每一帧都进行相应的像素级映射，得到最终的HDR视频序列。

本发明仅在图像RGB空间对LDR视频向HDR视频转换的方法进行了详细阐述，但是该方法也同样适用于在图像YUV或者HSV空间的LDR视频向HDR视频的转换。

首先，寻找第一帧LDR图像和基于单幅图像生成的HDR图像之间的对应关系曲线，然后利用该曲线将LDR视频映射生成HDR视频。

1)采用生成5幅伪曝光的图像，即：k＝0～4；L_smax＝382.5，EV_k＝(-1,-0.5,0,0.5,1)，P_k＝(1.3,1,0.8,0.6,0.4)，其余系数在技术方案中给出。

2)利用CFTOOL生成的较优曲线为：

y＝1.173×x-0.1486 (8)

如图2所示，图(a)是输入的LDR视频第一帧图像，图(b)为LDR视频第一帧图像通过逆色调映射和金字塔融合生成的HDR图像，图(c)为利用CFTOOL生成的较优曲线来生成的HDR图像，其信息熵分别为图(a)是7.5410、图(b)是7.6978、图(c)是7.5803，虽然图(b)和图(c)的信息熵都提高，但是两者图像之间还存在着差异，因此需要对较优的曲线进行修正，通过调整截距来找到一个最优的曲线，使之生成的HDR图像视觉效果好，而且信息熵提高的大。

从图2中的图(b)和图(c)可以观测出图(b)和图(c)的亮度存在差异，因此通过图(b)和图(c)的平均亮度的差异对曲线进行调整，图(b)和图(c)的平均亮度差为32，因此在范围为0～32之间通过二分法找到一个数值来调整截距，从而找到视觉上生成HDR图像效果好而且信息熵大的最优的HDR图像的拟合曲线。

本文中最优拟合曲线为：

y＝1.173×x-24.1486 (9)

其中，x是输入图像的每点的像素值，y是对应生成的HDR图像的每点的像素值。

3)然后按照公式(9)，可以求出来每帧输入的视频所对应的HDR视频。

4)LDR视频第一帧和第二帧的利用最优曲线合成效果如图3所示：

图3中的图(a)表示LDR视频第一帧图像，图(b)表示LDR视频第一帧图像合成的HDR图像，图(c)表示LDR视频第二帧图像，图(d)表示LDR视频第二帧图像合成的HDR图像。

表1是输入的LDR视频与合成的HDR视频的信息熵对比图(以5帧为例)，如下所示：

表1、信息熵对比图

从图3可以看出，合成的HDR图像比输入的图像色彩更鲜明，对比度更高，而且对于挂历上的细节，发现合成的HDR图像中更清晰，更加符合人眼视觉特性。通过表1可以看出，合成HDR视频的信息熵要明显高于LDR视频的信息熵，大约提高了0.125，这就表明合成的HDR视频包含的信息更丰富。

另外，由于该方法只对LDR视频第一帧利用伪曝光和金字塔融合的方法进行HDR图像的合成，然后利用LDR和HDR图像之间的相关性曲线进行LDR视频到HDR视频的低复杂度转换。该方法仅仅利用了一次复杂度较高的融合生成HDR，相比于传统的交替循环曝光的LDR视频生成HDR视频方法或者是LDR视频每一帧都利用单幅图像生成HDR方法来说，计算复杂度较低，可以适用于LDR视频到HDR视频的实时的转换，而有利于视频序列色彩的一致性。

由于交替循环曝光生成HDR视频的方法，在获取视频上比较繁琐，没有单曝光生成HDR视频方法中的视频获取简单，因此本发明是针对单曝光视频生成高动态范围视频，并且在以往的基础上减少了冗余的操作。本发明首先利用伪曝光技术和金字塔融合方法将LDR视频第一帧生成HDR图像；然后拟合出LDR视频第一帧与其生成出来的HDR图像的对应关系曲线，通过该曲线，将LDR视频转换为HDR视频。