一种视频图像细节增强方法与系统与流程

本发明属于视频图像处理技术领域，尤其涉及一种适用于视频编码系统的基于高亮区域抑制和暗部区域细节提升的视频增强方法及系统。

背景技术：

视频图像的暗部有很丰富的细节信息，但人眼感知到的信息却很少。为了提高视觉感受及便于后续更高层次的处理，必须对视频图像亮度、对比度及暗部细节进行增强处理。

现有的众多图像增强算法基本可以分为两类：空间域方法和频域方法。空间域方法是对图像的像素直接处理的方法，主要方法有灰度变换、直方图均衡化和空域滤波等。频域方法是在图像的某个变换域内对图像变换系统进行运算，然后通过逆变换以获得图像增强效果的方法。

现有图像增强方法中，应用比较广泛的有直方图均衡化、小波变换和基于色彩恒常性理论的retinex算法等。直方图均衡化算法通过使图像灰度级的概率密度函数近似满足均匀分布来达到扩大图像动态范围和提供图像对比度的目的。小波变换算法是将图像分解为低频图像和高频图像，通过对不同频率的图像进行增强达到突出图像细节的目的。retinex算法通过去除原始图像中照度分量，求解出反应物体本质颜色的反射分量，达到图像增强的目的。

直方图均衡化方法的原理简单，实时性好，但很容易出现图像亮度不均，图像过亮或过暗，部分细节信息丢失等问题，虽然有了多个改进方法，但是图像增强效果提升有限。小波变换很容易使得图像噪声被放大，图像细节丢失。retinex算法更适用于红外图像处理，且计算过程复杂，时效性差。

技术实现要素：

本发明的目的是提供一种视频图像高亮区域抑制，暗部细节提升的增强方法，以解决现有的视频图像增强算法过于依赖于复杂的算法，时效性差，适用范围有限，很容易引起亮部及边缘区域的恶化，尤其是暗部区域的人脸失真严重等问题。

根据本发明的一个方面，提供一种视频图像处理方法，包括以下步骤：获取单个视频帧；对于所述的单个视频帧，执行如下处理：读取当前视频帧图像frame；对所述当前视频帧图像frame，执行暗部区域d_mask提取及方框滤波处理，得到dark_mask；对处理的暗部区域dark_mask，执行暗部增强处理，得到dark_enhance；对所述当前视频帧图像frame，所述暗部区域dark_mask，所述暗部增强处理dark_enhance，执行融合操作，得到暗部融合结果d_merge；对暗部融合结果，执行亮度和对比度调节，锐化处理，得到merge_enhance；对所述亮度和对比度调节，锐化处理结果merge_enhance，执行高亮区域b_mask提取及方框滤波处理，得到bright_mask；最后，对所述当前视频帧图像frame，所述亮度和对比度调节，锐化处理结果merge_enhance，所述高亮区域bright_mask，执行融合操作，得到亮部融合结果b_merge。

其中，在上述发明中，所述的暗部区域d_mask，按照以下函数执行：

v1＝1-(g-y)/15g＞max(r，b)

d_mask＝d_mask*v2

其中，d_mask表示输出的暗部区域像素值，[start，end]是暗部区域像素值区间，y＝0.299*r+0.587*g+0.114*b+0.5，r，g，b表示所述当前视频帧图像frame的红、绿、蓝三个颜色通道，max(r，b)表示r通道和b通道的最大值。

其中，在上述发明中，所述的暗部区域dark_mask执行暗部增强，按照以下函数执行：

max_mean＝max(mean_r，mean_g，mean_b)

a＝-(255*(h-128))/d

b＝(65025*h-4177920)/d

h＝128/(1.0-d_value)

y＝(ax+b)x

其中，mean_r，mean_g，mean_b分别表示r，g，b三通道的均值，max(mean_r，mean_g，mean_b)表示r，g，b三通道均值的最大值，max_mean表示当前视频帧图像frame的r，g，b三通道均值的最大值，x表示输入的d_mask像素值，y表示输出的dark_enhance像素值，x，y均为[0，1]之间的32位浮点数，d＝4145280，d_value表示暗部增强系数。

其中，在上述发明中，所述的暗部融合d_merge操作，按照以下函数执行

fth＝pmask/255

d_merge＝fth*porg+(1-fth)*pnew

其中，d_merge表示暗部融合后的像素值，fth表示处理的暗部区域dark_mask的像素值，porg表示当前视频帧图像frame的像素值，pnew表示dark_enhance的像素值。

其中，在上述发明中，所述的merge_enhance操作，按照以下函数执行：

a＝-(255*(h-128))/d

b＝(65025*h-4177920)/d

h＝128/(1.0-b_value)

y＝(ax+b)x

r＝y+(y-128)*c_value

其中，x表示输入的d_merge像素值，r表示输出的merge_enhance像素值，x，r均为[0，1]之间的32位浮点数，d＝4145280，b_value表示亮度调节系数，c_value表示对比度调节系数。

其中，在上述发明中，所述的高亮区域b_mask，按照以下函数执行：

max＝max(r，g，b)

其中，b_mask表示输出的高亮区域像素值，[start，end]是高亮区域像素值区间，r，g，b表示输入图像的红、绿、蓝三个颜色通道，max(r，g，b)表示r，g，b三通道的最大值，max表示merge_enhance的r，g，b三通道的最大值。

其中，在上述发明中，所述的亮部融合b_merge操作，按照以下函数执行：

fth＝pmask/255

b_merge＝fth*porg+(1-fth)*pnew

其中b_merge表示亮部融合后的像素值，fth表示高亮区域bright_mask的像素值，porg表示当前视频帧图像frame的像素值，pnew表示merge_enhance的像素值。

根据本发明的另一个方面，提供了一种视频图像处理系统，包括以下部分：解码模块，用于将视频文件解码为单个视频帧图像；增强模块，将所述单个视频帧图像进行一系列的增强操作；所述增强模块进一步包括：读取单元，用于读取解码后的视频帧图像frame；dark_mask单元，用于从视频帧图像frame提取暗部区域d_mask，并对d_mask执行方框滤波处理；dark_enhance单元，用于对dark_mask执行暗部增强处理；d_merge单元，用于对视频帧图像frame，dark_enhance和dark_mask，执行融合操作；merge_enhance单元，用于对d_merge，执行亮度和对比度调节，锐化处理；bright_mask单元，用于从merge_enhance提取高亮区域b_mask，并对b_mask执行方框滤波处理；b_merge单元，用于对视频帧图像frame，merge_enhance和bright_mask，执行融合操作；编码模块，将所述增强操作后的视频帧编码为新的视频文件。

其中，在上述发明中，所述的暗部区域d_mask，按照以下函数执行：

v1＝1-(g-y)/15g＞max(r，b)

d_mask＝d_mask*v2

其中，d_mask表示输出的暗部区域像素值，[start，end]是暗部区域像素值区间，y＝0.299*r+0.587*g+0.114*b+0.5，r，g，b表示所述当前视频帧图像frame的红、绿、蓝三个颜色通道，max(r，b)表示r通道和b通道的最大值。

其中，在上述发明中，所述的暗部区域dark_mask执行暗部增强，按照以下函数执行：

max_mean＝max(mean_r，mean_g，mean_b)

a＝-(255*(h-128))/d

b＝(65025*h-4177920)/d

h＝128/(1.0-d_value)

y＝(ax+b)x

其中，mean_r，mean_g，mean_b分别表示r，g，b三通道的均值，max(mean_r，mean_g，mean_b)表示r，g，b三通道均值的最大值，max_mean表示当前视频帧图像frame的r，g，b三通道均值的最大值，x表示输入的d_mask像素值，y表示输出的dark_enhance像素值，x，y均为[0，1]之间的32位浮点数，d＝4145280，d_value表示暗部增强系数。

其中，在上述发明中，所述的暗部融合d_merge操作，按照以下函数执行：

fth＝pmask/255

d_merge＝fth*porg+(1-fth)*pnew

其中，d_merge表示暗部融合后的像素值，fth表示处理的暗部区域dark_mask的像素值，porg表示当前视频帧图像frame的像素值，pnew表示dark_enhance的像素值。

其中，在上述发明中，所述的merge_enhance操作，按照以下函数执行：

a＝-(255*(h-128))/d

b＝(65025*h-4177920)/d

h＝128/(1.0-b_value)

y＝(ax+b)x

r＝y+(y-128)*c_value

其中，x表示输入的d_merge像素值，r表示输出的merge_enhance像素值，x，r均为[0，1]之间的32位浮点数，d＝4145280，b_value表示亮度调节系数，c_value表示对比度调节系数。

其中，在上述发明中，所述的高亮区域b_mask，按照以下函数执行：

max＝max(r，g，b)

其中，b_mask表示输出的高亮区域像素值，[start，end]是高亮区域像素值区间，r，g，b表示输入图像的红、绿、蓝三个颜色通道，max(r，g，b)表示r，g，b三通道的最大值，max表示merge_enhance的r，g，b三通道的最大值。

其中，在上述发明中，所述的亮部融合b_merge操作，按照以下函数执行：

fth＝pmask/255

b_merge＝fth*porg+(1-fth)*pnew

其中b_merge表示亮部融合后的像素值，fth表示高亮区域bright_mask的像素值，porg表示当前视频帧图像frame的像素值，pnew表示merge_enhance的像素值。

根据本发明的视频图像处理方法和系统，在提升亮度和对比度，增强暗部细节的同时，很好的保留了高亮区域，避免了高亮区域出现过亮，噪声被放大，细节丢失等情况；使用了方框滤波，比双边滤波，高斯滤波及其他滤波方法计算速度更快，边缘细节保持效果更好；没有复杂的计算公式，计算速度快，可以满足实时要求；根据不同图像类型，灵活设置暗部和高亮区域，有很大的改进空间；视频图像适用范围广，增强效果显著。

附图说明

图1为本发明视频图像处理方法的一个实施例中暗部区域提取操作的示意图；

图2为本发明视频图像处理方法的一个实施例暗部增强操作的示意图；

图3为本发明视频图像处理方法的一个实施例的流程框图；

图4为本发明一具体实施方式中，一图像帧的原始图像示例；

图5为本发明一具体实施方式中，提取暗部区域并执行方框滤波处理后的效果图示例；

图6为本发明一具体实施方式中，提取暗部区域，执行方框滤波和暗部增强处理后的效果图示例；

图7为本发明一具体实施方式中，对原始图像，对提取的暗部区域及方框滤波处理后的图像，对提取暗部区域、方框滤波及暗部增强处理后的图像三者进行融合处理后的效果图示例；

图8为本发明一具体实施方式中，对融合处理后的图像进行亮度和对比度调节，锐化处理后的效果图示例；

图9为本发明一具体实施方式中，对融合处理后的图像进行亮度和对比度调节，锐化处理后图像提取高亮区域并执行方框滤波处理后的效果图示例；

图10为本发明一具体实施方式中，对原始图像，对提取的高亮区域及方框滤波处理后的图像，对融合处理后的图像进行亮度和对比度调节，锐化处理后图像三者进行再次融合处理后的效果图示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。

首先，介绍本发明中所使用的、对图像进行暗部区域提取处理的具体算法。先根据输入图像frame的r、g、b三通道计算亮度分量y＝0.299*r+0.587*g+0.114*b+0.5，再根据分段函数

得到d_mask的像素值；如果g＞max(r，b)，将d_mask的像素值归一化到[0.2，1]，归一化过程为：令v1＝1-(g-y)/15，得到

d_mask＝d_mask*v2

其中，d_mask表示输出的暗部区域像素值，[start，end]是暗部区域像素值区间，max(r，b)表示r通道和b通道的最大值。

随后，介绍本发明中所使用的方框滤波算法。方框滤波是线性滤波中最简单的，其等价于图像与全部元素值为1的核函数进行卷积再进行尺度缩放。方框滤波用k×k窗口中的像素值平均后输出，核函数为：

该算法计算速度快，效果良好。通过对d_mask执行方框滤波，得到dark_mask。

经过大量测试，申请人发现，当暗部区域像素值区间设置为[start，end]＝[30，40]时，暗部增强的效果相对比较好。

随后，介绍本发明中所使用的暗部增强算法。首先计算输入图像dark_mask的r、g、b三通道均值的最大值max_mean，然后，根据分段函数

调节暗部增强系数d_value，随后，根据二次曲线y＝(ax+b)x，其中

a＝-(255*(h-128))/d，b＝(65025*h-4177920)/d，h＝128/(1.0-d_value)，

得到暗部增强处理后的结果dark_enhance。

随后，介绍本发明中所使用的暗部融合算法。暗部融合是将原始图像frame，暗部区域dark_mask和暗部增强dark_enhance三者的像素值做线性融合，计算函数如下：

其中，d_merge表示暗部融合后的像素值，fth表示处理的暗部区域dark_mask的像素值，porg表示当前视频帧图像frame的像素值，pnew表示dark_enhance的像素值。

最后，介绍本发明中所使用的亮度和对比度调节，锐化处理算法。亮度和对比度调节公式如下：

其中，x表示输入的d_merge像素值，r表示输出的merge_enhance像素值，x，r均为[0，1]之间的32位浮点数，d＝4145280，b_value表示亮度调节系数，c_value表示对比度调节系数。锐化处理使用了usm算法。usm锐化会使临界像素两端的像素产生与原来像素或明或暗的变化，是一个加强和拉大临界像素反差的操作过程，变不明显的模糊界线为明显界线，使我们看上去感到图像变清晰了。usm算法过程为：对输入merge_enhance做高斯模糊处理，模糊半径radius，得到模糊图像blurimage；merge_enhance与模糊图像blurimage做差，得到diffimage；如果diffimage的像素值大于阈值threshold，最终锐化图像merge_enhance＝merge_enhance+diffimage*amout/100；如果diffimage的像素值小于等于阈值threshold，merge_enhance不做处理。

随后，介绍本发明中所使用的高亮区域提取的处理过程。先计算merge_enhance的r，g，b三通道的最大值max，然后根据

计算得到b_mask图像。其中，[start，end]是高亮区域像素值区间。再对b_mask图像执行方框滤波处理，得到bright_mask图像。

最后，介绍本发明中所使用的亮部融合的处理过程。融合公式如下：

其中b_merge表示亮部融合后的像素值，fth表示高亮区域bright_mask的像素值，porg表示当前视频帧图像frame的像素值，pnew表示merge_enhance的像素值。

经过大量测试，申请人发现，当高亮区域像素值区间设置为[start，end]＝[100，200]时，亮部融合后的效果相对比较好。

接下来，将参考图3，阐述本发明实施方法的各具体实施步骤：

首先，解码视频文件为单个视频帧。

随后，针对读取的单个视频帧，按照顺序执行如下处理过程：

首先提取当前视频帧frames的暗部d_mask，并对d_mask，执行方框滤波处理，得到dark_mask图像；

随后，针对dark_mask图像，执行暗部增强处理，得到dark_enhance图像；

随后，针对dark_enhance图像，dark_mask图像和当前视频帧frames执行暗部融合处理，得到d_merge图像；

随后，针对d_merge图像，执行亮度和对比度调节，锐化处理，得到merge_enhance图像；

随后，针对merge_enhance图像，执行高亮区域b_mask提取，并对b_mask执行方框滤波，得到bright_mask图像；

随后，针对bright_mask图像，merge_enhance图像和当前视频帧frames执行亮部融合操作，得到b_merge图像；

最后，针对b_merge图像，执行编码处理。

当所有的视频帧处理完毕后，输出编码得到的新视频。

具体的，以下以电影“海上钢琴师”中的某单个视频帧(图4，分辨率1920*1080)为例，说明对其进行的处理过程。首先，对图4执行暗部区域提取处理(公式1)，如果g＞max(r，b)，令v1＝1-(g-y)/15，将暗部区域提取结果进行归一化(公式2)，其中[start，end]＝[30，40]，再进行方框滤波处理，得到dark_mask图像(图5)；其次，对图5进行暗部增强处理(公式3)，得到dark_enhance图像(图6)，其中暗部增强系数d_value＝0.15；其次，对图4，图5和图6进行暗部融合处理(公式4)，得到d_merge图像(图7)；对图7进行亮度和对比度调节处理(公式5)及usm锐化处理，得到merge_enhance图像(图8)，其中亮度调节系数b_value＝0.1，对比度调节系数c_value＝0.1，usm阈值threshold＝0，amout＝20；其次，对图8进行高亮区域提取(公式6)及方框滤波，得到b_merge图像(图9)，其中[start，end]＝[100，200]；最后，对图4，图8和图9进行亮部融合处理(公式7)，得到最终处理图像(图10)。

处理前的原图参见图4，各步骤处理后的结果以及最终结果参见图5-图10。从视觉效果来看，图6中的效果图比原图通透了很多，暗部细节也丰富了很多；例如，图6中人物衣服上的褶皱比图4更清楚，乐器的质感也比图4更突出；图7比图6的细节轮廓更明显，亮度变得比较柔和；图8比图7在亮度和对比度方面都有所提升，图中乐器看着更有光泽，通透性更好；图10比图8突出了暗部细节，亮部细节，整体图像更有层次感和通透感，清晰度更好一些。

应当理解的是，在提取暗部区域和高亮区域之后，为了保持边缘的过渡自然及比较快的计算速度，使用了方框滤波方法。除了使用方框滤波方法，还可以使用双边滤波、高斯滤波等类似方法；在暗部增强过程中，我们还可以有选择地使用伽玛逆变换，或者拟合适合暗部区域的二次曲线，或者增加锐化等处理。

综上可知，采用上述流程，本发明所实现的视频图像细节增强方法与系统，在提升亮度和对比度，增强暗部细节的同时，很好的保留了高亮区域，避免了高亮区域出现过亮，噪声被放大，细节丢失等情况；使用了方框滤波方法，计算速度快，边缘细节保持效果好；根据不同图像类型，灵活设置暗部和高亮区域，有很大的改进空间；视频图像适用范围广，增强效果显著；没有复杂的计算公式，计算速度快，可以满足实时要求。

该方法与系统可以嵌入在视频编码系统或其它视频处理系统中，也可以放在客户端使用，在改善视频质量的同时提高了视频增强的灵活性。

本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。