一种视频图像增强的方法和装置与流程

本发明涉及图像处理技术，尤其涉及一种视频图像增强的方法和装置。

背景技术：

随着互联网技术及终端技术的发展，越来越多的用户通过智能手机或平板电脑等终端观看视频，但是由于网络带宽、拍摄技术、编解码损失及传输干扰等客观因素的影响，会导致用户在终端观看视频时，视频图像会出现图像模糊、噪声严重甚至细节丢失的情况。

针对上述情况，目前都会对视频图像进行图像锐化处理，具体过程是提取原始图像中每个像素点的高频成分，然后将高频成分累加之后再增加至对应的像素点，从而提高图像的清晰度。

但是当前针对图像进行锐化处理的过程，提取高频成分的力度需要通过人为进行固定设置，并且由于针对每个像素点均进行锐化处理来进行图像增强，从而导致图像中的噪声部分也随之增强，反而造成了较低的视觉体验。

技术实现要素：

为解决上述技术问题，本发明实施例期望提供一种视频图像增强的方法和装置，不仅能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有较强的清晰度。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种视频图像增强的方法，该方法可以包括：

根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值；

根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；

从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；

根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；

根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；

根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。

在上述方案中，所述根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值，具体包括：

获取所述当前帧每个像素点的y分量与所述上一帧的对应像素点的y分量之间差值的绝对值；

将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；

将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。

在上述方案中，所述根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量，具体包括：

分别以所述当前帧每个像素点为中心设置第二窗口；

获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；

将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。

在上述方案中，所述从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组，具体包括：

以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；

从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。

在上述方案中，所述根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值，具体包括：

通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；

根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；

根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。

在上述方案中，所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值，具体包括：

所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；

根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。

第二方面，本发明实施例提供了一种视频图像增强的装置，所述装置包括：帧级噪声检测模块、像素噪声检测模块、帧级细节检测模块、增益获取模块、像素高频生成模块和像素增强模块；其中，

所述帧级噪声检测模块，用于根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值；

所述像素噪声检测模块，用于根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；

所述帧级细节检测模块，用于从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；

所述增益获取模块，用于根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；

所述像素高频生成模块，用于根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；

所述像素增强模块，用于根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。

在上述方案中，所述帧级噪声检测模块，具体用于：

获取所述当前帧每个像素点的y分量与所述上一帧的对应像素点的y分量之间差值的绝对值；以及，

将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；以及，

将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。

在上述方案中，所述像素噪声检测模块，具体用于

分别以所述当前帧每个像素点为中心设置第二窗口；以及，

获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；以及，

将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。

在上述方案中，所述帧级细节检测模块，具体用于：

以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；

从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。

在上述方案中，所述增益获取模块，具体用于：

通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；

以及，根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；

以及，根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。

在上述方案中，所述像素高频生成模块，具体用于：

所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；以及，

根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。

本发明实施例提供了一种视频图像增强的方法和装置，基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，不仅能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有较强的清晰度。

附图说明

图1为本发明实施例提供的一种视频图像增强的方法流程示意图；

图2为本发明实施例提供的一种获取所述当前帧的帧级噪声强度指示值的流程示意图；

图3为本发明实施例提供的一种获取像素点对应的噪声权重和直流分量的流程示意图；

图4为本发明实施例提供的一种获取图像增强增益值的流程示意图；

图5为本发明实施例提供的一种视频图像增强的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例的基本思想是：基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，从而能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有更强的清晰度。

实施例一

基于上述基本思想，参见图1，其示出了本发明实施例提供的一种视频图像增强的方法流程，该方法可以包括：

s101：根据视频图像的当前帧以及上一帧的对应像素点获取当前帧的帧级噪声强度指示值；

s102：根据当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；

s103：从当前帧的像素点中，按照预设的排序策略获取当前帧对应的高频系数组；

s104：根据当前帧的帧级噪声强度指示值以及高频系数组获取图像增强增益值；

s105：根据图像增强增益值、当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；

s106：根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到当前帧图像增强后的对应帧。

对于步骤s101，需要说明的是，由于判断噪声的难点就是会出现误判，会将视频中的运动状态也判断为噪声。因此，对于单一像素点来说无法判断噪声级别，因此，可以采用统计意义的方法来判断一帧的噪声级别。可以理解地，在统计意义下对于某一像素点，如果是运动，那么前后帧差异会比较大，如果是噪声污染，那么前后帧差异会比较小。因此，示例性地，参见图2，根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值，具体包括步骤s1011至s1013：

s1011：获取当前帧每个像素点的y分量与上一帧的对应像素点的y分量之间差值的绝对值；

s1012：将差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到当前帧每个像素点对应的低通滤波结果；

s1013：将低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取当前帧的帧级噪声强度指示值。

可以理解的，像素点的y分量用于表示亮度。

优选地，针对图2所示方案的具体实现过程可以包括：

首先，选择大小为m×n的窗口；其中，m为窗口内的行坐标长度，n为窗口内的纵坐标长度；本实施例中，窗口为3x3窗口；

接着，定义当前帧的帧级噪声强度初始指示值dif_total＝0；

随后，以当前帧的当前处理像素点p(t)ij为中心，按照式1计算3x3窗口内每一点y分量与上一帧对应像素点p(t-1)ij的y分量之间差的绝对值，并将该绝对值与3x3窗口的低通滤波器进行卷积，得到当前处理像素对应的差分值difij：

其中，3x3窗口的低通滤波器优选为

接着，对当前帧的每一个像素点进行式1所示的运算，获取对应的差分值，并且将超过预设阈值thr的差分值进行累加，累加的计算公式如式2：

其中，thr的默认值为128，也就是将差分值大于128的点，视为运动位移。即dif_total∈[128,+∞)的时候，需要进行累加。

最后，当前帧的所有像素点按照式2进行累加完毕后，dif_total赋值给noise_total。这个表征当前帧的噪声信息。该噪声信息越大说明当前帧噪声越多，越小说明当前帧噪声越小。

可选地，在上述针对图2所示方案的具体实现过程中，窗口可以是大小为5x5窗口，相应的低通滤波器为式1也相应地修改为预设阈值thr的默认值可以设置为1024，从而将差分值大于1024的点，视为运动位移。即dif_total∈[1024,+∞)的时候，需要进行累加。

对于步骤s102，需要说明的是，通过s101可以得到帧级别的噪声信息，但是无法对每个像素点的噪声进行估计，对于同样的噪声污染级别，根据图像具体内容不一样，人眼对噪声带来的不悦体验不一样。平坦区域，比如蓝天，噪声给人带来的不悦体验更明显。基于这个实验结果，还需要对噪声的像素级别进行检测。可以认为大部分噪声在统计意义上符合高斯或者泊松分布，基于这一假设，针对多个窗口大小的直流分量，如果是噪声主导的区域，那是趋于稳定的；如果是细节主导的区域，那是趋于一个值的。因此，示例性地，参见图3，根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量，具体包括s1021至s1023：

s1021：分别以所述当前帧每个像素点为中心设置第二窗口；

s1022：获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；

s1023:将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。

优选地，针对图3所示方案的具体实现过程可以包括：

首先，对于每一个像素点，可以分别以当前点为中心，建立一个5x3的窗口，计算该窗口内所有子窗口，比如2x2，3x2，4x2，5x2，3x3，4x3，5x3的均值，分别记为dc_2x2，dc_3x2，dc_4x2，dc_5x2，dc_3x3，dc_4x3，dc_5x3。各子窗口对应的均值计算公式如式3：

其中m＝2，3，4，5；n＝2，3；

接着，根据式4计算各像素点的初始权重weight：

最后，根据如式5所示的选择策略得到各像素点的噪声权重。

weight＝clip3(weight0,0,weight_max)(5)

其中，weight_max优选为64。

在本实施例中，运算符clip3(weight,0,weight_max)表示：

当weight0<0时，weight＝0；

当weight0>weight_max时，weight＝weight_max；

其余情况weight＝weight0。

通过上述针对s102的具体实现过程，可以理解地，如果当前点噪声污染占主要的，那么weight将倾向于0，从而避免增强噪声；如果当前点噪声污染不严重的时候，那么weight倾向于weight_max，也就是此点按细节丰富程度来自适应的产生增强幅度，而不受weight影响。

对于步骤s103，示例性地，从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组，具体可以包括：

以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；以及，

从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。

在具体实现过程中，首先以当前帧的当前像素点pij为中心，窗口大小为m×n的窗口内的像素点与预设的高通滤波器hpf_maskmn进行卷积运算，如式6所示：

以m＝3，n＝5为例，对应的高通滤波器

接着获取当前像素点pij的高频系数hf_pij＝|tmp>>7|，其中，>>为右移运算符。

最后，从所有像素点中提取最大的n个高频系数，组成高频系数组hf_total。

需要说明的是，在高频系数组中，对应的像素点之间要保持预设的距离，优选地，预设的像素点距离disance_thr可以为6。

对于步骤s104，需要说明的是，虽然有当前帧的帧级噪声强度指示值，但这只是当前帧的噪声表征，且准确度不一定精准，而在实际的视频流中，每帧都会有变化，但是在一个时间段内的均值差距是不大的。这个特性符合噪声的统计特性。因此，示例性地，参见图4，根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值，具体包括：

s1041：通过当前帧以及在当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；

s1042：根据噪声特性均值按照预设的门限条件获取图像增强增益初始值；

s1043：根据图像增强增益初始值以及当前帧对应的高频系数组获取图像增强增益值。

优选地，针对图4所示方案的具体实现过程可以包括：

首先，以当前帧为参考点，向当前帧对应的当前时间之前取n帧，作为帧的滑窗：这里取n为16。

接着，滑窗内各帧的平均噪声其中，width和height分别为当前帧的宽度和高度。

随后，计算16帧的噪声均值

接着，根据式7获取图像增强增益初始值gain0：

其中gain_init是被初始化了的增益，这个可以由用户设定，noise_dc和frm_noise_thr也是被初始化了的噪声变量。并且<<表示左移运算符。

最后，可以根据图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值gain，具体为：

首先，计算32个高频系数之和

接着，修正增益

最后，输出最终结果gain＝clip3(gain,0,gain0)。

对于步骤s105，示例性地，根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值，具体包括：

所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；以及，

根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。

在具体实现过程中，以输入位宽为8bit为例，

首先，每个像素点对应的高频初值可以通过hfij0＝(pij-dc_3x3)*gain>>8计算得到，其中，dc_3x3为当前点为中心的3x3窗口的均值。也就是将像素点为中性的3x3窗口的均值作为直流分量。

随后，根据当前dc_3x3的值。按式8对高频初值进行修正：

由此可以得出每个像素点对应的高频值。

对于步骤s106所述的根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到当前帧图像增强后的对应帧，具体的实现过程可以如下：

针对当前帧每个像素点pij，通过式9获取图像增强之后的像素点，从而获得当前帧图像增强后的对应帧

本实施例提供了一种视频图像增强的方法，基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，从而能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有更强的清晰度。

实施例二

基于前述实施例相同的技术构思，参见图5，其示出了本发明实施例提供的一种视频图像增强的装置50，所述装置50可以包括：帧级噪声检测模块501、像素噪声检测模块502、帧级细节检测模块503、增益获取模块504、像素高频生成模块505和像素增强模块506；各模块之间的连接关系通过信号流走向表征，其中，

所述帧级噪声检测模块501，用于根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值；

所述像素噪声检测模块502，用于根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；

所述帧级细节检测模块503，用于从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；

所述增益获取模块504，用于根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；

所述像素高频生成模块505，用于根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；

所述像素增强模块506，用于根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。

在上述方案中，所述帧级噪声检测模块501，具体用于：

获取所述当前帧每个像素点的y分量与所述上一帧的对应像素点的y分量之间差值的绝对值；以及，

将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；以及，

将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。

在上述方案中，所述像素噪声检测模块502，具体用于

分别以所述当前帧每个像素点为中心设置第二窗口；以及，

获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；以及，

将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。

在上述方案中，所述帧级细节检测模块503，具体用于：

以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；

从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。

在上述方案中，所述增益获取模块504，具体用于：

通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；

以及，根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；

以及，根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。

在上述方案中，所述像素高频生成模块505，具体用于：

所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；以及，

根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。

在具体实现过程中，当前帧可以分别输入至帧级噪声检测模块501、像素噪声检测模块502、帧级细节检测模块503、像素高频生成模块505和像素增强模块506；而当前帧的上一帧可以输入至帧级噪声检测模块501。

本实施例提供了一种视频图像增强的装置50，基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，从而能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有更强的清晰度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。