一种视频去噪的方法及装置与流程

本发明涉及图像处理领域，尤其涉及一种视频去噪的方法及装置。

背景技术：

在视频编解码过程中，需要对原始视频数据进行压缩，常用的压缩编码算法通常带有系数量化过程，而量化过程的不可逆性会造成最终解码的视频数据中存在大量的蚊式噪声，蚊式噪声大多围绕在字体或者物体边缘附近，造成视频质量的下降，同时带有蚊式噪声的视频画面让观看者感觉很“脏”，影响观看者的视觉感受。为了解决上述问题，对解码后的视频进行蚊式去噪的操作，使得最终的视频看上去画面干净，提升观看者的视觉感受和视频质量。

目前，去除蚊式噪声的常用方法是采用低通滤波的方法，但是常用的低通滤波器存在如下问题：1、对整幅图像进行滤波；2、低通滤波器强度不能灵活调整，造成高频细节分量的丢失，造成视频模糊。

所以，现有技术中并不存在一种合适的去除视频中蚊式噪声的方法。

技术实现要素：

有鉴于此，本发明实施例期望提供一种视频去噪的方法及装置，以实现在去除视频中存在的蚊式噪声的同时，保留了视频中的细节，提升观看者的视觉感受和视频质量。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种视频去噪的方法，包括：检测目标视频的输入图像，获得所述输入图像中每一个像素的蚊式噪声概率；对所述输入图像进行低通滤波，获得所述每一像素所对应的滤波后的像素值；基于所述蚊式噪声概率，对所述滤波后的像素值以及所述输入图像的像素值进行加权处理， 获得输出图像的像素值，并输出所述输出图像。

在上述方案中，所述检测目标视频的输入图像，获得所述输入图像中每一个像素的蚊式噪声概率，包括：检测所述目标视频的输入图像，获得所述输入图像中每一个像素的像素类型；基于所述每一个像素的像素类型，对所述输入图像中所述每一个像素进行蚊式噪声概率估计，获得所述每一个像素的蚊式噪声概率。

在上述方案中，所述检测目标视频的输入图像，获得所述输入图像中每一个像素的像素类型，包括：对所述输入图像进行梯度检测，获得所述输入图像的每一个像素的梯度值；对所述输入图像进行局部边缘检测，获得所述输入图像的每一个像素的边缘信息值；基于所述梯度值以及所述边缘信息值，确定所述输入图像的每一个像素的像素类型。

在上述方案中，所述基于所述梯度值以及所述边缘信息值，确定所述输入图像的每一个像素的像素类型，包括：当第i个像素的所述梯度值大于等于所述第i个像素的所述边缘信息值与第一预设值之积时，将所述第i个像素的像素类型确定为边缘像素，其中，i为正整数；当所述第i个像素的所述梯度值小于所述第i个像素的所述边缘信息值与第一预设值之积，且大于等于所述第i个像素的所述边缘信息值与第二预设值之积时，将所述第i个像素的像素类型确定为细节像素，其中，所述第一预设值不同于所述第二预设值；当所述第i个像素的所述梯度值小于所述第i个像素的所述边缘信息值与所述第一预设值之积，且小于所述第i个像素的所述边缘信息值与所述第二预设值之积时，将所述第i个像素的像素类型确定为平坦像素。

在上述方案中，所述对所述输入图像进行低通滤波，获得所述每一像素所对应的滤波后的像素值，包括：基于所述每一个像素的边缘信息值和所述输入图像的像素值进行低通双边滤波，获得所述每一像素所对应的滤波后的像素值。

在上述方案中，所述基于所述每一个像素的像素类型，对所述输入图像中所述每一个像素进行蚊式噪声概率估计，获得所述每一个像素的蚊式噪声概率，包括：对第i个像素以及M个邻域像素的像素类型进行统计，其中，所述邻域 像素为所述第i个像素周围的像素；基于统计结果，确定所述第i个像素的蚊式噪声概率。

在上述方案中，所述基于统计结果，确定所述第i个像素的蚊式噪声概率，包括：基于所述第i个像素以及所述M个像素中像素类型为平坦像素的像素数目占像素类型为细节像素的像素数目与像素类型为边缘像素的像素数目之和的比例，确定所述第i个像素的蚊式噪声概率。

第二方面，本发明实施例提供一种视频去噪装置，包括：检测单元、滤波单元以及输出单元；其中，所述检测单元，用于检测目标视频的输入图像，获得所述输入图像中每一个像素的蚊式噪声概率；所述滤波单元，用于对所述输入图像进行低通滤波，获得所述每一像素所对应的滤波后的像素值；所述输出单元，用于基于所述蚊式噪声概率，对所述滤波后的像素值以及所述输入图像的像素值进行加权处理，获得输出图像的像素值，并输出所述输出图像。

在上述方案中，所述检测单元，具体包括：像素类型检测单元，用于检测所述目标视频的输入图像，获得所述输入图像中每一个像素的像素类型；噪声概率估计单元，用于基于所述每一个像素的像素类型，对所述输入图像中所述每一个像素进行蚊式噪声概率估计，获得所述每一个像素的蚊式噪声概率。

在上述方案中，所述像素类型检测单元，具体包括：梯度检测单元，用于对所述输入图像进行梯度检测，获得所述输入图像的每一个像素的梯度值；边缘检测单元，用于对所述输入图像进行局部边缘检测，获得所述输入图像的每一个像素的边缘信息值；像素类型确定单元，用于基于所述梯度值以及所述边缘信息值，确定所述输入图像的每一个像素的像素类型。

在上述方案中，所述像素类型确定单元，具体用于当第i个像素的所述梯度值大于等于所述第i个像素的所述边缘信息值与第一预设值之积时，将所述第i个像素的像素类型确定为边缘像素，其中，i为正整数；还用于当所述第i个像素的所述梯度值小于所述第i个像素的所述边缘信息值与第一预设值之积，且大于等于所述第i个像素的所述边缘信息值与第二预设值之积时，将所述第i个像素的像素类型确定为细节像素，其中，所述第一预设值不同于所述第二预 设值；还用于当所述第i个像素的所述梯度值小于所述第i个像素的所述边缘信息值与所述第一预设值之积，且小于所述第i个像素的所述边缘信息值与所述第二预设值之积时，将所述第i个像素的像素类型确定为平坦像素。

在上述方案中，所述滤波单元，具体用于基于所述每一个像素的边缘信息值和所述输入图像的像素值进行低通双边滤波，获得所述每一像素所对应的滤波后的像素值。

在上述方案中，所述噪声概率估计单元，具体包括：像素类型统计单元，用于对第i个像素以及M个邻域像素的像素类型进行统计，其中，所述邻域像素为所述第i个像素周围的像素；概率计算单元，用于基于统计结果，确定所述第i个像素的蚊式噪声概率。

在上述方案中，所述概率计算单元，具体用于基于所述第i个像素以及所述M个像素中像素类型为平坦像素的像素数目占像素类型为细节像素的像素数目与像素类型为边缘像素的像素数目之和的比例，确定所述第i个像素的蚊式噪声概率。

本发明实施例提供了一种视频去噪的方法及装置，该装置检测目标视频的输入图像，获得输入图像中每一个像素的蚊式噪声概率，同时，对输入图像进行低通滤波，获得每一像素所对应的滤波后的像素值；然后，基于蚊式噪声概率，对滤波后的像素值以及输入图像的像素值进行加权处理，获得输出图像的像素值，并输出该输出图像。也就是说，对于目标视频的每一帧图像来说，仅对蚊式噪声概率比较大的像素进行滤波，其它的像素不进行处理，如此，不仅能够去除视频中存在的蚊式噪声，同时也保留了视频中的细节，提升观看者的视觉感受和视频质量。

附图说明

图1为本发明实施例中的视频去噪的方法流程示意图；

图2为本发明实施例中的获得每一个像素蚊式噪声概率的方法流程示意图；

图3为本发明实施例中的3×3的模板的示意图；

图4为本发明实施例中的11×11的模板的示意图

图5为本发明实施例中的5×5的模板的示意图；

图6为本发明实施例中的函数w_i,j的曲线的示意图；

图7为本发明实施例中的函数edge_gain_i,j的曲线的示意图；

图8为本发明实施例中的视频去噪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供一种视频去噪的方法，应用于视频去噪装置中，该装置可以设置在如智能手机、平板电脑、智能电视、多媒体播放器等中，本发明不做具体限定。

参见图1所示，该方法包括：

S101：检测目标视频的输入图像，获得输入图像中每一个像素的蚊式噪声概率；

在具体实施过程中，参见图2所示，S101可以包括：

S201：检测目标视频的输入图像，获得输入图像中每一个像素的像素类型；

在实际应用中，S201包括：对输入图像进行梯度检测，获得输入图像的每一个像素的梯度值；对输入图像进行局部边缘检测，获得输入图像的每一个像素的边缘信息值；基于梯度值以及边缘信息值，确定输入图像的每一个像素的像素类型。

这里，梯度检测过程主要用于检测当前点的梯度，而局部边缘检测过程主要用于检测当前像素周围是否存在与当前像素差异较大的像素。上述两个处理过程可以同时进行，也可以先后依次进行，本发明不做具体限定。

首先，介绍梯度检测流程。

例如，梯度检测模板为如图3所示的3×3的模板，梯度检测输出记为grad， 每一个像素对应一个梯度值。那么，对于上述模板中内第i个像素，即中心点(0，0)的像素值x_0,0的梯度值grad_0,0，可以通过以下公式(1)获得：

其中，MAX表示取所有数据的最大值，x_i,j表示模板内相对中心点(0，0)偏移量是(i，j)的周边像素的像素值，abs(x_0,0-x_i,j)为模板内相对中心点(0，0)偏移量取整后的绝对值。

可以理解地，这里的3×3模板只是一个例子，任何其它大小的模板都可以用来作为模板的，本发明不做具体限定。

接下来，介绍局部边缘检测过程。

例如，局部边缘检测模板仍为如图4所示的11×11的模板，局部边缘检测输出记为edge，每一个像素对应一个边缘信息值，那么，对于上述模板中内第i个像素，即中心点(0，0)的像素值x_0,0的边缘信息值edge_0,0，可以通过以下公式(2)获得。

其中，MAX表示取所有数据的最大值，x_i,j表示模板内相对中心点(0，0)偏移量是(i，j)的周边像素的像素值，abs(x_0,0-x_i,j)为模板内相对中心点(0，0)偏移量取整后的绝对值。

需要说明的是，在进行局部边缘检测时，任何其它大小的模板都可以用来作为模板的，较优地，要大于梯度检测时模板的大小。

那么，在获得每一个像素的梯度值和边缘信息值之后，基于这两个值来判断每一个像素的像素类型了。

具体来说，将像素类型分为3类，即平坦像素(FLAT)、细节像素(TEXTURE)、边缘像素(EDGE)，那么，当通过上述过程获得的第i个像素的梯度值大于等于第i个像素的边缘信息值与第一预设值之积时，将第i个像素的像素类型确定为边缘像素；当第i个像素的梯度值小于第i个像素的边缘信息 值与第一预设值之积，且大于等于第i个像素的边缘信息值与第二预设值之积时，将第i个像素的像素类型确定为细节像素；当第i个像素的梯度值小于第i个像素的边缘信息值与第一预设值之积，且小于第i个像素的边缘信息值与第二预设值之积时，将第i个像素的像素类型确定为平坦像素。

这里，第一预设值为当像素类型为边缘像素时，像素的梯度值和边缘信息值比例的下限，第二预设值为当像素类型为细节像素时，像素的梯度值和边缘信息值比例的下限。第一预设值与第二预设值不相同，这两个参数都为系统输入参数，可以根据用户不同需求进行配置，较优地，第一预设值配置为0.6，第二预设值配置为0.2。

例如，每一个像素的像素类型记为type，那么，图像空间坐标为(m，n)的像素的像素类型type_m,n，具体可以通过公式(3)获得。

其中，reg_edge_ratio表示上述第一预设值，reg_text_ratio表示上述第二预设值。grad_i,j表示模板内相对中心点(0，0)偏移量是(i，j)的周边像素的梯度值，edge_i,j表示模板内相对中心点(0，0)偏移量是(i，j)的周边像素的边缘信息值。

S202：基于每一个像素的像素类型，对输入图像中每一个像素进行蚊式噪声概率估计，获得每一个像素的蚊式噪声概率。

具体来说，通过S201获得的每一个像素的像素类型之后，在对当前像素进行蚊式噪声概率时，首先，取当前像素周围一定范围内的M个像素，然后，对这M+1个像素，即第i个像素及第i个像素周围的M个像素的像素类型进行统计，然后，基于统计结果，确定第i个像素的蚊式噪声概率。如果得到的蚊式噪声概率数值越大，则表示第i个像素是蚊式噪声的可能性越大，反之，则表示第i个像素是蚊式噪声的可能性越小。

例如，蚊式噪声概率估计所使用的模板为如图5所示的5×5的模板，蚊式 噪声概率输出记为probability，每一个像素对应一个蚊式噪声概率。那么，对于上述模板中内第i个像素，即中心点(0，0)的像素值x_0,0的蚊式噪声概率值posibility_0,0，可以通过以下公式(4)获得。

其中，type_i,j表示模板内相对中心点(0，0)偏移量为(i，j)的像素的像素类型，type_i,j＝＝FLAT表示模板内相对中心点(0，0)偏移量为(i，j)的像素的像素类型为平坦像素，type_i,j＝＝TEXTURE表示模板内相对中心点(0，0)偏移量为(i，j)的像素的像素类型为细节像素，type_i,j＝＝EDGE表示模板内相对中心点(0，0)偏移量为(i，j)的像素的像素类型为边缘像素。

可以理解地，这里的5×5模板只是一个例子，任何其它大小的模板都可以用来作为模板的，本发明不做具体限定。

S102：对输入图像进行低通滤波，获得每一像素所对应的滤波后的像素值；

具体来说，在执行S101的同时，还可以并行执行S102，对输入图像进行双边低通滤波，获得滤波图像，这样，也就得到了每一像素所对应的滤波后的像素值。

进一步地，为了极好的保留输入图像的细节边缘，并去除蚊式噪声，S102还可以包括：基于每一个像素的边缘信息值和输入图像的像素值进行低通双边滤波，获得每一像素所对应的滤波后的像素值。

例如，低通双边滤波模板为如图3所示的3×3模板，低通双边滤波输出记为flt，每一个像素对应一个滤波后的像素值。那么，对于上述模板中内第i个像素，即中心点(0，0)的像素值x_0,0的滤波后的像素值flt_0,0，可以通过以下公式(5)获得。

其中，x_i,j表示上述模板内相对中心点(0，0)偏移量为(i，j)的领域像素，w_i,j表示上述模板内领域像素与中心点(0，0)差值的绝对值的函数，edge_gain_i,j是上述模板内相对中心点(0，0)偏移量为(i，j)的领域像素的边缘强度增益，是在局部边缘检测过程中获得的。

在具体实施过程中，w_i,j可以通过以下公式(6)获得，同时可以参照如图6所示的曲线。

其中，reg_diff_low表示两个邻域像素差值的绝对值的下限，reg_diff_high表示两个邻域像素差值的绝对值的上限，是将的值限制在区间[0,1]内。上述reg_diff_low和reg_diff_high为系统输入参数，可根据用户的需求进行配置，较优地，reg_diff_low配置为30，reg_diff_high配置为100。

进一步地，上述函数CLIP(h，low，high)可以通过以下公式(7)实现。

进一步地，由于使用的为如图3所示的3×3模板，那么，该模板内所有邻域像素的edge_gain_i,j相等，都等于中心点(0，0)的边缘强度增益。那么，edge_gain_i,j可以通过以下公式(8)获得，同时可以参照如图7所示的曲线。

其中，reg_gain_thr_low表示邻域像素的边缘信息值的下限，reg_gain_thr_high表示邻域像素的边缘信息值的上限，edge_0,0表示上述模板内中心点(0，0)的边缘强度增益。

上述reg_gain_thr_low和reg_gain_thr_high为系统输入参数，可根据用户的需求进行配置，较优地，reg_gain_thr_low配置为128，reg_gain_thr_high配置为256。

在实际应用中，对输入图像进行低通滤波的算法除了上述低通双边滤波算法之外，还可以为其它现有低通双边滤波算法，本发明不做具体限定。

总之，通过上述步骤即可获得每一个像素对应的滤波后的像素值。

S103：基于蚊式噪声概率，对滤波后的像素值以及输入图像的像素值进行加权处理，确定输出图像的像素值，并输出输出图像；

具体来说，通过以下公式(9)对对滤波后的像素值以及输入图像的像素值进行加权处理。

xout_m,n＝probability_m,n×flt_m,n+(1-probability_m,n)×x_m,n (9)

其中，xout_m,n表示图像空间坐标为(m，n)的输出图像的像素值，probability_m,n表示图像空间坐标为(m，n)的蚊式噪声概率值，x_m,n表示图像空间坐标为(m，n)的输入图像的像素值，flt_m,n表示图像空间坐标为(m，n)的滤波后的像素值。

然后，通过上述加权处理之后，得到每一像素所对应的输出图像的像素值，最后，输出该输出图像。

至此，便完成了对目标视频中一帧输入图像的去噪过程，对于该视频中每一帧输入图像均执行以上步骤进行去噪，在此不再一一赘述。

由上述可知，对于目标视频的每一帧图像来说，通过仅对蚊式噪声概率比较大的像素进行滤波，其它的像素不进行处理，如此，不仅能够去除视频中存在的蚊式噪声，同时也保留了视频中的细节，提升观看者的视觉感受和视频质量。

基于同一发明构思，本发明实施例还提供一种视频去噪装置，与上述一个或者多个实施例中所述的视频去噪装置一致。

参见图8所示，该装置包括：检测单元1、滤波单元2以及输出单元3；其 中，检测单元1，用于检测目标视频的输入图像，获得输入图像中每一个像素的蚊式噪声概率；滤波单元2，用于对输入图像进行低通滤波，获得每一像素所对应的滤波后的像素值；输出单元3，用于基于蚊式噪声概率，对滤波后的像素值以及输入图像的像素值进行加权处理，获得输出图像的像素值，并输出所述输出图像。

在上述方案中，检测单元1，具体包括：像素类型检测单元，用于检测目标视频的输入图像，获得输入图像中每一个像素的像素类型；噪声概率估计单元，用于基于每一个像素的像素类型，对输入图像中每一个像素进行蚊式噪声概率估计，获得每一个像素的蚊式噪声概率。

在上述方案中，像素类型检测单元，具体包括：梯度检测单元，用于对输入图像进行梯度检测，获得输入图像的每一个像素的梯度值；边缘检测单元，用于对输入图像进行局部边缘检测，获得输入图像的每一个像素的边缘信息值；像素类型确定单元，用于基于梯度值以及边缘信息值，确定输入图像的每一个像素的像素类型。

在上述方案中，像素类型确定单元，具体用于当第i个像素的梯度值大于等于第i个像素的边缘信息值与第一预设值之积时，将第i个像素的像素类型确定为边缘像素，其中，i为正整数；还用于当第i个像素的梯度值小于第i个像素的边缘信息值与第一预设值之积，且大于等于第i个像素的边缘信息值与第二预设值之积时，将第i个像素的像素类型确定为细节像素，其中，第一预设值不同于第二预设值；还用于当第i个像素的梯度值小于第i个像素的边缘信息值与第一预设值之积，且小于第i个像素的边缘信息值与第二预设值之积时，将第i个像素的像素类型确定为平坦像素。

在上述方案中，滤波单元2，具体用于基于每一个像素的边缘信息值和输入图像的像素值进行低通双边滤波，获得每一像素所对应的滤波后的像素值。

在上述方案中，噪声概率估计单元，具体包括：像素类型统计单元，用于对第i个像素以及M个邻域像素的像素类型进行统计，其中，邻域像素为第i个像素周围的像素；概率计算单元，用于基于统计结果，确定第i个像素的蚊 式噪声概率。

在上述方案中，概率计算单元，具体用于基于第i个像素以及M个像素中像素类型为平坦像素的像素数目占像素类型为细节像素的像素数目与像素类型为边缘像素的像素数目之和的比例，确定第i个像素的蚊式噪声概率。

这里需要指出的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。