面向超大噪声基于预滤波的实时视频去噪方法
【专利摘要】本发明属于视频信息处理领域，引入了预滤波思想，提供一种面向超大噪声基于预滤波的实时视频去噪方法，包括：分别采用均值降采样和高斯滤波对原图像进行了预滤波，在此基础上计算权重，而在加权平均时使用过去帧，用此前去噪后的图像代替原始图像，得到时域滤波结果，最后结合结合空间滤波结果再次进行加权平均，得到最终去噪后的图像。本发明采用预滤波思想提高了算法的去噪效果，特别是在面对超大噪声时具有十分明显的去噪效果，而且实时性好，计算资源消耗少，易于在硬件设备中实现。
【专利说明】面向超大噪声基于预滤波的实时视频去噪方法
【技术领域】
[0001]本发明属于视频信息处理领域，涉及视频去噪方法，尤其涉及一种面向超大噪声的基于图像预滤波处理的实时视频去噪方法。
【背景技术】
[0002]数字成像领域面临的重要问题之一是噪声去除问题。特别是在低照度条件下，需要增大传感器感光度ISO。这将带来比正常拍摄大数倍甚至数十倍的超大噪声。如何在低照度条件下仍然获得画质良好的成像效果是数字成像设备未来的发展方向之一。
[0003]从硬件的角度，可以采用闪光灯、红外灯、LED补光灯等辅助光源增强成像质量，但它们的作用有限。例如，闪光灯无法在连续的视频中使用，红外灯在室外场景作用距离仅有几十米，LED灯补光亮度不够，等等。而且在安防监控等应用中，有时候并不希望使用这些辅助光源而导致自己目标暴露。另一方面，就是从软件算法的角度解决降噪问题。
[0004]针对视频的软件去噪方法最初直接采用了针对图像的二维去噪方法。显然图像去噪并没有充分利用连续视频在时间上的关联性，降噪效果并不理想。目前，人们已经提出了许多针对视频三维特性的去噪方法。如基于时域块匹配与变换域的VBM3D，SURE-LET等方法，基于小波域的时空高斯尺度混合模型的ST-GSM等方法，基于小波变换与多尺度分析的WAVTHRF等方法。从效果上说，这些方法都具有一定的去噪能力，特别是VBM3D与SURE-LET两种方法。但是，这些方法普遍存在的问题是计算量大，实时性差，资源消耗多，难以应用到数字成像设备中。虽然人们也做了各种尝试将这些算法实时化，但效果并不理想。如，Katona等人实现了一种基于小波域的视频去噪方法。该方法虽然去噪效果一般，但是他们使用了两片FPGA才实现了这样一个算法。这对于一个还需要完成自动曝光、自动白平衡、坏点校正、颜色校正、伽马校正、边缘增强、强光抑制、背光补偿等整个ISP (ISP，ImageSignal Processing图像信号处理)的数字成像设备而言，消耗的资源太多，难以接受。
[0005]事实上，对于视频去噪最简单的方法就是帧累积。如果场景是静止的，且没有运动物体，那么帧累积无疑将取得最佳的去噪效果。但是如果有运动目标，那么将产生虚影现象。所以对于视频去噪，一个很重要的问题就是变化补偿，包括运动补偿、光照变化补偿等。考虑帧累积与变化补偿，再结合算法的实时性以及小计算量需求，一种简单有效的视频去噪方法是按像素值相似度加权。即视频中前后帧相同空间位置像素差异越小，各帧权重越平均；像素差异越大，当前帧权重越大。这样如果当前帧有变化出现，前后帧像素差异较大，加权平均的结果几乎只取当前帧的像素值，即进行了变化补偿。在变化的区域，由于没有时域的过去帧可用于帧累积，所以再辅以空间滤波对该区域进行去噪。Bennett等人提出的ASTA方法就是基于这个框架。虽然现有的基于像素值相似度加权的方法资源消耗少、能实时实现，而且具有一定的去噪效果，但是，在针对超大噪声去噪时，效果并不理想。因为低照度条件下的噪声，通常是正常噪声的数十倍，而低照度条件下的变化，则远小于正常光照条件。一般认为人眼可以分辨亮度差异在10左右(亮度范围0-255)的变化，但当噪声的标准差(闪动的程度)在10以上时，现有方法将很难区分噪声与正常变化。为了不引起虚影，只有保留噪声，从而导致去噪效果不佳，限制了基于像素值相似度加权方法的应用。
【发明内容】
[0006]本发明的目的在于克服现有基于像素值相似度加权方法的缺点，提出一种有效解决虚影、去噪效果良好，且实时性好，资源消耗量小，能用于数字成像设备的视频去噪方法。通过对现有算法以及其他参考方法的分析，发现如何正确求得权重是解决问题的关键。基于此，本发明提出了一种基于预滤波的实时视频去噪方法。该方法保持了原方法的实时性好、资源消耗少的特点，另一方面克服了面对超大噪声时，去噪效果不佳的问题。
[0007]本发明采用如下技术方案实现:
[0008]一种面向超大噪声基于预滤波的实时视频去噪方法，包括以下步骤:
[0009]步骤一:输入当前帧图像Yi, i表示当前帧的序号，i = 1，2，3...,对当前帧图像进行高斯滤波，得到原始分辨率的空间高斯滤波结果图像0 ;同时对当前帧图像做均值降采样，得到均值降采样后的低分辨率图像；所述均值降采样是将当前帧图像划分为若干个相同大小的降采样块，以所述降采样块中所有像素点的平均值作为该降采样块的采样值；
[0010]步骤二:对所述均值降采样后的低分辨率图像进行高斯滤波，得到低分辨率空间高斯滤波结果图像Pi, I表示当前帧的序号，i = 1，2，3...；
[0011]步骤三:存储经过步骤二处理后的低分辨率空间高斯滤波结果图像Pi ;判断当前帧是否超过第N帧，当i > N时，在存储时将时间上距当前帧最远的一帧替代，即只存储包括当前帧Pi以及当前帧之前的N帧相邻图像{Pi_N，Pi_N+1，…，PiJ ;所述N为预先设定的值；
[0012]步骤四:判断当前帧是否超过第N帧；如果否，则以步骤一得到的原始分辨率的空间高斯滤波结果图像α作为去噪后的图像Qi,进入步骤九；如果是，进入步骤五；
[0013]步骤五:读取当前帧之前的N帧相邻图像{P1-N，P1-W1,…，P1-J,并分别与当前帧空间高斯滤波结果图像Pi作差，得到N帧低分辨率的差分图；第1^帧差分图中任意点的差分值记为Apik = P1-Pk, i表示当前帧的序号，k为过去帧的序号,且k e [1-N, 1-N+1,…，1-Ι],Pi表示当前帧低分辨率的空间高斯滤波结果图像Pi中任意位置的像素值，Pk为过去帧的低分辨率的空间高斯滤波结果图像Pk中对应位置的像素值；
[0014]步骤六:以N帧低分辨率的差分图为输入，求过去N帧图像原始分辨率的权重Grt':
[0015]
【权利要求】
1.一种面向超大噪声基于预滤波的实时视频去噪方法，其特征在于包括以下步骤:步骤一:输入当前帧图像Yi, i表示当前帧的序号，I = 1，2，3...，对当前帧图像进行高斯滤波，得到原始分辨率的空间高斯滤波结果图穩P ;同时对当前帧图像做均值降采样，得到均值降采样后的低分辨率图像；所述均值降采样是将当前帧图像划分为若干个相同大小的降采样块，以所述降采样块中所有像素点的平均值作为该降采样块的采样值； 步骤二:对所述均值降采样后的低分辨率图像进行高斯滤波，得到低分辨率空间高斯滤波结果图像Pi, i表示当前帧的序号，i = 1，2，3...； 步骤三:存储经过步骤二处理后的低分辨率空间高斯滤波结果图像Pi ;判断当前帧是否超过第N帧，当i > N时，在存储时将时间上距当前帧最远的一帧替代，即只存储包括当前帧Pi以及当前帧之前的N帧相邻图像{Pi_N，Pi_N+1，…，PiJ ;所述N为预先设定的值；步骤四:判断当前帧是否超过第N帧；如果否，则以步骤一得到的原始分辨率的空间高斯滤波结果图像β:作为去噪后的图像Qi,进入步骤九；如果是，进入步骤五； 步骤五:读取当前帧之前的N帧相邻图像{Pi_N，Pi_N+1，…，PiJ，并分别与当前帧空间高斯滤波结果图像Pi作差，得到N帧低分辨率的差分图;第k帧差分图中任意点的差分值记为Apik = P1-Pk, i表示当前帧的序号，k为过去帧的序号,且k e [1-N, 1-N+1,…，1-liUPi表示当前帧低分辨率的空间高斯滤波结果图像Pi中任意位置的像素值，Pk为过去帧的低分辨率的空间高斯滤波结果图像Pk中对应位置的像素值； 步骤六:以N帧低分辨率的差分图为输入，求过去N帧图像原始分辨率的权重Grt':
2.根据权利要求1所述的面向超大噪声基于预滤波的实时视频去噪方法，其特征在于:所述步骤八中加权平均的具体方法为:以过去N帧权重和Wert为基础，最终的去噪结果计算如下:
3.根据权利要求1所述的面向超大噪声基于预滤波的实时视频去噪方法，其特征在于:所述步骤一中降采样块的大小为:当感光度IS0400及以下时降采样块的大小为3X3 ；当IS0400-1S01600时降采样 块的大小为10X10 ;当IS01600及以上时降采样块的大小为20X20。
4.根据权利要求1所述的面向超大噪声基于预滤波的实时视频去噪方法，其特征在于:所述步骤二中高斯滤波的窗口大小为5X5。
5.根据权利要求1所述的面向超大噪声基于预滤波的实时视频去噪方法，其特征在于:所述步骤三中N的值为4、6或8。
6.根据权利要求1所述的 面向超大噪声基于预滤波的实时视频去噪方法，其特征在于:所述步骤六中σ的值为1-10。
7.根据权利要求2所述的面向超大噪声基于预滤波的实时视频去噪方法，其特征在于:所述步骤八中thr的值为0.6.N。
【文档编号】G06T5/00GK103501401SQ201310462526
【公开日】2014年1月8日 申请日期:2013年10月1日 优先权日:2013年10月1日
【发明者】张茂军, 刘煜, 谭鑫, 左承林, 赖世铭, 王炜, 谭树人, 徐玮, 熊志辉, 张政 申请人:中国人民解放军国防科学技术大学, 湖南源信光电科技有限公司