基于尺度混合模型和低秩逼近的视频去噪方法与流程

本发明涉及视频去噪领域，具体的为一种基于尺度混合模型和低秩逼近的视频去噪方法，可应用于视频多媒体、遥感影像、医学影像等领域。
背景技术：
：视频序列在存储和传送过程中不可避免地会收到噪声的干扰，会直接关系到后续的视频处理应用，如目标跟踪、目标识别、视频压缩等，所以在视频处理中,视频去噪起着非常重要的作用。视频获取过程会引入高斯噪声，然而摄像设备中的坏点或者传输误差会引入脉冲噪声。脉冲噪声可以分为椒盐噪声和随机值噪声，受椒盐噪声影响的像素值为0或者255，而受随机值噪声影响的像素值随机分布在0到255之间。很多实际情况下，视频经常受到高斯和脉冲混合噪声的干扰，所以对于视频序列，同时去除高斯和脉冲噪声是很有必要的。传统的中值滤波方法对去除脉冲噪声具有不错的去除效果，基本思想是将视频序列变成一帧帧的图像单独处理，将每帧图像中受到脉冲噪声影响的像素点的像素值用它的邻域中值来代替，让邻域的像素值接近真实值。这类方法只考虑了脉冲噪声，不能很好地去除混合噪声。目前去除高斯噪声的方法主要在空域和变换域中进行处理，更多针对单帧图像。空域滤波是在原图像上直接进行数据运算，对像素的灰度值进行处理。常见的空域滤波方法有非局部均值滤波NLM，基于稀疏表示和KSVD字典学习滤波KSVD的方法等。变换域滤波方法是对图像进行某种变换，将图像从空域转换到变换域，再对变换域中的变换系数进行处理，最后进行反变换将图像从变换域转换到空域来达到去除噪声的目的。常见的变换域滤波方法有小波变换方法、三维块匹配去噪滤波BM3D法等。这类方法只考虑了高斯噪声，不能有效去除脉冲噪声。为了解决上述的问题，最近提出的能量变分方法通过求解目标函数最小化问题能够同时去除高斯脉冲混合噪声，取得很不错的效果。其中：第一类方法是TwoStages方法，该方法首先检测出受脉冲噪声影响的像素点的位置，然后将去噪问题看成一个图像填充问题，充分利用图像现有的像素信息重构出丢失的信息。第二类方法是将脉冲噪声看成奇异点，不直接检测出脉冲噪声的位置，而是直接通过求解最小化目标函数迭代出清晰图像视频。这两类方法由于均缺乏考虑前后帧之间的相关性，且没有完全利用视频中的现有信息，因而会丢失视频中的有用纹理信息，造成视频局部模糊，影响后续视频处理。技术实现要素：本发明的目的在于针对上述现有方法的不足，提出一种基于尺度混合模型和低秩逼近的视频去噪方法，极大提升重建视频的质量。实现本发明目的技术思路是：充分考虑视频前后图像帧之间的相关性，通过多帧图像非局部相似图像块的低秩逼近获取干净图像块，通过拉普拉斯尺度混合模型对单帧图像中的奇异点进行合理的建模，其实现方案包括如下：(1)对输入含噪视频序列y＝{y1,...,yt,...,yT}∈RM×N×T进行中值滤波预处理，得到初始估计视频其中yt∈RM×N代表含噪视频y的第t帧图像，代表初始视频y0的第t帧图像，t∈{1,2,...,T}，T代表视频中的图像帧数，M和N代表单帧图像的维度；(2)利用初始估计视频y0中的第t-1帧图像第t帧图像和t+1帧图像创建的相似块矩阵Xi,t，生成相似块矩阵索引集合Gi,t：Xi,t=[xi1,t,xi2,t-1,...,xis,t,...,xim,t+1]]]>Gi,t=[(i1,t),(i2,t-1)...,(is,t),...,(im,t+1)],]]>其中表示为第s个与xi,t相似并且从中提取的大小为n的图像块，i＝1,2,...,I，I为聚类后相似块矩阵的个数，(is,t)代表对应的索引，s＝1,2,...,m，m为相似块的个数；(3)联合第t帧含噪图像yt的前后P帧含噪图像yt-1和yt+1，获得去噪后的图像这里P取1：(3a)利用拉普拉斯尺度混合模型，将奇异点矩阵分解为隐性变量因子θ和拉普拉斯变量β的点乘积：s^t=argminθ,s^t=θ·β||yt-x^t-θ·β||22+4σw2Σjlog(θj+ϵ)+22Σj|βj|]]>其中·代表点乘，βj和θj分别代表β和θ的第j个元素，j＝1,2,...,mn，是高斯噪声的方差，ε＝10-5，用来保证计算的稳定性；(3b)对(3a)的分解式进行计算，得到隐性变量因子θ和拉普拉斯变量β：(3b1)将(3a)的分解式转化为如下目标函数，计算隐性变量因子θ：θ=argminθ||yt-x^t-θ·β||22+4σw2Σjlog(θj+ϵ);]]>(3b2)将(3a)的分解式转化为如下目标函数，计算拉普拉斯变量β：β=argminβ||yt-x^t-θ·β||22+22Σj|βj|;]]>(3b3)通过(3b1)计算出的θ和(3b2)计算出的β得到奇异点矩阵(3c)利用非局部低秩模型和(3b3)得到的计算去噪后的图像(3d)重复(3a)-(3c)共L次，按步骤(2)中的方法在恢复后的视频图像中更新相似块矩阵Xi,t和索引集合Gi,t；(3e)重复(3a)-(3d)共Q次，Q为迭代次数最大值，得到去噪后的图像(4)重复(3a)-(3e)共T次，重构出的干净视频序列：本发明与现有技术相比具有以下优点：第一，用拉普拉斯尺度混合模型更好地刻画了奇异点的空间统计分布，具有更好的表达能力。第二，利用前后帧的相关性，更好地结合视频序列中的信息。附图说明图1为本发明的总流程图；图2为本发明仿真实验所用的含噪视频Bus中的第25帧图像；图3为本发明仿真实验所用的无噪视频Bus中的第25帧图像；图4为用AMF方法对含噪视频Bus进行去噪得到重构视频中的第25帧图像；图5为用VBM3D方法对含噪视频Bus进行去噪得到重构视频中的第25帧图像；图6为用SLR方法对含噪视频Bus进行去噪得到重构视频中的第25帧图像；图7为用本发明方法对含噪视频Bus进行去噪得到重构视频中的第25帧图像。具体实施方式以下参照附图，对本发明方案技术方案和效果进行详细说明：参照图1，本发明的实现步骤如下：步骤1，对输入含噪视频序列y进行中值滤波预处理，得到初始估计视频y0。(1a)对含噪视频y＝{y1,...,yt,...,yT}∈RM×N×T中第t帧含噪图像yt∈RM×N中的第i个像素进行中值滤波，即以为中心取大小为n的图像块xi,t，取图像块xi,t内部像素的中值为Me，若的绝对值大于或者等于预先设置的阈值τ，认为像素为脉冲噪声，中值滤波后它的像素值否则，认为像素没有受脉冲噪声影响，中值滤波后像素值保持不变，其中t∈{1,2,...,T}，T代表视频中的图像帧数，M和N代表单帧图像的维度；(1b)重复(1a)MN次，得到yt经过中值滤波后的初始估计图像代表初始视频的第t帧图像；(1c)重复(1b)共T次，得到初始估计视频y0。步骤2，利用初始估计视频y0中的第t-1帧图像第t帧图像和t+1帧图像创建的相似块矩阵Xi,t，生成相似块矩阵索引集合Gi,t。(2a)将初始估计图像和按步长3分成大小为n的块，得到相似块集合Ct＝[x1,t,x2,t,x3,t,...]，Ct-1＝[x1,t-1,x2,t-1,x3,t-1,...]和Ct+1＝[x1,t+1,x2,t+1,x3,t+1,...]，Ct，Ct-1和Ct+1在初始估计图像和中的位置索引分别为At＝[1,2,3,...]，At-1＝[1,2,3,...]和At+1＝[1,2,3,...]；(2b)采用最近邻方法在xi,t-1、xi,t和xi,t+1周围找到与xi,t相似的m个相似块，得到相似块矩阵：Xi,t=[xi1,t,xi2,t-1,...,xis,t,...,xim,t+1],]]>其中，xi,t-1、xi,t和xi,t+1分别为在初始估计图像和内以第i个像素为中心的大小为n的图像块，表示为第s个与xi,t相似并且从中提取的大小为n的图像块，i＝1,2,...,I，I为聚类后相似块矩阵的个数，s＝1,2,...,m，m为相似块的个数；(2c)生成相似块矩阵Xi,t的索引：Gi,t＝[(i1,t),(i2,t-1)...,(is,t),...,(im,t+1)]，(is,t)∈At为在的位置索引。步骤3，联合第t帧含噪图像yt的前后P帧含噪图像yt-1和yt+1，获得去噪后的图像这里P取1。(3a)设置循环次数t＝1,2,..,T，设置相似块矩阵更新次数1≤L≤Q，设置最大循环次数Q≥2，本实例取L＝2，Q＝4；(3b)利用拉普拉斯尺度混合模型，将奇异点矩阵分解为隐性变量因子θ和拉普拉斯变量β的点乘积：s^t=argminθ,s^t=θ·β||yt-x^t-θ·β||22+4σw2Σjlog(θj+ϵ)+22Σj|βj|,]]>其中·代表点乘，βj和θj分别代表β和θ的第j个元素，j＝1,2,...,mn，是高斯噪声的方差，ε＝10-5，用来保证计算的稳定性；(3c)对(3b)的分解式进行计算，得到隐性变量因子θ和拉普拉斯变量β：(3c1)将(3b)的分解式转化为如下目标函数：其中θ为待计算的隐性变量因子；(3c2)将步骤(3c1)中的目标函数转化如下方程式：θj=argminθj||ytj-xtj-θjβj||22+4σw2log(θj+ϵ)s.t.θj≥0,---<1>]]>其中θj，βj，和分别代表θ，β，yt和xt的第j个元素；将上式<1>按θj展开：θj=βj2θj2+2βj(ytj-xtj)θj+(ytj-xtj)2+4σw2log(θj+ϵ)s.t.θj≥0,---<2>]]>省略常数项并令使式<2>简化为：θj=argminθjaθj2+bθj+clog(θj+ϵ),s.t.θj≥0;---<3>]]>(3c3)令式<3>的右边为f(θj)对f(θj)求导，得到：∂f(θj)∂θj=2aθj+b+c1θj,]]>令得到θj的解为：其中(3c4)将(3b)的分解式转化为如下目标函数：其中β为待计算的计算拉普拉斯变量；(3c5)将步骤(3c4)中的目标函数转化如下方程式：βj=argminβj||ytj-xtj-θjβj||22++22|βi|,]]>其中θj，βj，和分别代表θ，β，yt和xt的第j个元素；(3c6)通过对(3c5)中的方程式进行软阈值法，得到βj的解：βj=z-τj,ifz≥τjz+τj,ifz≤-τj0,otherwise,]]>其中为阈值。(3c7)通过(3c3)计算出的θ和(3c6)计算出的β得到奇异点矩阵(3d)利用非局部低秩模型和(3c6)得到的计算去噪后的图像(3d1)将相似块矩阵Xi,t进行如下奇异值分解：svd(Xi,t)＝(Oi,t,Λi,t,Vi,t)，其中，svd表示奇异值分解符号，Oi,t和Vi,t分别代表左奇异矩阵和右奇异矩阵，diag表示对角线矩阵，表示奇异值矩阵Λi,t对角线上的第r个奇异值元素，r∈{1,2,..,R}，R＝min(n,m)；(3d2)根据(3d1)计算出的计算第k次迭代阈值矩阵对角线的第r个元素如下：wir,tk=1λir,tk+ϵ,]]>其中，k∈{1,2,..,G}，G为最大迭代次数，代表第k次迭代阈值矩阵对角线的第r个元素；(3d3)根据奇异值阈值法得到替换矩阵为：Lik=Oi,tSτ(Λi,t)Vi,t,]]>其中阈值(3d4)根据上述参数将增广拉格朗日算子更新为：Uik+1=Uik+μ(Xi,t-Lik),]]>其中：μk+1＝1.2μk；(3d5)重复(3d1)～(3d4)共G次，输出估计值μ＝μG；(3d6)重复(3d1)～(3d5)共I次得到矩阵Li,i＝1,2,...,I，，然后计算为：x^t=(2σw2μΣiR~iTR~i+E)-1(yt-s^t+2σw2μΣiR~iT(Li-Ui2μ)),]]>其中代表从图像中以像素点is为中心点抽取图像块的操作，s＝1,2,...,m，m为相似块的个数，E代表单位矩阵。(3e)重复步骤(3b)-(3d)共L次，按步骤(2)方法在优化过的视频图像中更新相似块矩阵Xi,t和索引集合Gi,t；(3f)重复(3a)-(3e)共Q次，Q为迭代次数最大值，得到去噪后的图像步骤4，重复(3a)-(3f)共T次，重构出干净的视频序列：本发明的效果可以通过如下仿真实验具体说明：1.仿真条件：1)仿真实验所用编程平台为MatlabR2015b；2)仿真实验所用含噪视频Bus遭受高斯噪声σw＝10，脉冲噪声比率r＝20％的影响；视频共包括50帧图像，其中第25帧的图像如图2所示；3)仿真实验所用无噪视频为Bus中的第25帧图像，如图3所示；4)仿真试验中，采用峰值信噪比PSNR指标来评价去噪实验结果，视频平均峰值信噪比PSNR定义为：PSNR=1PΣt10log10(2552Σ||xt-x^t||2)]]>其中，xt为原无噪图像，为恢复出来的图像。2.仿真内容：仿真1，采用现有AMF方法，对含噪视频Bus进行去噪，去噪后视频的第25帧图像，如图4所示。仿真2，采用现有VBM3D方法，对含噪视频Bus进行去噪，去噪后视频的第25帧图像，如图5所示。仿真3，采用现有SLR方法，对含噪视频Bus进行去噪，去噪后视频的第25帧图像，如图6所示。仿真4，采用本发明方法对含噪视频Bus进行去噪，去噪后视频的第25帧图像，如图7所示。从图4-图7所显示的恢复结果可以看出，本发明恢复出来的视频比其他方法恢复出来的视频更干净，清晰，图像边缘更锐利，视觉效果更好。将AMF方法、VBM3D方法、SLR方法和本发明方法分别对含噪视频Bus进行去噪，得到的平均峰值信噪比PSNR进行比较，结果见表1。表1恢复视频的平均峰值信噪比PSNR值(单位dB)从表1可以看出，在高斯噪声标准差等于10，脉冲噪声比例为20％时，本发明的峰值信噪比PSNR比现有VBM3D和SLR方法要平均高出5.14dB和1.1dB，比现有的AMF方法高出6.94dB。当前第1页1 2 3