一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统的制作方法
【专利摘要】本发明提出了一种基于3D协同滤波与低秩矩阵重建的视频去噪系统及方法，本发明首先对含噪视频进行3D协同滤波预处理，得到基础估计然后对基础估计再进行低秩矩阵重建来进行进一步的去噪，来得到最终估计；本发明主要应用于视频去噪中，特别是应用于基于3D协同滤波与低秩矩阵重建的视频去噪；同时本发明所提出去噪方法也适用于图像的去噪，对于较大分辨率的图像、视频源也具有良好的去噪效果；此外，本发明不仅对单纯的高斯噪声具有良好的去噪效果，同时对含有高斯噪声和脉冲噪声的混合噪声也具有较好的去噪效果，并且在效率上也有一定的提高，在视频图像降噪领域具有积极意义。
【专利说明】一种基于3D协同滤波与低秩矩阵重建的视频去噪方法及 系统
【技术领域】
[0001] 本发明涉及视频去噪领域，具体的为一种基于3D协同滤波与低秩矩阵重建的视 频去噪方法及系统。
【背景技术】
[0002] 视频序列在传送和存储的过程中不可避免的会受到噪声的影响，使得视频的清晰 度和实际效果大大降低。对视频序列进行去噪不仅可以提高感知质量，增进压缩编码的有 效性，而且还可以减少传输带宽和提高后续功能的效果。因此对视频序列进行去噪处理 是非常必要的。按照视频图像去噪的处理区域，可以将视频图像降噪方法分为两类：像素 域视频图像去噪方法和变换域视频图像去噪方法。像素域视频图像降噪方法直接在视频 图像内容构成的空时三维空间中抑制噪声，即直接对图像像素进行去噪，该类方法出现较 早，如经典的非局部均值滤波NLM、各向异性滤波和双边滤波等。像素域去噪方法由于在 视频图像的像素域进行处理，没有将噪声和图像信号区分开，因此会造成图像细节、边缘 的模糊。变换域滤波是一种将图像通过一定的变换进行预先处理的降噪方法，在空间域 转换到变换域，然后在变换域里对图像进行处理，处理后再反变换到空间域。常用的变换 方法有傅里叶变换和小波变换，如空时双变量高斯混合模型（Spatiotemporal Gaussian scale mixture, ST-GSM)算法、基于Stein's无偏风险估计和阈值函数线性扩展（Stein's unbiased risk estimator-linear expansion of thresholds, SURE-LET)的去噪方法 等。视频降噪方法也可以分为局部和非局部型。局部型是充分利用每个像素与其领域内 的其他像素之间的相关性来求取像素值真实值。目前较为创造性也发展迅速的是非局部 型的去噪方法，如典型的A non-local algorithm for image denoising、一种基于块匹配 和三维滤波的视频去噪方法，该算法不能很好的处理脉冲噪声在内的混合噪声、联合稀疏 与低秩矩阵逼近的视频去噪方法，该算法对含噪视频建立模型，通过加速近端梯度法（The Accelerated Proximal Gradient, APG)完成矩阵低秩逼近收敛过程，也充分利用了时域和 空域上的相关性，在高斯白噪声和其他混合噪声的去除上都取得了较优秀的去噪性能。但 是该方法通过加速近端梯度法完成收敛的过程需要多次迭代，不能很好的控制迭代步长， 方法的效率很低。
【发明内容】
[0003] 本发明要解决的技术问题是：本发明主要是解决VBM3D在去除包含脉冲噪声在内 的混合噪声时效果不佳，及利用APG进行低秩矩阵逼近去噪算法收敛慢、效率低的缺点；提 出了一种基于3D协同滤波与低秩矩阵重建的视频去噪方法及系统；
[0004] 本发明的技术方案是：一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，包 括如下步骤：
[0005] 步骤1 :对含噪视频进行3D协同滤波预处理，得到基础估计图像；
[0006] 步骤1. 1 :对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的 相似块匹配，得到每个参考块xK的相似块分组；
[0007] 步骤1. 2 :对每个参考块χκ的相似块分组进行3D协同滤波，得到每个参考块χκ的 估计值％
[0008] 步骤1. 3 :对估计值^进行聚集，得到基础估计图像；
[0009] 步骤2 :对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得到最终去噪 后的图像；
[0010] 步骤2. 1 :对步骤1得到的基础估计图像的每个图像块分别进行帧内和帧间的相 似块匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一个 相似性块矩阵Υ ;
[0011] Y = (y" y2,…ym)
[0012] 其中m为参考块对应相似块组的个数，yi，y2，…y m分别为大小为Ν?的匹配块 矩阵；
[0013] 步骤2. 2 :将矩阵Υ分解为两个矩阵Α和Ε之和，对相似性块矩阵Υ进行低秩循环 最小化逼近，得到降噪之后的低秩矩阵A ;
[0014] Y = A+E
[0015] 其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵；
[0016] 步骤3.根据步骤2输出的降噪之后的低秩矩阵A，采用均值法对重叠的像素进行 聚集，最终输出视频。
[0017] 所述的步骤1.2包括如下步骤：
[0018] 步骤1. 2. 1 :对相似块分组的每个块进行离散余弦变换；
[0019] 步骤1. 2. 2 :对离散余弦变换的结果进行沃尔什哈达玛变换得到3D变换系数；
[0020] 步骤1. 2. 3 :对3D变换系数进行硬阈值收缩，硬阈值定为2. 7 ;
[0021] 步骤1. 2. 4 :将硬阈值收缩后的系数依次进行沃尔什哈达玛逆变换，DCT逆变换得 到分组中每个图像块的估计值^;
[0022] 所述的步骤1. 3包括如下步骤：
[0023] 步骤1. 3. 1 :计算加权系数w(x, χκ);
[0024] w (x, xE) = Wi (x (xE)) · w2 (xE)
[0025] 其中，wJxUh))为选凯瑟窗系数,x(xK)为像素 x在参考块xK中的坐标；w2(xK)为 参考块的相似块分组的3D变换系数进行硬阈值收缩之后统计的非零元素个数，w 2(xK)计算 公式如下：
[0026]
【权利要求】
1. 一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特征在于，包括如下步 骤： 步骤1 :对含噪视频进行3D协同滤波预处理，得到基础估计图像；所述的步骤1包括如 下步骤； 步骤1. 1 :对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似 块匹配，得到每个参考块χκ的相似块分组； 步骤1. 2 :对每个参考块χκ的相似块分组进行3D协同滤波，得到每个参考块χκ的估计 值4; 步骤1. 3 :对估计值心进行聚集，得到基础估计图像； 步骤2 :对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得到最终去噪后的 图像；所述的步骤2包括如下步骤； 步骤2. 1 :对步骤1得到的基础估计图像的每个图像块分别进行帧内和帧间的相似块 匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一个相似 性块矩阵Υ ; Y = (yi, y2. '''jJ 其中m为参考块对应相似块组的个数，yi，y2，…ym分别为大小为Ν?的匹配块矩阵； 步骤2. 2 :将矩阵Υ分解为两个矩阵Α和Ε之和，对相似性块矩阵Υ进行低秩循环最小 化逼近，得到降噪之后的低秩矩阵A ; Y = A+E 其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵； 步骤3.根据步骤2输出的降噪之后的低秩矩阵A，采用均值法对重叠的像素进行聚集， 最终输出视频。
2. 根据权利要求1所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特 征在于，所述的步骤1. 2包括如下步骤： 步骤1. 2. 1 :对相似块分组的每个块进行离散余弦变换； 步骤1. 2. 2 :对离散余弦变换的结果进行沃尔什哈达玛变换得到3D变换系数； 步骤1. 2. 3 :对3D变换系数进行硬阈值收缩，硬阈值定为2. 7 ; 步骤1. 2. 4 :将硬阈值收缩后的系数依次进行沃尔什哈达玛逆变换，DCT逆变换得到分 组中每个图像块的估计值β
3. 根据权利要求1所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特 征在于，所述的步骤1. 3包括如下步骤： 步骤1. 3. 1 :计算加权系数w (X，χκ): w (x, xE) = Wi (x (xE)) · w2 (xE) 其中，wJxUh))为选凯瑟窗系数,X(XK)为像素 X在参考块xK*的坐标；w2(xK)为参考 块的相似块分组的3D变换系数进行硬阈值收缩之后统计的非零元素个数，w2(xK)计算公式 如下： -^-， l't; Ν(χκ)>1 Η'，(Λ友）二 < O* A/(Λ:沒） [l, :其它 σ为噪声水平标准差，Ν(χκ)为参考块χκ对应的相似块分组的3D变换系数进行硬阈值 收缩后非零元素的个数； 步骤1. 3. 2 :根据加权系数对估计值进行聚集，得到基础估计图像；聚集公式如下所 示： Zw(jc,xIR)-iWi(x) ___ xm^S(x) y ( )- Σ誕） xm^S(x) 其中，是像素 x的基础估计结果，S (X)代表包含像素 x的参考块集合，xm为参 考块集合S(x)之一，为的估计值。
4.根据权利要求1所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特 征在于，所述的2. 2中所述的对相似性块矩阵Υ进行低秩循环最小化逼近采用非精确拉格 朗日乘子法IALM低秩逼近，得到降噪后的低秩矩阵Α，包括如下步骤进行： 步骤2. 2. 1 :更新噪声稀疏矩阵Ε ; γ γ μ μ 其中，// = (^ +η为参考块大小Ν?Χ 3，σ为噪声水平标准差，m为参 考块对应的相似块组的个数，D为相似块矩阵Y的初始值，表示在空间{X e RmXn卜λ / μ彡X彡λ / μ }上的欧几里得投影，λ = l〇(V(l〇〇-σ )，ΓΧη表示实数矩阵，k代表当前 的迭代循环次数，k为初始值为0的自然数，Ak，Yk分别表示第k次循环中低秩矩阵A和相 似性块矩阵Y的值，A k，Yk的初始值为0, Ek+1为新更新的噪声稀疏矩阵； 步骤2. 2. 2 :更新低秩矩阵A，求得更新后低秩矩阵Ak+1，公式如下： 4+1 γ 其中Uk+1, Σ , r/+1通过对矩阵D-￡*+1 +~^进行奇异值分解SVD求得，其中，Uk+1为左奇 β 异矩阵，Σ为奇异值对角矩阵，为右奇异矩阵，Ff./表示矩阵Vk+1的转置，S, (Σ)表示 对奇异值对角矩阵Σ进行软阈值收缩； 阈值计算公式为： τ = 0. 5m · n/sum(D) 其中，sum(D)为矩阵D中所有元素的和，矩阵D为相似性块矩阵Y的初始值； 步骤2. 2. 3 :根据更新后低秩矩阵Ak+1，求得更新的矩阵Yk+1，同时令k = k+Ι进行下一 次迭代； Yk+1 = Yk+ y (D-Ak+1-Ek+1) 其中Ak+1，Ek+1分别为步骤2. 2. 1和2. 2. 2中更新的低秩矩阵A和噪声稀疏矩阵E的值， Yk为第k次循环中相似性块矩阵的Y值； 步骤2. 2. 4判断迭代次数k是否达到最大迭代次数，本发明中最大迭代次数取为5,若 达到最大迭代次数，则终止迭代，输出去噪低秩矩阵A ;否则重复步骤2. 2. 1到步骤2. 2. 3， 进行下一次迭代。
5. 根据权利要求1所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特 征在于，所述的步骤1. 1和2. 1中对每个图像块分别进行帧内和帧间的相似块匹配的方法 为：以参考块为中心，nHW为半径搜索相似块，采用绝对差值和SAD来确定图像块之间的距 离，若小于给定阈值则判定两图像块相似。
6. 根据权利要求5所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特 征在于，阈值设定为2000像素值，nHW为8。
7. -种基于3D协同滤波与低秩矩阵重建的视频去噪系统，其特征在于，包括如下模 块： 基础估计模块：用于对含噪视频进行3D协同滤波预处理，得到基础估计图像； 包括用于对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似块 匹配，得到每个参考块xK的相似块分组； 包括用于对每个参考块xK的相似块分组进行3D协同滤波，得到每个参考块χκ的估计 值4 包括用于对估计值4进行聚集，得到基础估计图像； 低秩矩阵重建模块：用于对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得 到最终去噪后的图像； 包括用于对基础估计模块得到的基础估计图像的每个图像块分别进行帧内和帧间的 相似块匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一 个相似性块矩阵Υ ; Y = (yi, y2. '''jJ 其中m为参考块对应相似块组的个数，yi，y2，…ym分别为大小为Ν?的匹配块矩阵； 包括用于将矩阵Υ分解为两个矩阵Α和Ε之和，对相似性块矩阵Υ进行低秩循环最小 化逼近，得到降噪之后的低秩矩阵A ; Y = A+E 其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵； 输出模块：用于对低秩矩阵重建模块：输出的降噪之后的低秩矩阵A，采用均值法对重 叠的像素进行聚集，最终输出视频。
【文档编号】H04N19/117GK104159003SQ201410414416
【公开日】2014年11月19日 申请日期:2014年8月21日 优先权日:2014年8月21日
【发明者】肖进胜, 彭红, 李文昊, 姜红, 易本顺, 刘国雄 申请人:武汉大学