本发明涉及一种视频传输技术,尤其是涉及一种基于最大后验概率译码和三维块匹配滤波的视频去噪方法。
背景技术:
噪声干扰的消除一直是视频传输中关注的焦点,无论语音还是视频信号在无线网络中传输时,受到噪声干扰的影响是不可避免的。如何有效的减小噪声干扰一直是各界专家致力解决的问题。在传统的数字视频传输系统中,通常采用纠错编码的方式来减小误码率,但是这种做法也带来了各种各样的问题。
简单的去噪算法大致可以分为空间域滤波和频率域滤波两大类。而复杂的去噪算法基本上是两类算法的不同结合。空间域滤波就是利用像素灰度值之间的关系,通过各种形式的加权平均来达到去噪的目的。最简单的空间域滤波就是均值滤波,用一个像素某个邻域的平均值来代替该像素的值。均值处理后像素的方差减小,从而达到减弱或者去除噪声的目的。该方法的优点是计算简单。但缺点也非常明显,会造成图像的模糊。直到a.buades等人提出了非局部均值算法,该算法在求均值的时候不再只考虑图像局部的特征,而是将整幅图像都纳入了参考范围,从而极大改善了去噪效果。
频率域滤波通过对图像做各种变换以达到分离噪声与图像的目的。最常见的变换是傅里叶变换,在数字图像处理中只考虑离散的情况,即离散傅里叶变换。因为变换后无噪图像对应的系数较大,而噪声对应的系数小,从而实现了去噪的目的。离散余弦变换、离散小波变换的原理与之类似。
技术实现要素:
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于最大后验概率译码和三维块匹配滤波的视频去噪方法。
本发明的目的可以通过以下技术方案来实现:
一种基于最大后验概率译码和三维块匹配滤波的视频去噪方法,所述视频是经过先验知识增强的移动视频广播传输系统接收得到,所述去噪方法包括以下步骤:
s1、接收的视频信号通过空间向量阈转换得到噪声与视频信号的最小均方误差估计的数学关系,再采用最大后验概率译码方法得到视频信号估计值,从而得到除去部分高斯噪声的视频信号;
s2、步骤s1得到的视频信号经过三维块匹配滤波进一步消除高斯噪声,得到最终去噪视频。
优选的,所述噪声与视频信号的最小均方误差估计的数学关系为:
其中
式中,w为接收的视频信号中的噪声,
其中,α为功率尺度系数,
优选的,所述视频信号估计值θg满足:
优选的,所述步骤s2具体包括:
s21、将视频信号中待处理的单帧图像划分为多个操作块,搜索各操作块相似的像素块,得到每个操作块的相似块矩阵集合op,将集合op中的矩阵按照相似度大小进行排序,得到三维矩阵tp1;
s22、对tp1进行三维变换域滤波后,将图像原来位置的像素块经过加权平均得到每个像素点的基础估计值,从而得到基础估计图像;
s23、按照步骤s21处理所述基础估计图像,得到三维矩阵tp2,通过tp2中像素块的坐标,从原始图像中提取相同坐标的像素块构成三维矩阵tp3;
s24、对tp2和tp3分别进行三维变换后,以tp2对tp3进行维纳滤波得到最终估计权值,再对tp3进行逆三维变换,利用最终估计权值对tp3每个像素块进行加权平均得到原始图像每个像素点的最终估计值,从而得到最终估计图像。
优选的,所述步骤s21具体包括:
对待处理的单帧图像,按照大小为n1×n1的滑动窗口,以ns为滑动步长,通过重叠分割的方式按照从左到右、自上而下的顺序分割成多个操作块;对各个操作块,以当前操作块为中心,以nd为搜索直径,搜索与当前操作块相似的像素块,得到相似块矩阵集合op;将集合op中的矩阵按照相似度大小进行排序,得到三维矩阵tp1。
优选的,所述步骤s21中搜索与当前操作块相似的像素块过程包括:
用被搜索的像素块与当前操作块的距离大小表示相似度,若被搜索的像素块与当前操作块的距离小于设定距离阈值,则判定两者相似。
优选的,所述步骤s22中,tp1经过三维变换域滤波后得到估计值集合:
ep=k3d-1(rx(k3d(tp1)))
其中,k3d为三维变换运算符,rx为用来调整变换系数的函数:
其中,x为tp1中的矩阵数值,λ3d为硬阈值收缩的阈值参数,σ为剩余高斯白噪声的标准差。
优选的,所述步骤s22中基础估计值具体为:
其中,rbasic(j)为像素点j的基础估计值,q为集合op中包含像素点j的任一像素块,j为所有像素点集合,rpq为像素点j在像素块q中的估计值:
rpq=k3d(tp1)
且rpq满足:
xq表示函数:
wp表示当前操作块的基础估计权值:
其中,np表示tp1经过三维变换域滤波之后非零系数的个数。
优选的,所述最终估计值为:
其中,rfinal(j)为像素点j的最终估计值,wfinal为最终估计权值,rpq_new为:
rpq_new=k3d(tp3)。
优选的,所述最终估计权值为:
与现有技术相比,本发明具有以下优点:
1、从向量的角度定量得到真实信号与观测信号之间的关系,采用最大后验概率译码消除了一部分噪声,再对视频进行变换域三维块匹配滤波,利用第一步的硬阈值滤波的初步估计结果构建维纳滤波器,进一步去除视频中的高斯噪声,不仅能获得较高的峰值信噪比,而且在主观上也能获得较好的视觉体验,能够较好的保留视频图像的细节部分,起到平滑滤波的作用。
2、由于进行分组之后得到的每个像素块集合都是由相似像素块组成的,这个相似性表明相似像素块组成的三维矩阵都是一个较为稀疏的矩阵,即三维矩阵由少量非零元素组成,而三维变换得到的三维矩阵的稀疏性要高于二维变换所得矩阵的稀疏性,所以三维变换域滤波有更好的去噪效果。
3、通过三维变换域硬阈值滤波处理,大部分噪声信号得到消除,而图像真实信息得到了较好的保留,在信噪比较低的情况下,采用硬阈值收缩方法来消除噪声干扰是一种比较有效的方法,可以在更大程度上近似估计原始图像信号。
4、利用基础估计中得到的原始图像的基础估计值进行维纳滤波,可以大大提高方法的准确性。
附图说明
图1为实施例一中噪声平面示意图;
图2为实施例一中剩余噪声的概率密度函数;
图3为实施例一中图像块划分示意图;
图4为实施例一中三维线性变换示意图;
图5为实施例二中的“carphone”传输帧;
图6为实施例二中的“carphone”参考帧;
图7为实施例二中snr=0db时去噪前的接收帧;
图8为实施例二中snr=0db时去噪后的接收帧;
图9为实施例二中snr=10db时去噪前的接收帧;
图10为实施例二中snr=10db时去噪后的接收帧。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例一
本发明提出了基于最大后验概率译码和三维块匹配(bm3d)算法的联合去噪方法,在接收端对接收信号进行空间建模,得到期望信号与噪声的关系,然后采用最大后验译码,消除掉概率最大的噪声。bm3d算法的核心是经验维纳滤波,利用基础估计中得到的原始图像的基础估计值进行维纳滤波,大大提高了算法的准确性,起到平滑滤波的作用。信号在接收端经过最大后验概率译码和bm3d算法滤波后,不仅能获得较高的峰值信噪比,而且在主观上也能获得较好的视觉体验,较好地保留视频图像的细节部分。
视频信号通过基于数模混合的大数据辅助视频传输方法传输,该传输方法建立了先验知识增强的移动视频广播传输系统(knowledge-enhancedmobilevideobroadcasting,kmv-cast),这在专利cn201610036778.7中有详细描述,本说明书中不再赘述。其中,在kmv-cast系统传输中,发送端视频经过高斯信道传输,接收端恢复的信号可以分为三部分:
其中,
由于视频传输的接收端与发送端拥有相同的云端存储器,因此接收端已知相关像素块信息
构造随机量化矢量
kmv-cast系统接收端估计信号在消除固定噪声项之后,含有原始信号θ和噪声项w,噪声项可以表示为:
对接收的视频信号去噪,包括以下步骤:
s1、接收的视频信号通过空间向量阈转换得到噪声与视频信号的最小均方误差估计的数学关系,再采用最大后验概率译码方法得到视频信号估计值,从而得到除去部分高斯噪声的视频信号;
s2、步骤s1得到的视频信号经过三维块匹配滤波进一步消除高斯噪声,得到最终去噪视频。
根据公式(1)可以看出,噪声并没有完全消除,接收端的重建视频中仍旧含有高斯噪声,如果在低信噪比情况下,剩余噪声功率较大,恢复的视频质量较差,尤其当传输信号与云端相关像素块的相似度较低时,接收端不能用云端相关像素块来替代传输像素块,此时接收端重建视频的质量并不令人满意。随机变量
则公式(4)变为:
公式(1)变为:
因此,步骤s1中对接收的视频信号进行空间向量阈转换具体为:
由
以
其中,
接下来,将从另外一个角度进行推导,求得最佳的估计值。首先通过平面方程和球方程得到圆方程,表达式为:
简化上式得到:
其中,令
则得到噪声与视频信号的最小均方误差估计的数学关系为:
式中,w为接收的视频信号中的噪声,
由于θ和w均服从高斯分布,θ~n(0,ω),
将式(15)代入公式(16),得到:
通过高斯配方法得到:
其中,μ为θ和w联合高斯分布的均值,将式
其中,
显然,使得概率密度p(θ)取得最大值的θ即为所求,要使得p(θ)最大,即:
将公式(7)代入公式(21),可得:
约束条件为:
通过拉格朗日乘数法求解,得到最终接收的视频信号估计值θg满足:
从式(24)可以看出,与kmv-cast传输系统相比,接收端经过译码之后接收到的视频信号不再是原始的估计信号,而是在原始估计值的基础上发生了偏移,这个偏移量就是噪声项。因此,为了最大程度消除接收视频信号中的噪声,提高接收端重建视频的质量,接收端在译码过程中需要在kmv-cast系统的基础上增加噪声消除步骤,求取概率密度最大的噪声值,并在原始接收信号的基础上进行消除。从公式(4)和图2可以看出,w服从高斯分布,剩余噪声服从正态分布,为加性高斯白噪声。因此最大后验概率译码后可以用bm3d算法来进一步消除高斯噪声,改善视频质量。
步骤s2包括基础估计和最终估计两部分,具体包括:
s21、基础估计块匹配:将视频信号中待处理的单帧图像划分为多个操作块,搜索各操作块相似的像素块,得到每个操作块的相似块矩阵集合op,将集合op中的矩阵按照相似度大小进行排序,得到三维矩阵tp1;
s22、基础估计三维变换阈滤波:对tp1进行三维变换阈滤波;基础估计聚集:将图像原来位置的像素块经过加权平均得到每个像素点的基础估计值,从而得到基础估计图像;
s23、最终估计块匹配:按照步骤s21块匹配基础估计图像,得到三维矩阵tp2,通过tp2中像素块的坐标,从原始图像中提取相同坐标的像素块构成三维矩阵tp3;
s24、最终估计维纳滤波:对tp2和tp3分别进行三维变换后,以tp2对tp3进行维纳滤波得到最终估计权值,再对tp3进行逆三维变换;最终估计聚集:利用最终估计权值对tp3每个像素块进行加权平均得到原始图像每个像素点的最终估计值,从而得到最终估计图像。
图像分割的方法有两种:重叠和不重叠,如图3所示,较短虚线框的像素块表示两者之间不存在重叠,较长虚线框的像素块表示两个像素块之间存在重叠。为了在聚集过程中进行加权平均减小估计误差,一般会采用重叠的划分方式,通常情况下,为了减小搜索相似像素块的时间复杂度,可以构造搜索直径为设定值的搜索范围,如加粗的实线框所示,在加粗实线框定的范围内进行相似像素块的搜索。
步骤s21具体包括:对待处理的单帧图像g,按照大小为n1×n1的滑动窗口,以ns为滑动步长,通过重叠分割的方式按照从左到右、自上而下的顺序分割成多个操作块。在硬阈值收缩时,三维变换域滤波要求窗口尺寸必须为2的幂次,这将在一定程度上增加滑动窗口的尺寸,但滑动窗口尺寸太大也会产生不利的影响:首先窗尺寸太大会提高算法的运算复杂度,同时,由于算法中将块内左上角像素点来替代整个像素块,如果滑动窗口尺寸过大,即块的尺寸过大,会存在与该像素块相差较大的像素点,这将大大影响相似块匹配的精确度,不利于消除噪声。最终估计中的滑动窗口尺寸与基础估计中的滑动窗口尺寸选取相等或相近,但是无需满足为2的幂次,为了简单计算,本方法将基础估计与最终估计中的滑动窗口尺寸取值相等。
对出现在多个相似块中的像素点进行加权平均可以在图像聚集过程中减小估计误差,因此,为保证像素点出现在多个相似块中,滑动步长ns需满足:
ns<n1/2(25)
bm3d算法存在完全搜索模式和快速搜索模式两种模式搜索相似像素块,完全搜索模式需要搜索所有的像素块,虽然得到更为精确的结果,却导致运算量大大增加,同时,一般来说,每个像素块的相似块距离该像素块的位置较近。因此,完全搜索模式在此并不适合。快速搜索模式,顾名思义,指在指定的区域内进行搜索相似块的过程,这就需要为搜索范围nd尺寸设定合适的大小。
块匹配过程中,相似像素块集合中含有最大相似像素块个数为nm,理论上最大相似像素块个数越大,加权平均后得到的估计误差最小。但是nm的增大也意味着搜索范围尺寸nd的增大,这将大大提高算法的计算复杂度。因此,nd的大小与搜索尺寸n1,滑动步长ns,最大相似块个数nm等各个参数相关,其关系表达式可表示为:
假设当前操作像素块为p,则以当前操作块为中心,以nd为搜索直径,使滑动窗口在图像上搜索与当前操作块相似的像素块q,像素块对应的矩阵分别用mp和mq表示,在搜索域中搜索与当前操作块距离较小的像素块,用距离表示当前块与相似块之间相似度,具体可以表示为:
制定选取相似像素块的标准,设定距离阈值d1,若dis(mp,mq)<d1,则说明此像素块与当前操作像素块相似度高,将与当前操作像素块相似度高的矩阵组成块矩阵集合op。操作块分割完成之后,对每一个操作块进行上述相似块搜索操作。
在块匹配过程中,距离阈值的设定应根据原始图像相邻像素块的灰度值差异,若差异较大,则应将距离阈值减小,若差异较小,则应将距离阈值增大。同时,距离阈值的大小间接影响视频传输的质量,距离阈值d1越小,搜索到的相似块个数越少,估计误差将会偏大,距离阈值d1越大,搜索到的相似块个数越多,估计误差将会减小,但是算法的运算复杂度将会大大增加。因此,需要结合传输的视频信息与当前用户信道质量的好坏设定合适的距离阈值。
将集合op中的矩阵按照相似度大小进行排序,得到三维矩阵tp1,三维矩阵的大小为n1×n1×|tp1|,由于距离dis(mp,mq)=0<d1,所以集合op包含相似像素块至少为一个,即集合op满足:
|op|≥1(28)
三维变换域滤波是一种将图像信息转换成频域信息,通过硬阈值收缩算法消除噪声的过程。主要包括一维小波变换和二维小波硬阈值收缩,其中,像素块之间采用一维小波变换,每个操作像素块的矩阵进行二维小波硬阈值收缩,且两者均为线性变换,如图4所示。
步骤s22具体包括:
对块匹配完成之后的三维矩阵tp1依次进行三维变换、硬阈值处理和逆三维变换,设k3d为三维变换运算符,则三维变换域滤波的过程可以表示为:
ep=k3d-1(rx(k3d(tp1)))(29)
其中,ep为经过三维变换域滤波之后得到的估计值集合,rx为用来调整变换系数的函数:
其中,x为tp1中的矩阵数值,λ3d为硬阈值收缩的阈值参数,σ为剩余高斯白噪声的标准差,即噪声项w的标准差,具体可以表示为:
硬阈值收缩处理过程中阈值λ3d大小的设置将大大影响重建视频信息的质量,阈值λ3d越小,小于阈值λ3d的噪声将不能去除;若阈值越大,将导致滤除噪声的同时消除了部分有用信息,恢复视频质量也将会受到影响。因此,需要根据剩余噪声的大小来决定λ3d。
为了方便后续计算,采用剩余噪声项的平均功率来进行硬阈值滤波。上述操作将块匹配完成之后的结果进行滤波,其优势是在实现能量零消耗的前提下,消除噪声。一般情况下,进行三维变换之后位于三维矩阵的顶点处的系数集中了大部分的图像能量,且其含有的图像信息也最为丰富,而位于底端的系数由于数值量较小,包含信息也较少。因此,通过三维变换域硬阈值滤波处理后,大部分噪声信号得到消除,而图像真实信息得到了较好的保留,在信噪比较低的情况下,采用硬阈值收缩方法来消除噪声干扰是一种比较有效的方法,可以在更大程度上近似估计原始图像信号。
由于进行分组之后得到的每个像素块集合都是由相似像素块组成的,这个相似性表明相似像素块组成的三维矩阵都是一个较为稀疏的矩阵,即三维矩阵由少量非零元素组成,而三维变换得到的三维矩阵的稀疏性要高于二维变换所得矩阵的稀疏性,这使得三维变换域滤波有更好的去噪效果。
像素块集合经过硬阈值收缩处理之后得到初始的去噪估计值,np表示tp1经过三维变换域滤波之后非零系数的个数,那么当前操作块的基础估计权值可以表示为:
从上式可以看出,经过硬阈值收缩处理后,集合ep中的非零系数越少,残留噪声信号越少,图像中有用信息越多,从而权值所占比重越大。由于操作像素块之间存在重叠,且每个操作块都会存在多个相似块,这些相似块之间也存在交叠,因此每个像素点都会经过多次估计,所以对于每个像素点j来说,其基础估计值为多个估计值的加权平均,表达式可表示为:
其中,rbasic(j)为像素点j的基础估计值,q为集合op中包含像素点j的任一像素块,j为所有像素点集合,rpq为像素点j在像素块q中的估计值:
rpq=k3d(tp1)(34)
且rpq满足:
xq表示函数:
步骤s23是将步骤s22中得到的基础估计图像以步骤s21相同的准则进行块匹配,得到新的三维数据矩阵tp2,利用新矩阵中像素块的坐标,从原始图像中提取相同坐标的像素块构成另外一个全新的三维矩阵tp3,此时有两个对应的三维数据矩阵,且坐标相同。两个三维矩阵都进行三维变换k3d,并以基础估计图像对应的三维矩阵tp2对原图像对应的三维矩阵tp3进行维纳滤波,得到最终估计权值:
利用最终得到的权值系数对滤波过后的像素块进行加权平均,计算每个像素点的最终估计值:
其中,rfinal(j)为像素点j的最终估计值,wfinal为最终估计权值,rpq_new为:
rpq_new=k3d(tp3)(39)
bm3d算法采用经验维纳滤波的概念,将其中的小波变换用三维变换域滤波替代,从而降低相关像素块之间的相关性,而在进行三维变换之前,首先将经过第一阶段基础估计处理得到的初步噪声消除图像进行相似块分组,根据距离的大小,将相似性较高的像素块分成一组,同时,利用这些相似块的坐标在原始噪声图像中取出同样坐标的像素块来构成一个新的三维矩阵,这个原始噪声图像就是经过kmv-cast解码之后的含噪声图像,然后根据经验维纳滤波的滤波器系数得到每个像素点最终估计的权值。由于块匹配过程中,初始图像的分割像素块之间是彼此覆盖的,故每个像素块经过三维逆变换得到的图像的初始估计值存在多个,最后,在聚集过程中根据每个像素块的估计权重得到图像的最终估计值。此时,接收端重建视频信号中的剩余噪声进一步消除,视频质量大大提高。
实施例二
1、仿真场景设置:
本方法的仿真实验测试序列为“carphone”,如图6所示,采用“carphone”的10th帧为参考帧,即系统发送端和接收端存储器中都保存着参考帧。传输视频帧为“carphone”序列的180th帧,如图5所示。所有参考视频帧和传输视频帧在发送端都均等分成8×8的像素块,因此,每个传输视频序列的参考像素块个数为22×18=396个,相关像素块集合为
在整个仿真实验中,发送信号经过高斯信道进行传输,在接收端,信号经过最大后验概率译码和bm3d联合去噪。
2、仿真结果分析:
从视觉质量来说,用最大后验概率译码和bm3d联合去除视频噪声的方法具有很好地仿真性能。
对比图7、图8可以看出,在信道条件不好的条件下(snr=0db),最大后验概率译码与bm3d联合的去噪方法对视频质量的改进有明显的效果。去噪之前接收视频的psnr=32.3735db,去噪之后psnr=33.8786db。对比图9、图10可以得出,在信道条件良好的条件下(snr=10db),最大后验概率译码与bm3d联合的去噪方法同样效果明显,去噪之前接收视频的psnr=38.8902db,去噪之后psnr=41.1170db。
最大后验概率译码通过把噪声固定在一个超平面内,降低了高斯噪声的维度。在超平面内找出使得θ的概率密度最大的噪声,并进行去除。从空间几何角度理解,此时的