一种计算机视频数据处理方法与流程

文档序号:18899506发布日期:2019-10-18 21:44阅读:487来源:国知局
一种计算机视频数据处理方法与流程

本发明涉及视频处理技术领域,尤其涉及一种计算机视频数据处理方法。



背景技术:

由于摄像设备的内部结构与外部环境等因素,在获取、存储和传输视频的过程中,都会不可避免的引入噪声,噪声不仅会严重影响视频图像的主观质量,而且会带来额外的高频分量,浪费更多的比特来保留这些无用信息。此外,噪声的存在还会影响到图像增强、目标识别等。因此降噪是视频图像处理系统中最为关键和共同的处理之一。目前,视频降噪算法基本上可以分为时域降噪(1d降噪),空域降噪(2d降噪)和转换域降噪几种算法。这些算法中,时域滤波较空域滤波在保护边缘和细节方面更具有优势,但是时域滤波处理运动物体会引入拖影现象,空域滤波只用到了视频图像空间上的相关性,处理较为简单,比较典型的有高斯滤波、中值滤波、双边滤波和non-localmeansfilter,但是单纯的空域滤波容易引起帧间闪烁,模糊边缘和纹理。典型的转换域降噪算法如傅里叶变换滤波和小波变换滤波等,通过对信号变换后系数的分析和筛选,去除掉噪声,保留有用信号,在保留图像边缘和细节上有较好效果,但是在选择小波基上比较困难,应用受到一定限制。



技术实现要素:

(一)解决的技术问题

针对现有技术的不足,本发明提供了一种计算机视频数据处理方法,解决了现有的降噪算法易造成拖影、帧间闪烁的问题。

(二)技术方案

为实现上述目的,本发明提供如下技术方案:一种计算机视频数据处理方法,包括如下步骤:

(1)提取输入视频连续三帧图像:前一帧、当前帧和后一帧;

(2)对当前帧图像进行简单边缘检测,然后分块噪声方差估计,并根据噪声方差设定运动检测的阈值t;

(3)分别对前一帧图像和当前帧图像、后一帧图像和当前帧图像降采样后进行运动估计,以最小sad准则,得到前向匹配块和后向匹配块;

(4)根据前向匹配块与后向匹配块对采样前的块进行运动检测,若匹配块与当前块的mad值小于阈值t,则对刚体运动区域进行时域滤波;若匹配块与当前块的mad值大于阈值t,则认为该块是非刚体运动,然后根据边缘检测结果进行自适应空域滤波;

(5)对步骤(4)中滤波的结果加权平均,同时输出作为下次滤波的前一帧,参与到递归滤波中。

优选的,在步骤(2)中,先利用sobel算子进行边缘检测并记录下边缘点的坐标值,然后将图像分成16*16像素互不重叠的子块,如果子块bmn中含有连续n个边缘点,则排除bmn对剩下的子块进行噪声估计,噪声估计方法采用基于块内邻域相关度的方法计算,计算方法如下:分别计算块内每一个像素点与其所有相邻像素点差的绝对值的平均值,然后求得所有平均值的和得到ψ,ψ即为块内邻域相关度,从所有块中选出最小ψ的块,该块均值和方差即可作为噪声的均值和方差,阈值t即为该块方差。

优选的,在步骤(3)中,所述sad准则的计算方式为其中(m,n)表示像素在图像中的坐标位置,k表示图像在视频中的帧数,(i,j)为像素(m,n,k)与(m+i,n+j,k-1)间的位移矢量,f(m,n,k)与f(m+i,n+j,k-1)分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i,n+j,k-1)的灰度值,若某个位移矢量(i0,j0)处,sad(i0,j0)值达到最小,则该矢量即为所求的最佳块匹配运动矢量。

优选的,在步骤(4)中,所述mad值的计算方式如下:其中(m,n)表示像素在图像中的坐标位置,k表示图像在视频中的帧数,(i,j)为像素(m,n,k)与(m+i,n+j,k-1)间的位移矢量,f(m,n,k)与f(m+i,n+j,k-1)分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i,n+j,k-1)的灰度值。

优选的,在步骤(4)中,所述时域滤波的计算方式如下:pout1=w*p(t-1)+(1-w)*p(t);pout2=w*p(t)+(1-w)*p(t+1),式中p(t-1)和p(t+1)分别表示前一帧和后一帧上采样恢复后的结果,p(t)表示当前帧上采样恢复后的结果,pout1表示前一帧和当前帧时域加权滤波的结果,pout2表示后一帧与当前帧时域加权滤波的结果,w为权系数。

优选的,在步骤(4)中,自适应空域滤波的计算方式如下:w(i,j)=wd(i,j)wr(i,j),其中wd(i,j)为空间邻近度因子,wr(i,j)为亮度邻近度因子。

优选的,所述wd(i,j)的计算方式为所述wr(i,j)的计算方式为其中σd和σr分别表示像素之间的距离差和亮度差,其中σd为自适应滤波系数,它的值为噪声估计方差δ的两倍。

优选的,在步骤(5)中,加权平均的计算方式为p0=(pout1||pout3)*0.6+(pout2||pout4)*0.4,其中pout1和pout3分别表示当前帧与前一帧时域滤波和空域滤波的结果,pout2和pout4分别表示当前帧与后一帧时域滤波和空域滤波的结果,||表示或,0.6和0.4为加权系数,p0表示最终输出结果。

(三)有益效果

本发明提供了一种计算机视频数据处理方法,具备有以下有益效果:本发明在噪声较小时能很好的估计噪声强度,较为准确的设定滤波系数,同时采用了改进后的双边滤波,比经典滤波器具有更强的滤波能力。本发明的算法较为准确地估计噪声,能够更好的区分刚体运动块和非刚体运动块,不会带来运动拖影,psnr值比参考算法平均提高了0.64db,本发明首先进行边缘检测并估计出噪声强度,然后通过降采样和运动估计等技术得到像素点的运动信息和局部结构,根据这些信息自适应选择不同的滤波策略。本发明既能较好的去除噪声分量,减少块效应,又能保留高频部分的细节,提高主观视觉感受。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,一种计算机视频数据处理方法,包括如下步骤:

(1)提取输入视频连续三帧图像:前一帧、当前帧和后一帧;

(2)对当前帧图像进行简单边缘检测,然后分块噪声方差估计,并根据噪声方差设定运动检测的阈值t,先利用sobel算子进行边缘检测并记录下边缘点的坐标值,然后将图像分成16*16像素互不重叠的子块,如果子块bmn中含有连续n个边缘点,则排除bmn对剩下的子块进行噪声估计,噪声估计方法采用基于块内邻域相关度的方法计算,计算方法如下:分别计算块内每一个像素点与其所有相邻像素点差的绝对值的平均值,然后求得所有平均值的和得到ψ,ψ即为块内邻域相关度,从所有块中选出最小ψ的块,该块均值和方差即可作为噪声的均值和方差,阈值t即为该块方差;

(3)分别对前一帧图像和当前帧图像、后一帧图像和当前帧图像降采样后进行运动估计,以最小sad准则,得到前向匹配块和后向匹配块,所述sad准则的计算方式为其中(m,n)表示像素在图像中的坐标位置,k表示图像在视频中的帧数,(i,j)为像素(m,n,k)与(m+i,n+j,k-1)间的位移矢量,f(m,n,k)与f(m+i,n+j,k-1)分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i,n+j,k-1)的灰度值,若某个位移矢量(i0,j0)处,sad(i0,j0)值达到最小,则该矢量即为所求的最佳块匹配运动矢量,;

(4)根据前向匹配块与后向匹配块对采样前的块进行运动检测,若匹配块与当前块的mad值小于阈值t,则对刚体运动区域进行时域滤波;若匹配块与当前块的mad值大于阈值t,则认为该块是非刚体运动,然后根据边缘检测结果进行自适应空域滤波,所述mad值的计算方式如下:其中(m,n)表示像素在图像中的坐标位置,k表示图像在视频中的帧数,(i,j)为像素(m,n,k)与(m+i,n+j,k-1)间的位移矢量,f(m,n,k)与f(m+i,n+j,k-1)分别是当前fk帧与参考帧fk-1像素(m,n,k)与(m+i,n+j,k-1)的灰度值;所述时域滤波的计算方式如下:pout1=w*p(t-1)+(1-w)*p(t);pout2=w*p(t)+(1-w)*p(t+1),式中p(t-1)和p(t+1)分别表示前一帧和后一帧上采样恢复后的结果,p(t)表示当前帧上采样恢复后的结果,pout1表示前一帧和当前帧时域加权滤波的结果,pout2表示后一帧与当前帧时域加权滤波的结果,w为权系数;自适应空域滤波的计算方式如下:w(i,j)=wd(i,j)wr(i,j),其中wd(i,j)为空间邻近度因子,wr(i,j)为亮度邻近度因子;所述wd(i,j)的计算方式为所述wr(i,j)的计算方式为其中σd和σr分别表示像素之间的距离差和亮度差,其中σd为自适应滤波系数,它的值为噪声估计方差δ的两倍

(5)对步骤(4)中滤波的结果加权平均,同时输出作为下次滤波的前一帧,参与到递归滤波中,加权平均的计算方式为p0=(pout1||pout3)*0.6+(pout2||pout4)*0.4,其中pout1和pout3分别表示当前帧与前一帧时域滤波和空域滤波的结果,pout2和pout4分别表示当前帧与后一帧时域滤波和空域滤波的结果,||表示或,0.6和0.4为加权系数,p0表示最终输出结果。

在图1中,本发明在噪声较小时能很好的估计噪声强度,较为准确的设定滤波系数,同时采用了改进后的双边滤波,比经典滤波器具有更强的滤波能力。本发明的算法较为准确地估计噪声,能够更好的区分刚体运动块和非刚体运动块,不会带来运动拖影,psnr值比参考算法平均提高了0.64db,本发明首先进行边缘检测并估计出噪声强度,然后通过降采样和运动估计等技术得到像素点的运动信息和局部结构,根据这些信息自适应选择不同的滤波策略。既能较好的去除噪声分量,减少块效应,又能保留高频部分的细节,提高主观视觉感受。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1