视频时域的去噪方法及系统与流程

本发明涉及视频图像处理技术领域，特别涉及视频图像去噪技术，具体是指一种视频时域的去噪方法及系统。

背景技术：

随着各种数字仪器和数码产品的普及，视频已成为人们生活中常用的信息载体。然而，在视频的采集、传输和接收过程中不可避免地会引入各种噪声，使原视频信息受到干扰甚至损坏，视频质量下降，同时严重影响到后续视频处理的效果，如图像分割、目标识别等。为了提高视频图像的主客观效果，提高视频图像的压缩效率并节省传输带宽，都有必要对视频进行去噪处理。

主流的视频时域去噪方法有运动检测去噪(Motion Detection Temporal Noise Reduction,MD-TNR)、运动补偿去噪(Motion Compensated Temporal Noise Reduction,MC-TNR)或是两种方法的融合去噪。其中，运动检测去噪主要针对静止区域去噪(系统框图如图1)，对于某些运动物体周围会出现时序模糊和“拖尾”现象；运动补偿去噪(系统框图如图2)综合考虑了帧间运动方向和大小等信息，在运动矢量估计准确的情况下有很好的去噪效果，但在运动估计不准的区域也会出现模糊现象；两种方法融合去噪结合了上述两种去噪方式的特点，针对不同运动状态的区域采取相应方法去噪，但在静止区域判断不准的情况下，会减弱相应去噪方法处理的权重，去噪不充分。因此，正确地区分出视频图像中的静止区域和运动区域显得尤为重要。

在现有的技术中，静止区域与运动区域的区分一般是通过计算帧间差异再与阈值比较实现的。将前一帧(或前几帧)、后一帧(或后几帧)图像分别与当前帧的灰度值进行差分，根据差分结果提取运动信息。如专利：Method of Motion Compensated Temporal Noise Reduction，专利公开号为US2006/0232712 A1，和专利：视频时域去噪装置及方法，专利公开号为104735301A，均是通过前一帧与当前帧像素灰度值作差，如计算平均绝对误差值(Mean of Absolute Error,MAE)，进行静止和运动的判断。若判断为静止，则使用前一滤波帧对应位置的像素与当前帧像素加权平均，达到去噪目的；若判断为运动，则不对当前像素去噪或是与运动补偿去噪的结果加权。还有专利会在作差的基础上加入一些数学运算，如专利：一种实时医学视频图像去噪方法，专利公开号为102014240A，将前一帧和后一帧与当前帧作差的结果转化为二值图像，通过数学形态学的操作获得连通区域再判断运动和静止。

但是，由于视频中存在噪声，将每个像素局部的帧间差异与阈值进行比较得到运动概率的方法很容易产生错误，即把静止像素误分为运动像素或把运动像素误分为静止像素，则不会进行去噪处理或是减弱相应去噪方式处理的强度。尤其是当视频中存在大面积的静止区域(背景区域)，并且在这些区域中有较大的噪点或是在一段视频的某些帧出现随机噪点时，根据前一帧和当前帧作差得到的结果明显偏大，故而将静止区域判断为运动区域，则不会进行运动检测去噪处理或是减弱该方式处理的权重；而如果进行运动补偿去噪，由于原对应位置差异较大，会查找其它位置是否有匹配块，从而使该像素点运动矢量估计结果偏大，去噪后易产生模糊。综合上述情况来看，静止区域判断有误会导致该区域内像素点去噪不充分，进而影响整片静止区域的去噪效果，由于面积较大，也使得视频整体去噪效果欠佳。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决原系统中运动检测的准确性问题，以提高含有大面积静止区域视频的去噪处理效果，本发明提供了一种视频时域的去噪方法，包括：

根据视频前一滤波帧和视频当前滤波帧进行运动估计，得到当前滤波帧中各像素点的运动矢量MV；

对当前滤波帧中各区域块内所包含的各像素点的运动矢量MV分别进行统计；

根据区域中的统计结果以及该区域中计算得到的第一帧间差异值MAE得到该区域的最终静止概率；

根据所述最终静止概率进行当前区域块的去噪处理。

优选地，所述对当前滤波帧中各区域块内所包含的各像素点的MV分别进行统计，具体包括：

将当前滤波帧划分为互不重叠的多个区域块；

统计各区域块中运动矢量MV的水平分量绝对值和垂直分量绝对值均小于第一设定阈值的个数，记为SMV_num；

统计各区域块中运动矢量MV的水平分量绝对值或垂直分量绝对值大于第二设定阈值的个数，记为LMV_num；

比较各区域块中各运动矢量MV的水平分量绝对值与垂直分量绝对值之和，得出各区域中幅值最大的运动矢量MV大小，记为MV_max。

优选地，所述根据区域中的统计结果以及该区域中计算得到的第一帧间差异值MAE得到该区域的最终静止概率，包括：

根据SMV_num、LMV_num和MV_max得到第一静止概率；

根据所述第一帧间差异值MAE计算得到第二静止概率；其中，所述第一帧间差异值MAE为当前滤波帧中每一像素点与前一滤波帧中相同位置的像素点及其周围邻域的平均绝对误差值；

选取所述第一静止概率和第二静止概率中具有最大值的作为最终静止概率。

优选地，所述第二帧间差异值MVMAE为当前滤波帧中每一像素点与前一滤波帧中根据运动矢量MV，沿着运动轨迹找到的像素点及其周围邻域的平均绝对误差值。

优选地，所述根据所述最终静止概率以及计算得到的第二帧间差异值MVMAE进行当前区域块的去噪处理，具体包括：

根据所述最终静止概率计算前一滤波帧中的运动检测滤波权重，根据所述第二帧间差异值MVMAE计算运动补偿滤波权重；

根据所述运动检测滤波权重计算运动检测滤波；

根据所述运动补偿滤波权重计算运动补偿滤波；

根据所述最终静止概率分配滤波权重，利用所述滤波权重以及运动检测滤波和运动补偿滤波计算得到当前区域块的去噪结果。

本发明还提供了一种视频时域的去噪系统，所述系统包括：

运动估计单元，用于根据视频前一滤波帧和视频当前滤波帧进行运动估计，得到当前滤波帧中各像素点的运动矢量MV；

统计单元，用于对当前滤波帧中各区域块内所包含的各像素点的运动矢量MV分别进行统计；

计算单元，用于根据区域中的统计结果以及该区域中计算得到的第一帧间差异值MAE得到该区域的最终静止概率；

处理单元，用于根据所述最终静止概率以及计算得到的第二帧间差异值MVMAE进行当前区域块的去噪处理。

优选地，

所述统计单元，具体用于将当前滤波帧划分为互不重叠的多个区域块；统计各区域块中运动矢量MV的水平分量绝对值和垂直分量绝对值均小于第一设定阈值的个数，记为SMV_num；统计各区域块中运动矢量MV的水平分量绝对值或垂直分量绝对值大于第二设定阈值的个数，记为LMV_num；比较各区域块中各运动矢量MV的水平分量绝对值与垂直分量绝对值之和，得出各区域中幅值最大的运动矢量MV大小，记为MV_max。

优选地，所述计算单元，具体包括：

帧间差异计算单元，用于根据当前滤波帧和前一滤波帧计算第一帧间差异值MAE；所述第一帧间差异值MAE为当前滤波帧中每一像素点与前一滤波帧中相同位置的像素点及其周围邻域的平均绝对误差值；

静止概率计算单元，用于根据SMV_num、LMV_num和MV_max得到第一静止概率；根据所述第一帧间差异值MAE计算得到第二静止概率；其中，所述第一帧间差异值MAE为当前滤波帧中每一像素点与前一滤波帧中相同位置的像素点及其周围邻域的平均绝对误差值；选取所述第一静止概率和第二静止概率中具有最大值的作为最终静止概率。

优选地，所述帧间差异计算单元，还用于根据当前滤波帧、前一滤波帧和所述运动矢量MV计算第二帧间差异值MVMAE；所述第二帧间差异值MVMAE为当前滤波帧中每一像素点与前一滤波帧中根据运动矢量MV，沿着运动轨迹找到的像素点及其周围邻域的平均绝对误差值。

优选地，所述处理单元，具体包括：

滤波权重计算单元，具体用于根据所述最终静止概率计算前一滤波帧中的运动检测滤波权重；根据所述第二帧间差异值MVMAE计算运动补偿滤波权重；根据所述运动检测滤波权重计算运动检测滤波；根据所述运动补偿滤波权重计算运动补偿滤波；

时域滤波单元，具体用于根据所述最终静止概率分配滤波权重，利用所述滤波权重以及运动检测滤波和运动补偿滤波计算得到当前区域块的去噪结果。

与现有技术相比，本发明至少具有以下优点：

通过本发明的设计，实现了解决原系统中运动检测的准确性问题，从而提高了含有大面积静止区域视频的去噪处理效果。

附图说明

图1是现有技术中的视频时域运动检测去噪系统的示意图；

图2是现有技术中的视频时域运动估计去噪系统的示意图；

图3是本发明所提供的视频时域的去噪方法的流程示意图；

图4本发明所提供的视频时域的去噪方法的简易流程示意图；

图5是区域较小MV个数与静止概率映射曲线图；

图6是区域较大MV个数与静止概率映射曲线图；

图7是区域MV最大值与静止概率映射曲线图；

图8是MAE计算结果与静止概率映射曲线图；

图9是MC滤波权重映射曲线图；

图10是静止概率与MD滤波权重映射曲线图；

图11是本发明提供的视频时域的去噪系统示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在评估视频时域去噪算法的过程中，发现部分视频在大面积静止区域或是背景区域的去噪效果不明显，处理后的视频仍有很多噪点存在。由于该静止部分在整幅图像中所占比重较大，严重影响到了整个视频图像的视觉效果。通过分析，发现这些静止区域往往存在较大的噪声，或是在某些帧突然出现一些随机噪点，导致计算窗口像素差异时得到的结果偏大，将静止区域误检为运动区域。根据时域去噪算法，则不会进行运动检测去噪处理或是减小该去噪方法所占的权重，而运动补偿去噪时对这些含噪声像素点进行块匹配得到的运动矢量也往往会偏大，使这些噪点不能被完全消除，影响去噪效果。但在较大范围内观察发现，噪声影响下运动矢量不准确的像素点属少数情况，大部分运动矢量的估计结果仍是正确的。因此，如果能在大范围内统计MV(Motion Vector，运动矢量)信息，排除个别噪点运动矢量估计不准的情况，检测出这部分静止区域，集中进行去噪，对整帧图像最终的去噪效果会有很大的改善。

如图3～4所示，为本发明所提供的视频时域的去噪方法，具体包括：

步骤301，根据视频前一滤波帧和视频当前滤波帧进行运动估计，得到当前滤波帧中各像素点的运动矢量MV。

^

在该步骤中，运动估计：对前一滤波帧f_t-1和当前滤波帧f_t进行运动估计得到当前滤波帧中的各个像素点的运动矢量。运动估计可采用现有的任何一种方法，如三维递归搜索(3-Dimension Recursive Search,3DRS)方法，得到各点的运动矢量记为MV，MV包含水平分量dx和垂直分量dy。

步骤302，对当前滤波帧中各区域块内所包含的各像素点的MV分别进行统计。

该步骤具体包括：

将当前滤波帧划分为互不重叠的多个区域块；

统计各区域块中MV的水平分量绝对值和垂直分量绝对值均小于第一设定阈值的个数，记为SMV_num；

统计各区域块中MV的水平分量绝对值或垂直分量绝对值大于第二设定阈值的个数，记为LMV_num；

比较各区域块中各MV的水平分量绝对值与垂直分量绝对值之和，得出各区域中幅值最大的MV大小，记为MV_max。

具体的，区域MV统计和帧间差异计算：将整帧图像划分为互不重叠的区域块(大小为BlkW×BlkH，如64×16)，对各块中的运动矢量进行统计。具体统计过程如下：

a.统计MV的水平分量绝对值和垂直分量绝对值均小于某一设定阈值SmaMVT的个数，记为SMV_num。

b.统计MV的水平分量绝对值或垂直分量绝对值大于某一设定阈值LarMVT的个数，记为LMV_num。

c.比较得出区域块中幅值最大的MV大小，记为MV_max。MV幅值MV.magMV.mag计算公式为：

MV.mag＝abs(dx)+abs(dy)

同时，计算当前滤波帧中每一像素点与其前一滤波帧中相同位置像素点及其周围邻域(局部窗)的MAE值来表征两个像素点间的差异，记为MAE。

步骤303，根据区域中的统计结果以及该区域中计算得到的第一帧间差异值MAE得到该区域的最终静止概率。

该步骤包括：

根据SMV_num、LMV_num和MV_max得到第一静止概率；

根据所述第一帧间差异值MAE计算得到第二静止概率；其中，所述第一帧间差异值MAE为当前滤波帧中每一像素点与前一滤波帧中相同位置的像素点及其周围邻域的平均绝对误差值；

选取所述第一静止概率和第二静止概率中具有最大值的作为最终静止概率。

静止概率计算：在计算最终静止概率时，包括两种运动检测方法的融合，根据上一步中的MV统计结果和MAE计算结果分别使用相应的映射曲线得到各区域静止概率。

根据运动估计得到的静止概率结果Sta_P_MV，Sta_P_MV是三种MV统计结果的融合。设定三个MV统计结果与静止概率的映射曲线，分别得到三个概率值，取概率最小值为当前区域的静止概率。三个映射曲线设计如下：

a.若区域内大部分MV各分量绝对值均在较小值范围内，则认为区域静止概率较大。区域MV较小值个数SMV_num和静止概率Sta_P1关系如图5，T₁和T₂为预先设定的值。

b.若区域内有较多MV存在分量绝对值均大于设定的阈值，则认为该区域静止概率较小。区域MV较大值个数LMV_num和静止概率Sta_P2关系如图6，T₃和T₄为预先设定的值。

c.若区域内存在较大MV，则认为该区域静止概率较小。区域MV最大值MV_max和静止概率Sta_P3关系如图7，T₅和T₆为预先设定的值。

最终由区域MV统计得到的静止概率为：

Sta_P_mv＝min{Sta_P₁,Sta_P₂,Sta_P₃}

也可使用三个静止概率相乘结果作为得到静止概率：

Sta_P_mv＝Sta_P₁×Sta_P₂×Sta_P₃

另一种检测方式使用MAE计算结果，由图8所示映射曲线得到相应静止概率Sta_P_MAE，T₇和T₈为预先设定的值，σ为估计出的噪声水平，采用现有的任一种噪声估计方法都可以。

将两种检测方式结果融合得到最终静止概率：

Sta_P＝max{Sta_P_MV,Sta_P_MAE}

步骤304，根据所述最终静止概率进行当前区域块的去噪处理。

该步骤具体包括：

根据所述最终静止概率以及计算得到的第二帧间差异值MVMAE计算前一滤波帧中的运动检测滤波权重，根据第二帧间差异值MVMAE计算运动补偿滤波权重；

根据所述运动检测滤波权重计算运动检测滤波；

根据所述运动补偿滤波权重计算运动补偿滤波；

根据所述最终静止概率分配滤波权重，利用所述滤波权重以及运动检测滤波和运动补偿滤波计算得到当前区域块的去噪结果。

滤波权重计算：包括运动检测滤波中前一滤波帧的权重w_tD，运动补偿滤波中前一滤波帧的权重w_tC，以及运动检测滤波结果与运动补偿滤波结果融合时运动检测滤波的权重w_MD。

运动检测滤波中前一滤波帧的权重w_tD计算方法：

根据当前像素点的静止概率和一预先设定的权重值w_tD⁰，计算前一滤波帧中与当前像素点坐标位置相同的像素点在滤波中占的权重值w_tD(i,j)，计算公式如下：

w_tD(i,j)＝Sta_P*w_tD⁰

运动补偿滤波中前一滤波帧的权重w_tC计算方法：

根据当前像素点的运动矢量，沿着运动轨迹找到当前滤波帧像素点在前一滤波帧中的位置，计算对应像素点邻域内的平均绝对误差值，记为MVMAE。计算公式为：

其中，H、W为局部窗的高和宽，(dx,dy)为运动矢量。根据图9所示曲线，计算前一滤波帧中的像素点在对当前像素点进行运动补偿滤波的权重w_tC(i,j)。w_tC⁰，T₉和T₁₀为预先设定的值。

运动检测滤波结果与运动补偿滤波结果融合时的权重w_MD计算方法：

根据得到的最终静止概率Sta_P分配运动补偿滤波MC-TNR和运动检测滤波MD-TNR的滤波权重。若最终静止概率大于阈值T₁₂，则在权重加权时，MD-TNR的加权值为1，MC-TNR的加权值为0；若最终静止概率小于阈值T₁₁，则在权重加权时，MD-TNR的加权值为0，MC-TNR的加权值为1。MD滤波权重w_MD与最终静止概率Sta_P的关系如图10，T₁₁和T₁₂为预先设定的值。

视频时域滤波：将运动检测滤波与运动补偿滤波融合进行去噪处理。

运动检测滤波MD-TNR的结果为：

运动补偿滤波MC-TNR的结果为：

最终融合的去噪结果为：

上述技术方案可以看出，本发明具有以下有益效果：

本发明通过对运动估计得到的运动矢量进行统计推断块的静止概率，并结合第一帧间差异值MAE判断运动状态，提高了运动检测的准确性，从而能更为准确地分配不同方式的滤波权重以控制视频滤波，达到了很好的视频去噪效果。尤其是对于视频中存在较大面积的静止区域(或背景区域)，或者某些帧有随机噪点的情况有着很好的去噪处理效果，使静止区域的去噪效果明显，进而使得视频去噪后的整体视觉质量提高。

基于与上述本发明所提供的技术方案相同的设计，本发明还提供了一种视频时域的去噪系统，如图11所示，包括：

运动估计单元，用于根据视频前一滤波帧和视频当前滤波帧进行运动估计，得到当前滤波帧中各像素点的运动矢量MV；

统计单元，用于对当前滤波帧中各区域块内所包含的各像素点的MV分别进行统计；具体用于将当前滤波帧划分为互不重叠的多个区域块；统计各区域块中MV的水平分量绝对值和垂直分量绝对值均小于第一设定阈值的个数，记为SMV_num；统计各区域块中MV的水平分量绝对值或垂直分量绝对值大于第二设定阈值的个数，记为LMV_num；比较各区域块中各MV的水平分量绝对值与垂直分量绝对值之和，得出各区域中幅值最大的MV大小，记为MV_max。

计算单元，用于根据区域中的统计结果以及该区域中计算得到的第一帧间差异值MAE得到该区域的最终静止概率；具体包括：

帧间差异计算单元，用于根据当前滤波帧和前一滤波帧计算第一帧间差异值MAE；所述第一帧间差异值MAE为当前滤波帧中每一像素点与前一滤波帧中相同位置的像素点及其周围邻域的平均绝对误差值；还用于根据当前滤波帧、前一滤波帧和所述运动矢量MV计算第二帧间差异值MVMAE；所述第二帧间差异值MVMAE为当前滤波帧中每一像素点与前一滤波帧中根据运动矢量MV，沿着运动轨迹找到的像素点及其周围邻域的平均绝对误差值；

静止概率计算单元，用于根据SMV_num、LMV_num和MV_max得到第一静止概率；根据所述第一帧间差异值MAE计算得到第二静止概率；其中，所述第一帧间差异值MAE为当前滤波帧中每一像素点与前一滤波帧中相同位置的像素点及其周围邻域的平均绝对误差值；选取所述第一静止概率和第二静止概率中具有最大值的作为最终静止概率。

处理单元，用于根据所述最终静止概率进行当前区域块的去噪处理；具体包括：

滤波权重计算单元，具体用于根据所述最终静止概率计算前一滤波帧中的运动检测滤波权重；根据所述第二帧间差异值MVMAE计算运动补偿滤波权重；根据所述运动检测滤波权重计算运动检测滤波；根据所述运动补偿滤波权重计算运动补偿滤波；

时域滤波单元，具体用于根据所述最终静止概率分配滤波权重，利用所述滤波权重以及运动检测滤波和运动补偿滤波计算得到当前区域块的去噪结果。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。