一种基于运动估计和噪声估计的视频实时降噪方法及装置与流程

本发明涉及视频降噪，尤其涉及一种基于运动估计和噪声估计的视频实时降噪方法及装置。

背景技术：

1、视频去噪是一项在多个领域中被广泛使用的重要技术，其目的是消除视频信号中存在的噪声干扰，提高视频的图像质量。随着现代应用对高分辨率视频和实时处理的需求日益增长，视频去噪算法的效率成为了实际应用中不可忽视的关键因素。在实践中，视频去噪方法的速度和效率往往是业界和学术界关注的重点问题之一，需要不断优化算法设计和实现方法，以提高视频去噪的实时性和处理效率。

2、从本质上讲，视频去噪可以被视为图像去噪的一种扩展形式。因此，图像去噪所采用的技术可以被应用到视频去噪中，但需要考虑到视频数据的时间性质，进行一些额外的处理。具体而言，视频帧之间存在时间上的关联性和连续性，这意味着在去除噪声时，不能简单地对每一帧进行独立的处理。相反，需要考虑到视频序列中的空间和时间冗余，利用相邻帧之间的相关性来增强去噪效果。同时，视频去噪算法需要保证去噪后的视频仍然具有良好的时空一致性和连续性，以确保最终的视频质量。

3、目前为止，对图像和视频降噪效果最好的方法就是基于图像的非局部自相似性的算法，利用自然图像中存在的空间冗余性和视频序列连续帧之间在时域上存在的冗余性，通过块匹配的方式，找出时域和空域存在的相似块，通过平均相似块来对图像或者视频进行降噪。非局部均值滤波(nlm)算法基于图像纹理相似性，通过块匹配寻找目标像素周围一定区域的相似块，将目标像素替换为与其具有相似纹理的像素的加权平均值来达到降噪的目的。对于视频处理来说，除了寻找图像自身的相似块之外，还需要在相邻帧之间寻找相似块。非局部均值滤波器可以保留图像细节和纹理，同时去除高斯噪声和椒盐噪声，该算法被广泛应用于图像去噪、图像增强、图像分割等领域。

4、目前广泛使用的效果极好的图像降噪方法之一是bm3d(block-matching 3d，三维块匹配)算法，该框架结合了自然图像的非局部相似性特征和变换域中的稀疏表示。bm3d的计算过程依赖于所谓的分组和协同过滤。首先，将搜索到的相互相似的二维图像块堆叠成三维组(分组,grouping)，然后通过变换域收缩(协同过滤，collaborative filtering)对每个组进行过滤，同时为每个分组块提供单独的估计。这些估计值被返回到原先相似的二维图像块各自的位置，并最终聚合以生成最终的降噪图像。在此过程中，bm3d利用了自然图像的非局部和局部空间相关性，分别利用了大量相互相似的图像块和每个图像块内图像数据的高度相关性。将其扩展到视频降噪领域，并对来自时域和空域的相似性进行区分，可以得到v-bm4d(video-bm4d)视频降噪算法。在分组阶段，会同时寻找时域和空域的相似块，由于连续帧之间来自时域的沿物体运动轨迹的相似性，要大于同一帧图像的非局部相似性，因此对来自时域和空域的相似块进行区分，并且在最终聚合得到目标像素降噪结果时，添加了不同的权重，以达到更好的降噪效果。

5、上述的基于块匹配的降噪算法，由于其优秀的降噪效果，在近些年来得到极为广泛的应用。然而块匹配和变换域所涉及到的复杂计算，限制了这些算法的应用场景，难以应用在实时性要求较高的应用场景中，硬件设计也相对复杂。此外，现有的一部分算法会参考视频连续帧之间的运动情况，进一步的提升降噪的效果，然而现有技术中缺少降噪算法对噪声水平进行估计并将其与运动估计相结合，导致降噪效果不佳。

6、因此，现有技术还有待改进和提高。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于运动估计和噪声估计的视频实时降噪方法及装置，旨在解决现有技术中缺少降噪算法对噪声水平进行估计并将其与运动估计相结合，导致降噪效果不佳的问题。

2、为了解决上述技术问题，本发明所采用的技术方案如下：

3、第一方面，本发明提供一种基于运动估计和噪声估计的视频实时降噪方法，其中，所述方法包括：

4、获取当前帧的原始图像，并对所述原始图像分别进行中值滤波和双边滤波，得到第一滤波图像和第二滤波图像；

5、基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图；

6、基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3d去噪图像，所述3d去噪图像用于下一帧的降噪计算。

7、在一种实现方式中，所述基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图，包括：

8、根据所述第一滤波图像与所述原始图像进行噪声估计，得到所述噪声估计图；

9、获取前帧降噪图像，并根据所述前帧降噪图像与所述第二滤波图像进行运动估计，得到所述运动估计图。

10、在一种实现方式中，所述根据所述第一滤波图像与所述原始图像进行噪声估计，得到所述噪声估计图，包括：

11、基于所述第一滤波图像与所述原始图像，计算差异数据；

12、获取预设的梯度阈值，基于所述梯度阈值与所述差异数据计算每个像素的噪声方差，得到所述噪声估计图。

13、在一种实现方式中，所述基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3d去噪图像，包括：

14、基于所述噪声估计图与所述运动估计图进行帧融合计算，得到帧融合权重图；

15、基于所述帧融合权重图、前帧降噪图像以及所述第二滤波结果，得到所述3d去噪图像。

16、在一种实现方式中，所述基于所述帧融合权重图、前帧降噪图像以及所述第二滤波结果，得到所述3d去噪图像，包括：

17、基于所述帧融合权重图确定融合比例；

18、根据所述融合比例，将所述前帧降噪图像与所述第二滤波结果在像素上进行图像融合，得到所述3d去噪图像。

19、在一种实现方式中，所述图像融合的计算过程为：

20、iresult(n,p)＝ibf(n,p)×fwiener(n,p)+iresult(n-1,p)×(1-fwiener(n,p))；

21、

22、fdelta(n,p)＝|ibf(n,p)-iresult(n-1,p)|；

23、其中，p＝(x,y)为第n帧原始图像i(n)中的某个位置，fwiener(n,p)为对于一个给定的像素的融合比例，ibf(n,p)表示第n帧原始图像在双边滤波之后，在p(x,y)位置的像素值强度，iresult(n-1,p)表示第n-1帧原始图像的3d降噪图像在p(x,y)位置的像素强度，σ2(n,p)表示第n帧原始图像p(x,y)位置的噪声方差，c1,c2是分别用来调整噪声水平和运动水平的权重系数。

24、在一种实现方式中，所述方法还包括：

25、对所述噪声估计图进行修正，以对所述噪声估计图进行适当的偏置。

26、第二方面，本发明实施例还提供一种基于运动估计和噪声估计的视频实时降噪装置，其中，所述装置包括：

27、图像滤波模块，用于获取当前帧的原始图像，并对所述原始图像分别进行中值滤波和双边滤波，得到第一滤波图像和第二滤波图像；

28、噪声与运动估计模块，用于基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图；

29、图像融合模块，用于基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3d去噪图像，所述3d去噪图像用于下一帧的降噪计算。

30、第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于运动估计和噪声估计的视频实时降噪程序，处理器执行基于运动估计和噪声估计的视频实时降噪程序时，实现上述方案中任一项的基于运动估计和噪声估计的视频实时降噪方法的步骤。

31、第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于运动估计和噪声估计的视频实时降噪程序，所述基于运动估计和噪声估计的视频实时降噪程序被处理器执行时，实现上述方案中任一项所述的基于运动估计和噪声估计的视频实时降噪方法的步骤。

32、有益效果：与现有技术相比，本发明提供了一种基于运动估计和噪声估计的视频实时降噪方法，本发明首先获取当前帧的原始图像，并对所述原始图像分别进行中值滤波和双边滤波，得到第一滤波图像和第二滤波图像。然后，基于所述第一滤波图像与所述第二滤波图像分别进行噪声估计与运动估计，得到所述当前帧的噪声估计图与运动估计图。最后，基于所述噪声估计图与所述运动估计图进行计算以及进行帧融合，得到3d去噪图像，所述3d去噪图像用于下一帧的降噪计算。本发明结合了运动估计和噪声水平估计对视频图像进行精细化的区域划分，实现对不同的区域实施不同降噪策略。