一种视频去噪方法、装置，设备及存储介质与流程

本公开涉及数据处理领域，尤其涉及一种视频去噪方法、装置、设备及存储介质。

背景技术：

1、在低照度下，由于环境照度低，曝光时间受限，进入到图像传感器的光子数量少，高噪声水平严重影响成像质量。提高曝光时间会导致运动物体成像模糊，且不利于获得流畅视频效果。

2、常见手段是利用深度视频去噪网络将连续5帧图像和噪声估计图作为网络的输入，通过级联的2个共享参数的深度学习网络对当前帧图像进行降噪处理，通过神经网络学习的方式处理帧间的运动，不做显示的运动估计。该方案在低照度下降噪效果较差，特别是大面积的运动区域处的细节恢复不佳，且视频降噪力度不可设置。

技术实现思路

1、本公开提供了一种视频方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。

2、根据本公开的第一方面，提供了一种视频去噪方法，所述方法包括：

3、获取待处理视频数据，以帧为单位将所述视频数据拆解为第一格式的图像，形成第一图像集；

4、将所述第一图像集中的图像进行格式转换，得到第二格式的图像，转换后的第二格式的图像形成第二图像集；

5、将所述第二图像集中的第一帧图像作为初始融合图像，所述第二图像集中从第二帧图像开始，逐帧与前一帧图像进行叠加，得到相应的融合图像；

6、基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像；

7、将所述降噪图像转换为第一格式的降噪图像，按帧顺序将所述第一格式的降噪图像进行合并，得到去噪视频数据。

8、在一可实施方式中，所述逐帧与前一帧图像进行叠加，得到相应的融合图像，包括：

9、将所述第二数据集中从第二帧图像开始，逐帧与前一帧的融合图像对应位置的像素值相减，并对结果取绝对值，得到所述从第二帧图像开始相应的第一结果，基于所述第一结果设置第一参数，将所述第一参数与所述第一结果各个位置的像素值相乘，得到所述从第二帧图像开始对应第一输出对象，并设置第一范围作为所述第一输出对象各个位置像素值的输出范围；

10、利用循环神经网络，基于带噪图像和对应的清晰图像建立并训练第一融合模型，基于训练结果调整所述第一融合模型的融合参数，获取所述视频数据的噪声偏差参数，将所述噪声偏差参数和所述第一输出对象作为所述第一融合模型的输入，通过调整所述融合参数，并将所述第一范围设置为所述融合模型输出的图像每个位置的像素范围，生成所述从第二帧图像开始相应的融合权重图像；

11、将所述从第二帧图像开始的逐帧图像和所述相应的融合权重图像对应位置的像素值相乘，得到相应的第二结果，利用第一数值减去所述相应的融合权重图像中各个位置的像素值，得到相应的第三结果，将所述前一帧的融合图像与所述相应的第三结果对应位置的像素值相乘，得到相应的第四结果，将所述相应的第二结果和相应的第四结果对应位置的像素值相加，得到所述相应的融合图像。

12、在一可实施方式中，所述方法还包括：

13、基于所述融合权重图像的像素设置像素阈值，将所述从第二帧图像开始的逐帧图像相应的融合权重图像中的各个位置的像素值与所述像素阈值进行比较，若比较结果为所述像素值大于所述像素阈值，则将该像素值修改为1，其余比较结果则保留原像素值，基于所述比较结果和所述融合权重图像的格式生成相应的第一二值图像；

14、基于所述第一二值图像设置膨胀核参数，基于所述膨胀核参数，将所述从第二帧图像开始的逐帧图像相应的第一二值图像进行图像膨胀，得到相应的第二二值图像；

15、将所述从第二帧图像开始的逐帧图像和所述相应的第二二值图像对应位置的像素值相乘，得到相应的第五结果，利用第一数值减去所述相应的第二二值图像中各个位置的像素值，得到相应的第六结果，将所述前一帧的融合图像与所述相应的第六结果对应位置的像素值相乘，得到相应的第七结果，将所述相应的第五结果和所述相应的第七结果对应位置的像素值相加，得到所述相应的校正图像。

16、在一可实施方式中，所述基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像，包括：

17、基于所述融合图像或所述校正图像的清晰度设置降噪力度控制参数；

18、将所述融合图像或所述校正图像作为第一处理函数的输入，并基于所述融合图像或校正图像的属性信息设置所述第一处理函数输出的图像的长和宽，得到相应的第一处理图像；

19、将所述融合图像或所述校正图像与所述相应的第一处理图像对应位置的像素值相减，并对相减后的像素值取绝对值，基于所述绝对值和降噪力度控制参数，建立所述相应的噪声图像；

20、将所述第二图像集中每一帧图像对应的噪声图像，所述融合图像或所述校正图像输入第一降噪模型，训练生成逐帧图像相应的降噪图像。

21、在一可实施方式中，所述将所述第一图像集中的图像进行格式转换，得到第二格式的图像，转换后的第二格式的图像形成第二图像集，还包括：

22、获取所述视频数据的亮度增益值，基于所述第一格式图像的黑电平值和所述第一格式图像的最大可取值，对所述格式转换后的图像的像素值进行调整，并将所述亮度增益值与所述调整后的图像的像素值相乘，得到第二图像集。

23、根据本公开的第二方面，提供了一种视频去噪装置，所述装置包括：

24、第一数据处理模块，用于获取待处理视频数据，以帧为单位将所述视频数据拆解为第一格式的图像，形成第一图像集；将所述第一图像集中的图像进行格式转换，得到第二格式的图像，转换后的第二格式的图像形成第二图像集；

25、融合模块，用于，将所述第二图像集中的第一帧图像作为初始融合图像，所述第二图像集中从第二帧图像开始，逐帧与前一帧图像进行叠加，得到相应的融合图像；

26、降噪模块，用于，基于所述融合图像的图像信息建立噪声图像，将所述融合图像和所述噪声图像输入第一降噪模型，训练生成降噪图像；

27、第二数据处理模块，用于将所述降噪图像转换为第一格式的降噪图像，按帧顺序将所述第一格式的降噪图像进行合并，得到去噪视频数据。

28、在一可实施方式中，所述融合模块还用于，将所述第二数据集中从第二帧图像开始，逐帧与前一帧的融合图像对应位置的像素值相减，并对结果取绝对值，得到所述从第二帧图像开始相应的第一结果，基于所述第一结果设置第一参数，将所述第一参数与所述第一结果各个位置的像素值相乘，得到所述从第二帧图像开始对应第一输出对象，并设置第一范围作为所述第一输出对象各个位置像素值的输出范围；利用循环神经网络，基于带噪图像和对应的清晰图像建立并训练第一融合模型，基于训练结果调整所述第一融合模型的融合参数，获取所述视频数据的噪声偏差参数，将所述噪声偏差参数和所述第一输出对象作为所述第一融合模型的输入，通过调整所述融合参数，并将所述第一范围设置为所述融合模型输出的图像每个位置的像素范围，生成所述从第二帧图像开始相应的融合权重图像；将所述从第二帧图像开始的逐帧图像和所述相应的融合权重图像对应位置的像素值相乘，得到相应的第二结果，利用第一数值减去所述相应的融合权重图像中各个位置的像素值，得到相应的第三结果，将所述前一帧的融合图像与所述相应的第三结果对应位置的像素值相乘，得到相应的第四结果，将所述相应的第二结果和相应的第四结果对应位置的像素值相加，得到所述相应的融合图像；

29、所述第一数据处理模块还用于，获取所述视频数据的亮度增益值，基于所述第一格式图像的黑电平值和所述第一格式图像的最大可取值，对所述格式转换后的图像的像素值进行调整，并将所述亮度增益值与所述调整后的图像的像素值相乘，得到第二图像集。

30、在一可实施方式中，所述装置还包括：

31、校正模块，用于基于所述融合权重图像的像素设置像素阈值，将所述从第二帧图像开始的逐帧图像相应的融合权重图像中的各个位置的像素值与所述像素阈值进行比较，若比较结果为所述像素值大于所述像素阈值，则将该像素值修改为1，其余比较结果则保留原像素值，基于所述比较结果和所述融合权重图像的格式生成相应的第一二值图像；基于所述第一二值图像设置膨胀核参数，基于所述膨胀核参数，将所述从第二帧图像开始的逐帧图像相应的第一二值图像进行图像膨胀，得到相应的第二二值图像；将所述从第二帧图像开始的逐帧图像和所述相应的第二二值图像对应位置的像素值相乘，得到相应的第五结果，利用第一数值减去所述相应的第二二值图像中各个位置的像素值，得到相应的第六结果，将所述前一帧的融合图像与所述相应的第六结果对应位置的像素值相乘，得到相应的第七结果，将所述相应的第五结果和所述相应的第七结果对应位置的像素值相加，得到所述相应的校正图像；

32、所述降噪模块还用于，基于所述融合图像或所述校正图像的清晰度设置降噪力度控制参数；将所述融合图像或所述校正图像作为第一处理函数的输入，并基于所述融合图像或校正图像的属性信息设置所述第一处理函数输出的图像的长和宽，得到相应的第一处理图像；将所述融合图像或所述校正图像与所述相应的第一处理图像对应位置的像素值相减，并对相减后的像素值取绝对值，基于所述绝对值和降噪力度控制参数，建立所述相应的噪声图像；将所述第二图像集中每一帧图像对应的噪声图像，所述融合图像或所述校正图像输入第一降噪模型，训练生成逐帧图像相应的降噪图像。

33、根据本公开的第三方面，提供了一种电子设备，包括：

34、至少一个处理器；以及

35、与所述至少一个处理器通信连接的存储器；其中，

36、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。

37、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。

38、本公开的视频去噪方法、装置、设备及存储介质，通过将视频逐帧拆分，并对拆分后的每一帧进行融合处理、校正处理，提升了每一帧画面的时域融合和空域降噪，充分利用视频帧间的相关性，使得在极低照度下视频去噪获得满意效果，且降噪视频闪烁小，降噪力度和时域融合力度可设置，方便根据不同应用场景设置参数，适用场景广泛。该视频去噪方法计算量小，可以实时运行于主流的边缘端设备上。

39、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。