动态卷积降噪方法、装置、设备及介质与流程

本发明涉及图像处理领域，特别是涉及一种动态卷积降噪方法、装置、设备及介质。

背景技术：

1、现代数字成像系统中，前端通常由光敏传感器和颜色滤波阵列(color filterarray，cfa)组成。cfa阵列的每个单元一般以rggb四种滤光片的形式排布，通过逐像素过滤不同范围的波长来捕捉颜色信息。而由于其本身的光损特性，导致低照度条件下成像信噪比较低，低光照条件下的成像去噪问题也成为了数字成像领域的主要挑战之一。

2、rgbw传感器是一种新型的图像传感器，该模式在每个2×2邻域中包含两个白色像素和两个相同原色的像素，每个4×4邻域中r、g、b和w的比例为1:2:1:4。由于其中白色像素不会吸收任何光线，因此大大提高了信噪比，使其可以在保持较高分辨率的同时提高图像质量和低光条件下的成像能力。

3、在相关技术的去噪方案中，大多局限于传统的cfa阵列，诸如非线性无激活网络(nonlinear activation free network，nafnet)、restormer模型、uformer模型等，都构建了复杂的网络，能够对具有相同信噪比的rggb维度信息进行去噪，但实际去噪方案中缺乏对具有更高信噪比的白像素的处理方法。

技术实现思路

1、有鉴于此，本发明的目的是提供一种动态卷积降噪方法、装置、设备及介质，可以提供一种基于具有更高信噪比的白像素的去噪方案，能够利用白像素特征来提升网络的动态降噪能力，进而提高图像降噪效果。其具体方案如下：

2、一种动态卷积降噪方法，所述方法包括：

3、分别获取bayer噪声图像中的rggb像素特征和白像素特征；

4、利用所述白像素特征引导所述rggb像素特征进行动态卷积降噪，得到新rggb像素特征；

5、输出与所述新rggb像素特征对应的降噪后的rggb图像。

6、一方面，在本发明实施例提供的上述动态卷积降噪方法中，所述分别获取bayer噪声图像中的rggb像素特征和白像素特征，包括：

7、对bayer噪声图像进行解耦处理，得到rggb像素信息和白像素信息；

8、分别对所述rggb像素信息和白像素信息进行多尺度特征提取，得到不同尺度的所述rggb像素特征和不同尺度的所述白像素特征。

9、另一方面，在本发明实施例提供的上述动态卷积降噪方法中，所述分别对所述rggb像素信息和白像素信息进行多尺度特征提取，得到不同尺度的所述rggb像素特征和不同尺度的所述白像素特征，包括：

10、将所述rggb像素信息输入至第一多尺度特征提取网络中进行多尺度特征提取，得到不同尺度的所述rggb像素特征；

11、将所述白像素信息输入至第二多尺度特征提取网络中进行多尺度特征提取，得到不同尺度的所述白像素特征；

12、所述第一多尺度特征提取网络和所述第二多尺度特征提取网络不共享权重。

13、另一方面，在本发明实施例提供的上述动态卷积降噪方法中，所述利用所述白像素特征引导所述rggb像素特征进行动态卷积降噪，包括：

14、利用不同尺度的所述白像素特征中的目标特征，引导所述rggb像素特征进行动态卷积降噪；

15、可选地，所述利用不同尺度的所述白像素特征中的目标特征，引导所述rggb像素特征进行动态卷积降噪之前，还包括：

16、从不同尺度的所述白像素特征中选择靠近底层的n层尺度特征作为所述目标特征，n为正整数；

17、可选地，所述利用不同尺度的所述白像素特征中的目标特征，引导所述rggb像素特征进行动态卷积降噪，包括：

18、按照逐渐远离所述底层的方向，逐层利用所述目标特征引导所述rggb像素特征进行逐级动态卷积降噪。

19、另一方面，在本发明实施例提供的上述动态卷积降噪方法中，所述利用所述白像素特征引导所述rggb像素特征进行动态卷积降噪，得到新rggb像素特征，包括：

20、对所述白像素特征进行动态卷积权重的计算，得到对应的像素卷积核；

21、利用所述像素卷积核对所述rggb像素特征进行基于内核的重建，得到新rggb像素特征。

22、另一方面，在本发明实施例提供的上述动态卷积降噪方法中，所述对所述白像素特征进行动态卷积权重的计算，得到对应的像素卷积核，包括：

23、将所述白像素特征分别并行通过最大通道池化、平均通道池化以及空间平均池化，对应得到第一维度特征、第二维度特征和第三维度特征；

24、将所述第一维度特征和所述第二维度特征在通道维度进行拼接后进行扩维，得到第四维度特征；

25、将所述第四维度特征与所述第三维度特征进行矩阵乘法，得到像素卷积核。

26、另一方面，在本发明实施例提供的上述动态卷积降噪方法中，所述输出与所述新rggb像素特征对应的降噪后的rggb图像，包括：

27、将所述白像素特征中除目标特征以外的其他特征与所述新rggb像素特征进行融合，得到降噪后的rggb图像，所述目标特征为所述白像素特征中引导所述rggb像素特征进行动态卷积降噪的特征。

28、为了解决上述技术问题，本发明还提供一种动态卷积降噪装置，所述装置包括：

29、特征获取模块，用于分别获取bayer噪声图像中的rggb像素特征和白像素特征；

30、动态卷积模块，用于利用所述白像素特征引导所述rggb像素特征进行动态卷积降噪，得到新rggb像素特征；

31、特征融合模块，用于输出与所述新rggb像素特征对应的降噪后的rggb图像。

32、为了解决上述技术问题，本发明还提供一种动态卷积降噪设备，所述设备包括：

33、存储器，用于存储计算机程序；

34、处理器，用于执行所述计算机程序时实现上述的动态卷积降噪方法的步骤。

35、为了解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的动态卷积降噪方法的步骤。

36、从上述技术方案可以看出，本发明所提供的一种动态卷积降噪方法，该方法包括：分别获取bayer噪声图像中的rggb像素特征和白像素特征；利用白像素特征引导rggb像素特征进行动态卷积降噪，得到新rggb像素特征；输出与新rggb像素特征对应的降噪后的rggb图像。

37、本发明的有益效果在于，本发明提供的上述动态卷积降噪方法，可以提供一种基于具有更高信噪比的白像素的去噪方案，先分别获取bayer噪声图像中的rggb像素特征和白像素特征，能够有效解决白像素与rggb像素的特征域差异问题，又充分利用白像素特征引导rggb像素特征进行动态卷积降噪，再输出与新rggb像素特征对应的降噪后的rggb图像，能够利用白像素低信噪比的特点来提升网络的动态降噪能力，进而更好地对rgbw传感器的bayer噪声图像实现降噪处理。

38、此外，本发明还针对动态卷积降噪方法提供了相应的动态卷积降噪装置、动态卷积降噪设备及计算机可读存储介质，与上述提到的动态卷积降噪方法具有相同或相对应的技术特征，效果同上。