图像去噪模型训练方法、图像去噪方法、装置和电子设备与流程

本发明涉及图像处理，尤其涉及一种图像去噪模型训练方法、图像去噪方法、装置和电子设备。

背景技术：

1、近年来，随着互联网和大数据的迅速发展，图像作为一种信息技术载体，受到用户的欢迎。由于图像具有信息量丰富的优点，所以，可成为用户获取、表达和传递各种信息的重要手段之一。然而，由于拍摄装置不完善或环境因素的影响，导致电子设备获取的图像都带有噪声。

2、现有的图像去噪方法往往采用深度学习的图像去噪模型，但是，该图像去噪模型涉及的模型结构(如跳越连接和多分支结构等)较为复杂，导致该图像去噪模型在对图像进行去噪时的内存访问成本过高。

3、因此，如何构建一种图像去噪模型，以降低内存访问成本，成为一个亟需解决的问题。

技术实现思路

1、本发明提供一种图像去噪模型训练方法、图像去噪方法、装置和电子设备，由于初始图像去噪模型包括的图像特征提取网络采用了依次串联的残差网络单元和去噪注意力单元，以摒弃较为复杂的拓扑结构，因此，在对该初始图像去噪模型进行训练的过程中，可有效降低内存访问成本，进而使得训练后的图像去噪模型的模型结构也较为简单。

2、第一方面，本发明提供一种图像去噪模型训练方法，包括：

3、获取图像样本和该图像样本对应的去噪图像；

4、将该图像样本输入至初始图像去噪模型中的下采样网络进行下采样，得到该图像样本对应的第一特征图；该初始图像去噪模型还包括与该下采样网络依次串联的图像特征提取网络和上采样网络，该图像特征提取网络包括依次串联的残差网络单元和去噪注意力单元；

5、将该第一特征图输入至该残差网络单元进行特征提取，得到第二特征图，并将该第二特征图输入至该去噪注意力单元进行去噪处理，得到第三特征图；

6、将该第三特征图输入至该上采样网络进行上采样，得到该图像样本对应的预测去噪图像；

7、根据该去噪图像和该预测去噪图像，对该初始图像去噪模型的模型参数进行更新，以得到训练后的图像去噪模型。

8、根据本发明提供的一种图像去噪模型训练方法，该残差网络单元的数量为多个的情况下，该将该第一特征图输入至该残差网络单元进行特征提取，得到第二特征图，并将该第二特征图输入至该去噪注意力单元进行去噪处理，得到第三特征图，包括：将该第一特征图输入至第一个残差网络单元进行特征提取，得到第四特征图；针对其他残差网络单元，将前一个残差网络单元输出的第四特征图输入至该其他残差网络单元进行特征提取，得到第五特征图；将最后一个残差网络单元输出的第五特征图作为该第二特征图，输入至该去噪注意力单元进行去噪处理，得到该第三特征图。

9、根据本发明提供的一种图像去噪模型训练方法，该残差网络单元包括依次串联的通用卷积层和激活函数层，该将该第一特征图输入至该残差网络单元进行特征提取，得到第二特征图，包括：将该第一特征图输入至该通用卷积层进行特征提取，得到第六特征图；将该第六特征图输入至该激活函数层进行非线性变换，得到该第二特征图。

10、根据本发明提供的一种图像去噪模型训练方法，该通用卷积层包括多个依次串联的卷积层，该将该第一特征图输入至该通用卷积层进行特征提取，得到第六特征图，包括：将该第一特征图输入至第一个卷积层进行特征提取，得到第七特征图；针对其他卷积层，将前一个卷积层输出的第七特征图输入至该其他卷积层进行特征提取，得到第八特征图；将最后一个卷积层输出的第八特征图确定为该第六特征图。

11、根据本发明提供的一种图像去噪模型训练方法，该去噪注意力单元包括依次串联的跨步卷积层、残差网络层和上采样层，该将该第二特征图输入至该去噪注意力单元进行去噪处理，得到第三特征图，包括：将该第二特征图输入至该跨步卷积层进行去冗余，得到第九特征图；将该第九特征图输入至该残差网络层进行特征提取，得到第十特征图；将该第十特征图输入至该上采样层进行上采样，得到该第三特征图。

12、根据本发明提供的一种图像去噪模型训练方法，在该下采样网络为哈尔变换网络的情况下，该将该图像样本输入至初始图像去噪模型中的下采样网络进行下采样，得到该图像样本对应的第一特征图，包括：将该图像样本输入至初始图像去噪模型中的哈尔变换网络进行下采样，得到该图像样本对应的第一特征图。

13、第二方面，本发明提供一种基于图像去噪模型的图像去噪方法，包括：

14、获取待去噪图像；

15、将该待去噪图像输入至图像去噪模型中，得到该图像去噪模型输出的目标去噪图像，该图像去噪模型通过第一方面中的任一所述图像去噪模型训练方法训练得到的。

16、第三方面，本发明提供一种图像去噪模型训练装置，包括：获取模块、处理模块，以及依次串联的下采样网络、图像特征提取网络和上采样网络，该图像特征提取网络包括依次串联的残差网络单元和去噪注意力单元；其中，

17、该获取模块，用于获取图像样本和该图像样本对应的去噪图像；

18、该下采样网络，用于对初始图像去噪模型中的该图像样本进行下采样，得到该图像样本对应的第一特征图；

19、该残差网络单元，用于对该第一特征图进行特征提取，得到第二特征图；

20、该去噪注意力单元，用于对该第二特征图进行去噪处理，得到第三特征图；

21、该上采样网络，用于对该第三特征图进行上采样，得到该图像样本对应的预测去噪图像；

22、该处理模块，用于根据该去噪图像和该预测去噪图像，对该初始图像去噪模型的模型参数进行更新，以得到训练后的图像去噪模型。

23、第四方面，本发明提供一种基于图像去噪模型的图像去噪装置，包括：

24、获取模块，用于获取待去噪图像；

25、处理模块，用于将该待去噪图像输入至图像去噪模型中，得到该图像去噪模型输出的目标去噪图像，该图像去噪模型通过第一方面中的任一所述图像去噪模型训练方法训练得到的。

26、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上第一方面所述图像去噪模型训练方法或，第二方法所述基于图像去噪模型的图像去噪方法。

27、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上第一方面所述图像去噪模型训练方法或，第二方法所述基于图像去噪模型的图像去噪方法。

28、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述图像去噪模型训练方法或，第二方法所述基于图像去噪模型的图像去噪方法。

29、本发明提供的图像去噪模型训练方法、图像去噪方法、装置和电子设备，该方法通过获取图像样本和所述图像样本对应的去噪图像；将所述图像样本输入至初始图像去噪模型中的下采样网络进行下采样，得到所述图像样本对应的第一特征图；所述初始图像去噪模型还包括与所述下采样网络依次串联的图像特征提取网络和上采样网络，所述图像特征提取网络包括依次串联的残差网络单元和去噪注意力单元；将所述第一特征图输入至所述残差网络单元进行特征提取，得到第二特征图，并将所述第二特征图输入至所述去噪注意力单元进行去噪处理，得到第三特征图；将所述第三特征图输入至所述上采样网络进行上采样，得到所述图像样本对应的预测去噪图像；根据所述去噪图像和所述预测去噪图像，对所述初始图像去噪模型的模型参数进行更新，以得到训练后的图像去噪模型。该方法中，由于初始图像去噪模型包括的图像特征提取网络采用了依次串联的残差网络单元和去噪注意力单元，以摒弃较为复杂的拓扑结构，因此，在对该初始图像去噪模型进行训练的过程中，可有效降低内存访问成本，进而使得训练后的图像去噪模型的模型结构也较为简单。