图像去噪模型的训练方法、图像去噪方法、装置及设备与流程

本申请实施例涉及人工智能，特别涉及图像去噪模型的训练方法、图像去噪方法、装置及设备。

背景技术：

1、人们在拍摄图像时难免会出现一些拍摄上的问题，导致拍摄的图像中存在阴影、模糊等噪声。

2、以图像去阴影为例，在相关技术中，提供了一种基于深度学习的图像去阴影方法。将带阴影图像及其对应的阴影掩膜图像输入至训练好的图像去阴影模型，由图像去阴影模型输出去阴影图像。

3、然而，在实际应用中，通常只能够获取带阴影图像，而带阴影图像对应的阴影掩膜图像是无法获取的，这就导致上述方式无法达到较好的去阴影效果。

技术实现思路

1、本申请实施例提供了一种图像去噪模型的训练方法、图像去噪方法、装置及设备。所述技术方案如下：

2、根据本申请实施例的一个方面，提供了一种图像去噪模型的训练方法，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述方法包括：

3、获取所述图像去噪模型的训练样本，所述训练样本包括无噪声样本图像、纯噪声图像，以及基于所述无噪声样本图像和所述纯噪声图像生成的带噪样本图像；

4、通过所述编码器提取所述带噪样本图像的特征信息；

5、通过所述第一解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的预测噪声图像；根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像；

6、通过所述第二解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的第二预测去噪图像；

7、根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数。

8、根据本申请实施例的一个方面，提供了一种图像去噪方法，所述方法包括：

9、获取待图像去噪模型处理的带噪图像，所述图像去噪模型包括编码器和第一解码器；

10、通过所述编码器提取所述带噪图像的特征信息；

11、通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像；

12、根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。

13、根据本申请实施例的一个方面，提供了一种图像去噪模型的训练装置，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述装置包括：

14、样本获取模块，用于获取所述图像去噪模型的训练样本，所述训练样本包括无噪声样本图像、纯噪声图像，以及基于所述无噪声样本图像和所述纯噪声图像生成的带噪样本图像；

15、信息提取模块，用于通过所述编码器提取所述带噪样本图像的特征信息；

16、第一处理模块，用于通过所述第一解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的预测噪声图像；根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像；

17、第二处理模块，用于通过所述第二解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的第二预测去噪图像；

18、参数调整模块，用于根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数。

19、根据本申请实施例的一个方面，提供了一种图像去噪装置，所述装置包括：

20、图像获取模块，用于获取待图像去噪模型处理的带噪图像，所述图像去噪模型包括编码器和第一解码器；

21、信息提取模块，用于通过所述编码器提取所述带噪图像的特征信息；

22、信息处理模块，用于通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像；

23、图像生成模块，用于根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。

24、根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像去噪模型的训练方法，或者实现上述图像去噪方法。

25、根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像去噪模型的训练方法，或者实现上述图像去噪方法。

26、根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像去噪模型的训练方法，或者执行上述图像去噪方法。

27、本申请实施例提供的技术方案至少包括如下有益效果：

28、本申请实施例提供了一种基于多任务学习的图像去噪模型的训练方法，一方面让图像去噪模型学习带噪样本图像对应的预测噪声图像，另一方面让图像去噪模型学习带噪样本图像对应的预测去噪图像，上述两个子任务在性能上互相促进，从而有助于提升最终训练得到的图像去噪模型的去噪效果。而且，该图像去噪模型的输入数据仅需包括带噪样本图像即可，并不需要包括纯噪声图像，因此能够克服相关技术中对模型输入数据的限制，提升方案的通用性和实用性。

技术特征：

1.一种图像去噪模型的训练方法，其特征在于，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一预测去噪图像和所述无噪声样本图像，确定第一训练损失，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二预测去噪图像和所述无噪声样本图像，确定第二训练损失，包括：

6.根据权利要求1所述的方法，其特征在于，所述图像去噪模型还包括判别器；所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述判别器包括特征映射层、n个级联的下采样层、n个级联的上采样层和特征提取层，n为大于1的整数；

8.根据权利要求1所述的方法，其特征在于，所述图像去噪模型还包括分类器；所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像，包括：

10.根据权利要求1至9任一项所述的方法，其特征在于，所述获取所述图像去噪模型的训练样本之后，还包括：

11.一种图像去噪方法，其特征在于，所述方法包括：

12.根据权利要求11所述的方法，其特征在于，所述根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像，包括：

13.根据权利要求11所述的方法，其特征在于，所述编码器包括k个级联的下采用层，所述第一解码器包括k个级联的上采用层，k为大于1的整数；

14.根据权利要求11所述的方法，其特征在于，所述图像去噪模型还包括分类器；所述方法还包括：

15.根据权利要求11至14任一项所述的方法，其特征在于，所述方法还包括：

16.一种图像去噪模型的训练装置，其特征在于，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述装置包括：

17.一种图像去噪装置，其特征在于，所述装置包括：

18.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一项所述的图像去噪模型的训练方法，或者实现如权利要求11至15任一项所述的图像去噪方法。

19.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一项所述的图像去噪模型的训练方法，或者实现如权利要求11至15任一项所述的图像去噪方法。

20.一种计算机程序产品或计算机程序，其特征在于，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从手术室计算机可读存储介质读取并执行所述计算机指令，以实现如权利要求1至10任一项所述的图像去噪模型的训练方法，或者实现如权利要求11至15任一项所述的图像去噪方法。

技术总结
本申请公开了一种图像去噪模型的训练方法、图像去噪方法、装置及设备，涉及人工智能技术领域。方法包括：获取图像去噪模型的训练样本；通过编码器提取带噪样本图像的特征信息；通过第一解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的预测噪声图像；根据预测噪声图像和带噪样本图像，生成带噪样本图像对应的第一预测去噪图像；通过第二解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的第二预测去噪图像；根据第一预测去噪图像、第二预测去噪图像和无噪声样本图像，确定图像去噪模型的训练损失，并基于训练损失调整图像去噪模型的参数。本申请方案可应用在文档、PPT(幻灯片)等图像去阴影的场景。

技术研发人员：刘帅伟,黄飞
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/14