对图像生成网络进行训练的方法、图像处理方法和装置与流程

本公开涉及人工智能，具体为计算机视觉、深度学习等，具体涉及一种对图像生成网络进行训练的方法、图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本公开提供了一种对图像生成网络进行训练的方法、图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面，提供了一种对图像生成网络进行训练的方法，包括：确定样本输入图像以及对应于所述样本输入图像的真实图像；第一训练阶段，在所述第一训练阶段中：利用图像生成网络对所述样本输入图像进行处理，以得到对应于所述样本输入图像的第一恢复图像；将所述真实图像或所述第一恢复图像输入判别网络，以得到判别结果，所述判别结果指示输入所述判别网络的图像是否是真实图像；至少基于所述判别结果与真实结果的误差确定第一损失值；第二训练阶段，在所述第二训练阶段中：利用图像生成网络对所述样本输入图像进行处理，以得到对应于所述样本输入图像的第二恢复图像；基于所述第二恢复图像和所述真实图像之间的误差确定第二损失值；基于所述第一损失值和所述第二损失值调整所述图像生成网络的参数，以得到训练后的图像生成网络。

3、根据本公开的另一方面，提供了一种图像处理方法，包括：对所述输入图像进行特征提取，以得到输入图像特征；利用串联的至少一个多尺度变换块对所述输入图像特征进行处理，以得到变换图像特征；基于所述变换图像特征得到所述输入图像的恢复图像；其中，利用所述多尺度变换块对所述输入图像进行处理包括：利用并联的多个不同尺度的深度可分离卷积层对所述输入图像特征进行处理，以得到第一变换图像特征；利用前馈网络对所述第一变换图像特征进行前向传播，以得到所述变换图像特征。

4、根据本公开的另一方面，提供了一种对图像生成网络进行训练的装置，包括：样本确定单元，被配置成确定样本输入图像以及对应于所述样本输入图像的真实图像；第一训练单元，被配置成：利用图像生成网络对所述样本输入图像进行处理，以得到对应于所述样本输入图像的第一恢复图像；将所述真实图像或所述第一恢复图像输入判别网络，以得到判别结果，所述判别结果指示输入所述判别网络的图像是否是真实图像；至少基于所述判别结果与真实结果的误差确定第一损失值；第二训练单元，被配置成：利用图像生成网络对所述样本输入图像进行处理，以得到对应于所述样本输入图像的第二恢复图像；基于所述第二恢复图像和所述真实图像之间的误差确定第二损失值；参数调整单元，被配置成基于所述第一损失值和所述第二损失值调整所述图像生成网络的参数，以得到训练后的图像生成网络。

5、根据本公开的另一方面，提供了一种图像处理装置，包括：输入特征提取单元，被配置成对所述输入图像进行特征提取，以得到输入图像特征；特征变换单元，被配置成利用串联的至少一个多尺度变换块对所述输入图像特征进行处理，以得到变换图像特征；输出单元，被配置成基于所述变换图像特征得到所述输入图像的恢复图像；其中，利用所述多尺度变换块对所述输入图像进行处理包括：利用并联的多个不同尺度的深度可分离卷积层对所述输入图像特征进行处理，以得到第一变换图像特征；利用前馈网络对所述第一变换图像特征进行前向传播，以得到所述变换图像特征。

6、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的实施例的方法。

7、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的实施例的方法。

8、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的实施例的方法

9、根据本公开的一个或多个实施例，可以利用两阶段联合训练提高图像生成网络的图像处理能力，从而提高图像生成网络生成的图像效果。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种对图像生成网络进行训练的方法，包括：

2.如权利要求1所述的方法，其中，基于所述第一损失值和所述第二损失值调整所述图像生成网络的参数，以得到训练后的图像生成网络包括：

3.如权利要求1所述的方法，其中，利用图像生成网络对所述样本输入图像进行处理，以得到对应于所述样本输入图像的第一恢复图像包括：

4.如权利要求3所述的方法，其中，所述第一损失值包括：

5.如权利要求1所述的方法，其中，利用图像生成网络对所述样本输入图像进行处理，以得到对应于所述样本输入图像的第二恢复图像包括：

6.如权利要求5所述的方法，其中，所述第二损失值包括所述恢复的高频分量与所述真实图像的高频分量之间的误差。

7.如权利要求1至6中任一项所述的方法，其中，所述第一训练阶段中使用的学习率大于所述第二训练阶段中使用的学习率。

8.如权利要求1至6中任一项所述的方法，其中，利用图像生成网络对所述样本输入图像进行处理包括：

9.如权利要求8所述的方法，其中，所述多个不同尺度的深度可分离卷积层中的一部分包括与卷积核串联的激活函数，另一部分不包括激活函数。

10.如权利要求1-6中任一项所述的方法，其中，所述真实图像是所述样本输入图像的去噪版本。

11.一种图像处理方法，包括：

12.如权利要求11所述的图像处理方法，其中，利用并联的多个不同尺度的深度可分离卷积层对所述输入图像特征进行处理，以得到第一变换图像特征包括：

13.如权利要求12所述的图像处理方法，其中，合并所述多个不同尺度的变换图像特征，以得到所述第一变换图像特征包括：

14.如权利要求11所述的图像处理方法，其中，所述前馈网络包括并联的多个不同尺度的深度可分离卷积层以及至少两个多层感知器。

15.如权利要求11所述的图像处理方法，其中，所述并联的多个不同尺度的深度可分离卷积层的输入和输出之间以及所述前馈网络的输入和输出之间连接有残差结构。

16.如权利要求11至15中任一项所述的图像处理方法，其中，恢复图像是所述输入图像的去噪版本。

17.一种对图像生成网络进行训练的装置，包括：

18.一种图像处理装置，包括：

19.一种电子设备，包括：

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-16中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-16中任一项所述的方法。

技术总结
本公开提供了一种对图像生成网络进行训练的方法、图像处理方法和装置，涉及人工智能技术领域，具体为计算机视觉、深度学习等技术领域。实现方案为：在第一训练阶段中：利用图像生成网络对样本输入图像进行处理，以得到对应于样本输入图像的第一恢复图像；将真实图像或第一恢复图像输入判别网络，判别结果指示输入判别网络的图像是否是真实图像；至少基于判别结果与真实结果的误差确定第一损失值；在第二训练阶段中：利用图像生成网络对样本输入图像进行处理，以得到对应于样本输入图像的第二恢复图像；基于第二恢复图像和真实图像之间的误差确定第二损失值；基于第一损失值和第二损失值调整图像生成网络的参数，以得到训练后的图像生成网络。

技术研发人员：陈叶飞,刘梁,罗航,邱本章,顾海仑,郝石磊,李冀,陆彬,施星靓,张艺坤
受保护的技术使用者：昆仑芯（北京）科技有限公司
技术研发日：
技术公布日：2024/3/27