图像生成器的训练方法、图像重建方法、装置和存储介质与流程

本公开涉及图像处理领域，尤其涉及一种图像生成器的训练方法、图像重建方法、装置和存储介质。

背景技术：

1、随着计算机技术的不断发展，网络上图像与视频的清晰度也逐步提升。但仍有许多图像视频过于模糊，如一些早期设备捕捉的图像因硬件限制导致的低画质，以及因传输过程中压缩导致的不可避免的信息丢失等。如何将这些低分辨率图像复原成为了一个热门研究课题。

2、目前已有的方法，多通过学习模糊低分辨率视频帧到清晰高分辨率视频帧的非线性映射，进而重建超分辨率视频。相关技术中需要依赖特殊硬件，如较高清晰度的摄像头等，并且单纯依靠生成网络处理低分辨率图像，导致重建出来的超分辨率图像可能有伪影、轮廓模糊，重建出来的图像效果可能难以满足实际应用需求。

技术实现思路

1、本公开要解决的一个技术问题是，提供一种图像生成器的训练方法、图像重建方法、装置和存储介质，能够提升图像高分辨率重建后的质量。

2、根据本公开一方面，提出一种图像生成器的训练方法，包括：获取第一图像和第一图像降低分辨率后的第二图像；基于第一图像得到第一图像特征和第一图像对应的下采样图像特征，以及基于第二图像得到第二图像特征和第二图像对应的上采样图像特征；计算下采样图像特征与上采样图像特征的图像相似度；利用图像相似度，基于注意力机制，对第一图像特征和第二图像特征进行纹理处理，得到图像编码；将图像编码输入至图像生成器，生成分辨率高于第二图像的预测图像；以及基于预测图像与第一图像，利用损失函数对图像生成器进行训练。

3、在一些实施例中，利用图像相似度，基于注意力机制，对第一图像特征和第二图像特征进行纹理处理，得到图像编码包括：得到第一图像特征对应的第一纹理特征；基于图像相似度，得到第二图像特征对应的第二纹理特征；基于图像相似度，对第二纹理特征进行纹理处理，得到图像编码。

4、在一些实施例中，基于图像相似度，得到第二图像特征对应的第二纹理特征包括：以图像相似度为索引，利用第一纹理特征，对第二图像特征进行纹理传递，得到第二纹理特征。

5、在一些实施例中，基于图像相似度，对第二纹理特征进行纹理处理，得到图像编码包括：以图像相似度为索引，利用第一纹理特征对第二纹理特征进行修复，并对修复后的纹理特征进行纹理合成，得到图像编码。

6、在一些实施例中，基于第一图像得到第一图像特征和第一图像对应的下采样图像特征包括：对第一图像进行下采样，得到下采样图像；对第一图像进行编码，得到第一图像编码；对下采样图像进行编码，得到下采样图像编码；对第一图像编码进行特征提取，得到第一图像特征；以及对下采样图像编码进行特征提取，得到下采样图像特征。

7、在一些实施例中，基于第二图像得到第二图像特征和第二图像对应的上采样图像特征包括：对第二图像进行上采样，得到上采样图像；对第二图像进行编码，得到第二图像编码；对上采样图像进行编码，得到上采样图像编码；对第二图像编码进行特征提取，得到第二图像特征；以及对上采样图像编码进行特征提取，得到上采样图像特征。

8、在一些实施例中，计算下采样图像特征与上采样图像特征的图像相似度包括：利用余弦相似性，计算下采样图像特征与上采样图像特征的图像相似度。

9、根据本公开的另一方面，还提出一种图像重建方法，包括：对待处理图像进行编码处理，得到待处理图像编码；以及将待处理图像编码输入至训练好的图像生成器，得到待处理图像对应的提升分辨率后的图像，其中，图像生成器基于上述的图像生成器的训练方法得到。

10、根据本公开的另一方面，还提出一种图像生成器的训练装置，包括：预处理模块，被配置为获取第一图像和第一图像降低分辨率后的第二图像；数据处理模块，被配置为基于第一图像得到第一图像特征和第一图像对应的下采样图像特征，以及基于第二图像得到第二图像特征和第二图像对应的上采样图像特征；相似度评估模块，被配置为计算下采样图像特征与上采样图像特征的图像相似度；注意力处理模块，被配置为利用图像相似度，基于注意力机制，对第一图像特征和第二图像特征进行纹理处理，得到图像编码；生成器模块，被配置为将图像编码输入至图像生成器，生成分辨率高于第二图像的预测图像；以及鉴别器模块，被配置为基于预测图像与第一图像，利用损失函数对图像生成器进行训练。

11、在一些实施例中，注意力处理模块包括：硬注意力模块，被配置为得到第一图像特征对应的第一纹理特征，基于图像相似度，得到第二图像特征对应的第二纹理特征；以及软注意力模块，被配置为基于图像相似度，对第二纹理特征进行纹理处理，得到图像编码。

12、在一些实施例中，硬注意力模块被配置为以图像相似度为索引，利用第一纹理特征，对第二图像特征进行纹理传递，得到第二纹理特征。

13、在一些实施例中，软注意力模块被配置为以图像相似度为索引，利用第一纹理特征对第二纹理特征进行修复，并对修复后的纹理特征进行纹理合成，得到图像编码。

14、在一些实施例中，数据处理模块包括：下采样模块，被配置为对第一图像进行下采样，得到下采样图像；编码器模块，被配置为对第一图像进行编码，得到第一图像编码，对下采样图像进行编码，得到下采样图像编码；以及信息提取器模块，被配置为对第一图像编码进行特征提取，得到第一图像特征，对下采样图像编码进行特征提取，得到下采样图像特征。

15、在一些实施例中，数据处理模块包括：上采样模块，被配置为对第二图像进行上采样，得到上采样图像；编码器模块，被配置为对第二图像进行编码，得到第二图像编码，对上采样图像进行编码，得到上采样图像编码；以及信息提取器模块，被配置为对第二图像编码进行特征提取，得到第二图像特征，对上采样图像编码进行特征提取，得到上采样图像特征。

16、根据本公开的另一方面，还提出一种图像重建装置，包括：编码器模块，被配置为对待处理图像进行编码处理，得到待处理图像编码；以及生成器模块，被配置为利用训练好的图像生成器对待处理图像编码进行处理，得到待处理图像对应的提升分辨率后的图像，其中，图像生成器基于权利要求1至7任一的图像生成器的训练方法得到。

17、根据本公开的另一方面，还提出一种电子设备，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的图像生成器的训练方法，或者上述的图像重建方法。

18、根据本公开的另一方面，还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如上述的图像生成器的训练方法，或者上述的图像重建方法。

19、本公开实施例中，将高分辨率图像和低分辨率图像进行相似度评估，然后基于生成对抗网络和注意力机制，叠加注意力机制对纹理信息进行处理，以此学习更强大的图像特征，减少由单纯利用生成模型产生的伪影问题，提升了图像分辨率。

20、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

技术特征：

1.一种图像生成器的训练方法，包括：

2.根据权利要求1所述的图像生成器的训练方法，其中，利用所述图像相似度，基于注意力机制，对所述第一图像特征和所述第二图像特征进行纹理处理，得到图像编码包括：

3.根据权利要求2所述的图像生成器的训练方法，其中，基于所述图像相似度，得到所述第二图像特征对应的第二纹理特征包括：

4.根据权利要求2所述的图像生成器的训练方法，其中，基于所述图像相似度，对所述第二纹理特征进行纹理处理，得到所述图像编码包括：

5.根据权利要求1所述的图像生成器的训练方法，其中，基于所述第一图像得到第一图像特征和所述第一图像对应的下采样图像特征包括：

6.根据权利要求1所述的图像生成器的训练方法，其中，基于所述第二图像得到第二图像特征和所述第二图像对应的上采样图像特征包括：

7.根据权利要求1至6任一所述的图像生成器的训练方法，其中，计算所述下采样图像特征与所述上采样图像特征的图像相似度包括：

8.一种图像重建方法，包括：

9.一种图像生成器的训练装置，包括：

10.根据权利要求9所述的图像生成器的训练装置，其中，所述注意力处理模块包括：

11.根据权利要求10所述的图像生成器的训练装置，其中，

12.根据权利要求10所述的图像生成器的训练装置，其中，

13.根据权利要求9至12任一所述的图像生成器的训练装置，其中，所述数据处理模块包括：

14.根据权利要求9至12任一所述的图像生成器的训练装置，其中，所述数据处理模块包括：

15.一种图像重建装置，包括：

16.一种电子设备，包括：

17.一种非瞬时性计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至7任一项所述的图像生成器的训练方法，或者权利要求8所述的图像重建方法。

技术总结
本公开提供了一种图像生成器的训练方法、图像重建方法、装置和存储介质，涉及图像处理领域。该训练方法包括：获取第一图像和第一图像降低分辨率后的第二图像；基于第一图像得到第一图像特征和第一图像对应的下采样图像特征，以及基于第二图像得到第二图像特征和第二图像对应的上采样图像特征；计算下采样图像特征与上采样图像特征的图像相似度；利用图像相似度，基于注意力机制，对第一图像特征和第二图像特征进行纹理处理，得到图像编码；将图像编码输入至图像生成器，生成分辨率高于第二图像的预测图像；以及基于预测图像与第一图像，利用损失函数对图像生成器进行训练。本公开能够提升图像高分辨率重建后的质量。

技术研发人员：邹航,杜晨曦,王慧芬,张园,杨明川
受保护的技术使用者：中国电信股份有限公司技术创新中心
技术研发日：
技术公布日：2024/3/17