一种图像增强的方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，尤其是一种图像增强的方法、装置、电子设备及存储介质。

背景技术：

1、渲染图增强美化技术是一种将低质量的渲染图像转化为高质量的图像的图像处理方法，在建筑设计和室内装修等领域有广泛应用。其主要的技术方法可以分为传统图像处理方法、基于滤镜的方法、基于深度学习的方法和强化学习方法这几类。

2、但目前的渲染图增强美化技术存在一些挑战和不足之处。传统图像处理方法和基于滤镜的方法通常缺乏泛化能力，不能适应不同类型的渲染图；基于深度学习的方法需要大量的配对数据进行训练，同时在特定领域可能过度拟合；强化学习方法虽然具备优化模型参数的能力，但其高计算成本和复杂性也是需要考虑的因素。

技术实现思路

1、有鉴于此，本发明实施例提供一种图像增强的方法、装置、电子设备及存储介质，以解决或部分解决相关图像增强技术缺乏泛化能力、需要大量配对数据进行训练以及高计算成本和技术复杂的问题，能够拥有更好的泛化能力，同时避免大量配对训练数据高昂的收集和标注成本，以及提升图像的增强美化效果。

2、本发明实施例的一方面提供了一种图像增强的方法，包括：

3、收集历史渲染图；

4、对所述历史渲染图进行筛选，得到待输入图像；

5、调整所述待输入图像的分辨率并缩放所述待输入图像，得到待增强图像；

6、将所述待增强图像输入至目标生成器，得到所述待增强图像对应增强后的目标增强图像；其中，所述目标生成器包含全局注意力模块，所述全局注意力模块用于捕获所述待增强图像的全局图像特征。

7、可选地，所述调整所述待输入图像的分辨率并缩放所述待输入图像，得到待增强图像，包括：

8、根据所述待输入图像的分辨率，确定所述待输入图像的待填充分辨率范围；

9、根据所述待填充分辨率范围对所述待输入图像进行分辨率的填充，得到目标输入图像；

10、对所述目标输入图像进行缩放处理，得到所述待增强图像。

11、可选地，所述目标生成器还包含图像编码器、图像解码器和上采样模块，所述将所述待增强图像输入至目标生成器，得到所述待增强图像对应增强后的目标增强图像，包括：

12、将所述待增强图像输入至所述图像编码器，得到第一图像特征；

13、将所述第一图像特征输入至所述全局注意力模块，得到第二图像特征；

14、将所述第二图像特征输入至所述上采样模块，得到上采样结果；

15、将所述上采样结果和所述第二图像特征进行拼接，得到特征拼接结果；

16、将所述特征拼接结果输入至所述图像解码器，得到第三图像特征；

17、根据所述第一图像特征和所述第三图像特征，得到所述待增强图像对应增强后的目标增强图像。

18、可选地，所述根据所述第一图像特征和所述第三图像特征，得到所述待增强图像对应增强后的目标增强图像，包括：

19、根据所述第一图像特征和所述第三图像特征，得到目标图像特征；

20、对所述目标图像特征和所述第一图像特征进行矩阵计算，得到目标图像计算结果；

21、将所述目标图像计算结果输入至所述图像解码器，得到残差重建结果；

22、将所述残差重建结果添加至所述待增强图像，得到所述待增强图像对应增强后的目标增强图像。

23、可选地，在所述将所述待增强图像输入至目标生成器，得到所述待增强图像对应增强后的目标增强图像之后，所述方法还包括：

24、将所述目标增强图像和所述待输入图像输入至目标判别器，输出图像预测结果；

25、根据所述图像预测结果，计算所述目标增强图像和所述待输入图像对应的图像损失。

26、可选地，所述目标判别器包含多个层级，所述将所述目标增强图像和所述待输入图像输入至目标判别器，输出图像预测结果，包括：

27、对所述待增强图像进行层级处理，得到图像预测结果。

28、可选地，所述图像损失包含质量损失、保真度损失和身份损失，所述根据所述图像预测结果，计算所述目标增强图像和所述待输入图像对应的图像损失，包括：

29、根据所述图像预测结果，计算所述目标增强图像和所述待输入图像对应的所述质量损失、所述保真度损失和所述身份损失；

30、对所述质量损失、所述保真度损失和所述身份损失进行加权计算，得到所述目标增强图像和所述待输入图像对应的图像损失。

31、本发明实施例的另一方面还提供了一种图像增强的装置，包括：

32、图像收集模块，用于收集历史渲染图；

33、图像筛选模块，用于对所述历史渲染图进行筛选，得到待输入图像；

34、图像处理模块，用于调整所述待输入图像的分辨率并缩放所述待输入图像，得到待增强图像；

35、图像增强模块，用于将所述待增强图像输入至目标生成器，得到所述待增强图像对应增强后的目标增强图像；其中，所述目标生成器包含全局注意力模块，所述全局注意力模块用于捕获所述待增强图像的全局图像特征。

36、本发明实施例还提供了一种电子设备，包括处理器以及存储器；

37、所述存储器用于存储程序；

38、所述处理器执行所述程序实现如本发明实施例所述的方法。

39、本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明实施例所述的方法。

40、本发明实施例中，首先收集历史渲染图，然后对历史渲染图进行筛选，得到待输入图像，接着调整待输入图像的分辨率并缩放待输入图像，得到待增强图像，最后将待增强图像输入至目标生成器，得到待增强图像对应增强后的目标增强图像，其中，目标生成器包含全局注意力模块，全局注意力模块用于捕获待增强图像的全局图像特征。在本发明实施例通过对历史渲染图进行筛选得到待输入图像，即能够自行设定筛选要求以筛选出场景复杂的渲染图并且得到具有所需特征的待输入图像，并且，将待增强图像输入至目标生成器，得到待增强图像对应增强后的目标增强图像，即通过生成器模型从一组具有所需特征的待输入图像中学习相应的图像到图像的映射，拥有更好的泛化能力，同时避免了大量配对训练数据高昂的收集和标注成本，并且，目标生成器还引入了全局注意力模块，能够更好地捕获待增强图像的全局图像特征，从而可以提升图像的增强美化效果。

技术特征：

1.一种图像增强的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述调整所述待输入图像的分辨率并缩放所述待输入图像，得到待增强图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述目标生成器还包含图像编码器、图像解码器和上采样模块，所述将所述待增强图像输入至目标生成器，得到所述待增强图像对应增强后的目标增强图像，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像特征和所述第三图像特征，得到所述待增强图像对应增强后的目标增强图像，包括：

5.根据权利要求1所述的方法，其特征在于，在所述将所述待增强图像输入至目标生成器，得到所述待增强图像对应增强后的目标增强图像之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述目标判别器包含多个层级，所述将所述目标增强图像和所述待输入图像输入至目标判别器，输出图像预测结果，包括：

7.根据权利要求5所述的方法，其特征在于，所述图像损失包含质量损失、保真度损失和身份损失，所述根据所述图像预测结果，计算所述目标增强图像和所述待输入图像对应的图像损失，包括：

8.一种图像增强的装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器以及存储器；

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。

技术总结
本发明公开了一种图像增强的方法、装置、电子设备及存储介质，包括：收集历史渲染图；对历史渲染图进行筛选，得到待输入图像；调整待输入图像的分辨率并缩放待输入图像，得到待增强图像；将待增强图像输入至目标生成器，得到待增强图像对应增强后的目标增强图像，其中，目标生成器包含全局注意力模块，全局注意力模块用于捕获待增强图像的全局图像特征。在本发明实施例中，能够避免大量配对训练数据高昂的收集和标注成本，并且，目标生成器引入的全局注意力模块能够更好地捕获待增强图像的全局图像特征，从而可以提升图像的增强美化效果，可广泛应用于图像处理技术领域。

技术研发人员：柯建生,王兵,戴振军
受保护的技术使用者：广州极点三维信息科技有限公司
技术研发日：
技术公布日：2024/2/8