图像超分辨率重建方法及装置与流程

本技术属于图像处理，尤其涉及一种图像超分辨率重建方法及装置。

背景技术：

1、遥感技术随着卫星成像技术的成熟在目标识别、土地检测、目标跟踪等方面的应用越来越广泛。受限于遥感设备的性能或其他环境因素，遥感设备获取到的图像的分辨率往往较低。然而，为了保证目标识别、跟踪结果的准确性，往往需要高分辨的图像进行处理。因此，遥感图像超分辨率重建技术成为近年来的研究热点。目前的图像超分辨率重建方法往往是对高分辨率图像处理得到对应的低分辨率图像-高分辨图像对，通过该图像对训练图像超分辨率模型。但是，通过该方法训练的图像超分辨率模型只在图像退化模式符合该处理图像的方法时响应较好，不能高效地响应真实世界中图像复杂繁多的退化模式，得到的超分辨率图像效果不佳。

技术实现思路

1、本技术实施例提供了一种图像超分辨率重建方法及装置，可以解决现有的图像超分辨率重建方法效果不佳的问题。

2、第一方面，本技术实施例提供了一种图像超分辨率重建方法，包括：获取原始图像；将原始图像输入训练完成的超分辨率模型，得到原始图像对应的超分辨率图像，训练完成的超分辨率模型是根据下采样池中的多个下采样核对超分辨率模型进行训练得到的，下采样核是根据核估计模型中的第一生成网络得到的，第一生成网络包括特征提取层和特征融合层，特征提取层用于提取第一样本图像的多个尺度的特征，特征融合层用于融合特征提取层提取的第一样本图像的多个尺度的特征。

3、根据本技术提供的图像超分辨率重建方法，通过由更接近真实图像退化模式的下采样核训练得到的训练完成的超分辨率模型重建原始图像，能够更好的模拟真实图像的退化模式，优化得到的超分辨率图像的效果。

4、在第一方面的一种可能的实现方式中，在获取原始图像之前，可以将第二样本图像输入超分辨率模型，根据下采样核，得到第二样本图像对应的低分辨率图像。然后可以获取超分辨率模型的损失函数，然后根据损失函数、第二样本图像、第二样本图像对应的低分辨率图像训练超分辨率模型，得到训练完成的超分辨率模型。

5、示例性的，损失函数满足下述公式：

6、ltotal＝λ1×l1+λper×lper+λadv×ladv+λinterp×linterp

7、其中，ltotal为超分辨率模型的损失函数，l1为像素损失，λ1为像素损失的权重值，lper为感知损失，λper为感知损失的权重值，ladv为对抗性损失，λadv为对抗性损失的权重值，linterp为掩蔽插值损失，λinterp为掩蔽插值损失的权重值，所述掩蔽插值损失在图像高频区的数值小于所述掩蔽插值损失在图像低频区的数值。

8、在第一方面的一种可能的实现方式中，可以根据第一超分辨率图像和第二超分辨率图像得到掩蔽插值损失。

9、示例性的，第一超分辨率图像是超分辨率模型根据第二样本图像得到的。

10、示例性的，第二超分辨率图像是对第二样本图像进行双三次上采样得到的。

11、示例性的，掩蔽插值损失满足下述公式：

12、linterp＝ex||[generate(x)-bicubic(x)]×(1-sobel(bicubic(x)))||

13、其中，bicubic(x)为所述第二超分辨率图像，generate(x)为所述第一超分辨率图像，sobel为索贝尔算子，ex表示期望值，||||表示范数。

14、在第一方面的一种可能的实现方式中，在获取原始图像之前，还可以将第一样本图像作为核估计模型的输入，训练核估计模型，得到训练完成的核估计模型。然后将训练完成的核估计模型中的第一生成网络的卷积核确定为下采样核。

15、示例性的，核估计模型包括第一生成网络。

16、根据本技术提供的图像超分辨率重建方法，通过由更接近真实图像退化模式的下采样核训练得到的训练完成的超分辨率模型重建原始图像，能够更好的模拟真实图像的退化模式，优化得到的超分辨率图像的效果。进一步的，通过掩蔽插值损失训练超分辨率模型，能够避免训练完成的超分辨率模型得到的超分辨率图像出现伪影。

17、第二方面，本技术实施例提供了一种图像超分辨率重建装置，包括：图像处理单元；所述图像处理单元用于：获取原始图像；将原始图像输入训练完成的超分辨率模型，得到原始图像对应的超分辨率图像，训练完成的超分辨率模型是根据下采样池中的多个下采样核对超分辨率模型进行训练得到的，下采样核是根据核估计模型中的第一生成网络得到的，第一网络包括特征提取层和特征融合层，特征提取层用于提取第一样本图像的多个尺度的特征，特征融合层用于融合特征提取层提取的第一样本图像的多个尺度的特征。

18、在第二方面的一种可能的实现方式中，图像超分辨率重建装置还可以包括模型训练单元，模型训练单元可以用于将第二样本图像输入超分辨率模型，超分辨率模型根据下采样核得到第二样本图像对应的低分辨率图像。然后获取超分辨率模型的损失函数，然根据损失函数、第二样本图像及第二样本图像对应的低分辨率图像，训练超分辨率模型，得到训练完成的超分辨率模型。

19、示例性的，损失函数满足下述公式：

20、ltotal＝λ1×l1+λper×lper+λadv×ladv+λinterp×linterp

21、其中，ltotal为超分辨率模型的损失函数，l1为像素损失，λ1为像素损失的权重值，lper为感知损失，λper为感知损失的权重值，ladv为对抗性损失，λadv为对抗性损失的权重值，linterp为掩蔽插值损失，λinterp为掩蔽插值损失的权重值，掩蔽插值损失在图像高频区的数值小于所述掩蔽插值损失在图像低频区的数值。

22、在第二方面的一种可能的实现方式中，模型训练单元还可以用于根据第一超分辨率图像和第二超分辨率图像，确定所述掩蔽插值损失。

23、示例性的，第一超分辨率图像是超分辨率模型根据第二样本图像得到的。

24、示例性的，第二超分辨率图像是对第二样本图像进行双三次上采样得到的。

25、示例性的，掩蔽插值损失满足下述公式：

26、linterp＝ex||[generate(x)-bicubic(x)]×(1-sobel(bicubic(x)))||

27、其中，bicubic(x)为所述第二超分辨率图像，generate(x)为所述第一超分辨率图像，sobel为索贝尔算子，ex表示期望值，||||表示范数。

28、在第二方面的一种可能的实现方式中，图像超分辨率重建装置还可以包括核估计单元；核估计单元可以用于

29、将第一样本图像作为核估计模型的输入，训练核估计模型，得到训练完成的核估计模型。然后将训练完成的核估计模型中的第一生成网络的卷积核确定为下采样核。

30、示例性的，核估计模型包括第一生成网络。

31、第三方面，本技术实施例提供了一种下采样核估计方法，所述方法包括：将第一样本图像作为核估计模型的输入，训练所述核估计模型，得到训练完成的所述核估计模型，所述核估计模型包括第一生成网络，所述第一生成网络包括特征提取层和特征融合层，所述特征提取层用于提取第一样本图像的多个尺度的特征，所述特征融合层用于融合所述特征提取层提取的所述第一样本图像的多个尺度的特征；将训练完成的所述核估计模型中的所述第一生成网络的卷积核确定为所述下采样核。

32、第四方面，本技术实施例提供了一种超分辨率模型训练方法，所述方法包括：将第二样本图像输入所述超分辨率模型，根据下采样核，得到所述第二样本图像对应的低分辨率图像；获取所述超分辨率模型的损失函数；根据所述损失函数、所述第二样本图像及所述第二样本图像对应的低分辨率图像，训练所述超分辨率模型，得到所述训练完成的超分辨率模型。

33、示例性的，损失函数满足下述公式：

34、ltotal＝λ1×l1+λper×lper+λadv×ladv+λinterp×linterp

35、其中，ltotal为超分辨率模型的损失函数，l1为像素损失，λ1为像素损失的权重值，lper为感知损失，λper为感知损失的权重值，ladv为对抗性损失，λadv为对抗性损失的权重值，linterp为掩蔽插值损失，λinterp为掩蔽插值损失的权重值，掩蔽插值损失在图像高频区的数值小于掩蔽插值损失在图像低频区的数值。

36、在第四方面的一种可能的实现方式中，可以根据第一超分辨率图像和第二超分辨率图像得到掩蔽插值损失。

37、示例性的，第一超分辨率图像是超分辨率模型根据第二样本图像得到的，第二超分辨率图像是对第二样本图像进行双三次上采样得到的。

38、示例性的，掩蔽插值损失满足下述公式：

39、linterp＝ex||[generate(x)-bicubic(x)]×(1-sobel(bicubic(x)))||

40、其中，bicubic(x)为第二超分辨率图像，generate(x)为第一超分辨率图像，sobel为索贝尔算子，ex表示期望值，||||表示范数。

41、第五方面，本技术实施例提供了一种电子设备，包括：包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第三方面和/或第四方面所述方法的步骤。

42、第六方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面和/或第三方面和/或第四方面所述方法的步骤。

43、第七方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面和/或第三方面和/或第四方面中任一项所述的图像超分辨率重建方法。

44、可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

45、本技术实施例与现有技术相比存在的有益效果是：根据本技术提供的图像超分辨率重建方法，通过由更接近真实图像退化模式的下采样核训练得到的训练完成的超分辨率模型重建原始图像，能够更好的模拟真实图像的退化模式，优化得到的超分辨率图像的效果。进一步的，通过掩蔽插值损失训练超分辨率模型，能够避免训练完成的超分辨率模型得到的超分辨率图像出现伪影。