图像超分辨率重建方法、装置、计算机设备和存储介质与流程

本技术涉及图像处理，特别是涉及一种图像超分辨率重建方法、装置、计算机设备和存储介质。

背景技术：

1、内镜成像是管理和检测胃肠道许多恶性前病变的重要工具，若能在检查中发现粘膜异常，将成为恶性肿瘤早期治疗的关键。然而，由于不理想的照明条件、传感器的有限尺寸以及胃肠道中的复杂环境等因素，内镜捕获的图像往往是低分辨率的，这就造成了内窥镜检查的局限性。另外，检查时被观察的血管极为细小，低分辨率的图像不利于病灶检测，病理分析或区域分割等任务的进行。因此，需要提高内窥镜图像的分辨率，从而提升其图像质量。

2、传统技术中，通过深度神经网络自身对于纹理细节的捕获和学习能力，从低分辨率的图像中重建出高分辨率的图像。但是传统的深度神经网络不能同时恢复不同频率范围的图像特征，导致图像的超分辨率重建效果较差，图像质量较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高图像的超分辨率重建效果，从而提高图像质量的图像超分辨率重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种图像超分辨率重建方法，包括：

3、通过超分辨率网络的分频特征提取子网络，对待处理图像进行不同频率范围的特征提取，得到多个特征图；分频特征提取子网络包括初级特征提取模块和至少两个依次连接的反投影残差模块；

4、通过超分辨率网络的特征融合子网络，对各特征图进行融合，得到超分辨率图像。

5、在其中一个实施例中，多个特征图为二级特征图；通过超分辨率网络的分频特征提取网络，对待处理图像进行不同频率范围的特征提取，得到多个特征图包括：

6、通过初级特征提取模块对待处理图像进行初级特征提取，得到一级特征图；

7、通过至少两个反投影残差模块对一级特征图进行不同频率范围的特征提取，得到各反投影残差模块输出的二级特征图；

8、其中，至少两个反投影残差模块输出的二级特征图包括高频率特征图和低频率特征图。

9、在其中一个实施例中，各反投影残差模块包括上采样超分辨分支和反投影分支；

10、通过至少两个反投影残差模块对一级特征图进行不同频率范围的特征提取，得到各反投影残差模块输出的二级特征图包括：

11、针对每一反投影残差模块，将该反投影残差模块的上采样超分辨分支的输出特征作为该反投影残差模块输出的二级特征图，并将该反投影残差模块的反投影分支的输出特征作为下一反投影残差模块的输入特征，得到下一反投影残差模块输出的二级特征图；

12、其中，首个反投影残差模块的输入特征为一级特征图，其余反投影残差模块的输入特征为上一反投影残差模块的反投影分支的输出特征。

13、在其中一个实施例中，上采样超分辨分支包括一个上采样算子和三个卷积层，反投影分支包括一个下采样算子和三个卷积层；

14、通过至少两个反投影残差模块对一级特征图进行不同频率范围的特征提取，得到各反投影残差模块输出的二级特征图包括：

15、针对每一反投影残差模块，将该反投影残差模块的输入特征输入至上采样超分辨分支中的上采样算子，进行上采样转置卷积操作，得到上采样特征；

16、将上采样特征输入至上采样超分辨分支中的首个卷积层，得到上采样超分辨分支中第三个卷积层的输出特征，作为上采样超分辨分支的输出特征；

17、将上采样特征输入至反投影分支中的下采样算子，进行下采样转置卷积操作，得到下采样特征；

18、将下采样特征与该反投影残差模块的输入特征相减，得到隐藏特征；

19、将隐藏特征输入至反投影分支中的首个卷积层，得到反投影分支中第三个卷积层的输出特征，作为反投影分支的输出特征。

20、在其中一个实施例中，特征融合网络包括拼接层、通道注意力模块和重建层；

21、通过超分辨率网络的特征融合网络，对各特征图进行融合，得到超分辨率图像包括：

22、通过特征融合网络的拼接层将多个特征图进行拼接，得到三级特征图；

23、通过特征融合网络的通道注意力模块，对三级特征图进行通道注意力融合，得到四级特征图；

24、通过特征融合网络的重建层，对四级特征图进行重建，得到超分辨率图像。

25、在其中一个实施例中，通道注意力模块包括池化层和两个全连接层；

26、通过特征融合网络的通道注意力模块，对三级特征图进行通道注意力融合，得到四级特征图包括：

27、通过通道注意力模块中的池化层对三级特征图进行池化操作，得到池化后的特征图；

28、通过两个全连接层对池化后的特征图中的多个特征图进行排序，得到池化后的特征图中各特征图对应的注意力权重；

29、根据三级特征图中的各特征图与池化后的特征图中各特征图对应的注意力权重，得到四级特征图。

30、在其中一个实施例中，待处理图像为医学图像；超分辨率网络是通过l1损失函数训练得到的。

31、第二方面，本技术还提供了一种图像超分辨率重建装置，包括：

32、特征提取模块，用于通过超分辨率网络的分频特征提取子网络，对待处理图像进行不同频率范围的特征提取，得到多个特征图；分频特征提取子网络包括初级特征提取模块和至少两个依次连接的反投影残差模块；

33、特征融合模块，用于通过超分辨率网络的特征融合子网络，对各特征图进行融合，得到超分辨率图像。

34、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

35、通过超分辨率网络的分频特征提取子网络，对待处理图像进行不同频率范围的特征提取，得到多个特征图；分频特征提取子网络包括初级特征提取模块和至少两个依次连接的反投影残差模块；

36、通过超分辨率网络的特征融合子网络，对各特征图进行融合，得到超分辨率图像。

37、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

38、通过超分辨率网络的分频特征提取子网络，对待处理图像进行不同频率范围的特征提取，得到多个特征图；分频特征提取子网络包括初级特征提取模块和至少两个依次连接的反投影残差模块；

39、通过超分辨率网络的特征融合子网络，对各特征图进行融合，得到超分辨率图像。

40、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

41、通过超分辨率网络的分频特征提取子网络，对待处理图像进行不同频率范围的特征提取，得到多个特征图；分频特征提取子网络包括初级特征提取模块和至少两个依次连接的反投影残差模块；

42、通过超分辨率网络的特征融合子网络，对各特征图进行融合，得到超分辨率图像。

43、上述图像超分辨率重建方法、装置、计算机设备、存储介质和计算机程序产品，超分辨率网络的分频特征提取子网络包括初级特征提取模块和至少两个依次连接的反投影残差模块，能够分频处理图像特征，对待处理图像进行不同频率范围的特征提取，实现同时处理不同频率范围的图像信息超分辨。再通过特征融合子网络对各特征图进行融合，能够保证不同频率范围的图像特征恢复。