模型训练方法、超分辨率感知方法及相关装置与流程

1.本技术涉及深度学习技术领域，尤其涉及模型训练方法、超分辨率感知方法及相关装置。


背景技术：

2.超分辨率(super
‑
resolution)即通过硬件或软件的方法提高原有图像的分辨率，超分辨率重建即通过一系列低分辨率的图像来得到一幅高分辨率的图像。
3.现有技术cn110111251a公开了一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法，包括以下步骤：训练步骤，接收复杂退化条件下的训练图像对训练深度自编码器，将训练完成后的深度自编码器中的编码器的深度卷积神经网络作为学习复杂图像退化模型；重建步骤，将深度自编码器中的编码部分作为迭代反投影算法中的退化模型，使用双三次插值图像作为超分辨率图像迭代初始值，计算超分辨率图像退化后图像与观测图像在特征空间中的感知损失，并用感知损失迭代更新超分辨率图像，直至损失低于阈值后输出当前超分辨率图像作为最终的重建图像。
4.然而，上述方法在超分辨率重建过程中模型的稳定性较差，准确率较低。


技术实现要素：

5.本技术的目的在于提供模型训练方法、超分辨率感知方法及相关装置，使训练得到的超分辨率感知模型更为稳定且准确率较高。
6.本技术的目的采用以下技术方案实现：
7.第一方面，本技术提供了一种模型训练方法，所述模型训练方法包括：获取训练数据集，所述训练数据集中的每个训练数据包括一个低分辨率的训练图像和所述训练图像对应的高分辨率图像；针对至少一个训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像作为新的训练图像并存储至所述训练数据集；基于所述训练图像对应的高分辨率图像，获取所述新的训练图像对应的高分辨率图像；利用所述训练数据集，使用adam优化器训练预设深度神经网络，得到超分辨率感知模型，所述预设深度神经网络采用rcan网络。该技术方案的有益效果在于，通过对训练图像进行数据增广，可以使训练数据集尽可能的多样化，使训练得到的超分辨率感知模型具有较强的泛化能力，使用adam优化器训练预设深度神经网络，可以使训练过程更高效，并且梯度相对平滑、稳定，并且，预设深度神经网络采用的是rcan网络，可以构建非常深的可训练网络并获得较好的图像sr(image super resolution，图像超分辨率)性能，综上所述，利用该方法训练得到的超分辨率感知模型更为稳定且准确率较高。
8.在一些可选的实施例中，所述基于所述训练图像对应的高分辨率图像，获取所述新的训练图像对应的高分辨率图像，包括：获取所述训练图像对应的数据增广类型；基于所述训练图像对应的高分辨率图像和数据增广类型，得到所述新的训练图像对应的高分辨率图像。该技术方案的有益效果在于，根据训练图像对应的数据增广类型，可以对训练图像对
应的高分辨率图像执行相应的操作，得到新的训练图像对应的高分辨率图像。
9.在一些可选的实施例中，所述预设深度神经网络包括浅特征提取模块、深度特征提取模块、上采样模块和重建模块；所述利用所述训练数据集，使用adam优化器训练预设深度神经网络，得到超分辨率感知模型，包括：将各所述训练图像输入所述浅特征提取模块，得到各所述训练图像对应的浅特征；将各所述训练图像对应的浅特征输入所述深度特征提取模块，得到各所述训练图像对应的深度特征；将各所述训练图像对应的深度特征输入所述上采样模块，得到各所述训练图像对应的上采样特征图；将各所述训练图像对应的上采样特征图输入所述重建模块，得到各所述训练图像对应的重建图像；基于各所述训练图像对应的重建图像和各所述训练图像对应的高分辨率图像，使用adam优化器对所述预设深度神经网络进行训练，得到超分辨率感知模型。该技术方案的有益效果在于，将训练图像输入浅特征提取模块，得到浅特征，接着将浅特征输入深度特征提取模块，得到深度特征，然后将深度特征输入上采样模块，得到上采样特征图，再将上采样特征图输入重建模块，得到重建图像，最后基于重建图像和高分辨率图像使用adam优化器对预设深度神经网络进行训练，由此得到的超分辨率感知模型的深度较深，可以用于高精度的图像超分辨率。
10.在一些可选的实施例中，所述浅特征提取模块包括第一卷积层。该技术方案的有益效果在于，可以利用第一卷积层提取训练图像对应的浅特征，参数计算量较小。
11.在一些可选的实施例中，所述深度特征提取模块包括g个残差组，g是大于1的整数；所述将各所述训练图像对应的浅特征输入所述深度特征提取模块，得到各所述训练图像对应的深度特征，包括：将各所述训练图像对应的第i
‑
1深度中间信息输入第i个残差组，得到各所述训练图像对应的第i深度中间信息，以各所述训练图像对应的浅特征作为各所述训练图像对应的第0深度中间信息，i的取值分别是不大于g的每个正整数；将各所述训练图像对应的第g深度中间信息输入第二卷积层，得到各所述训练图像对应的深度卷积中间信息；利用各所述训练图像对应的浅特征和各所述训练图像对应的深度卷积中间信息，获取各所述训练图像对应的深度特征。该技术方案的有益效果在于，利用g个残差组获取第g深度中间信息，再将第g深度中间信息输入第二卷积层，得到深度卷积中间信息，结合浅特征和深度卷积中间信息得到深度特征，一方面，g个残差组可以使训练得到的超分辨率感知模型达到较深的深度，另一方面，深度特征是结合浅特征和深度卷积中间信息二者得到的，浅特征包含丰富的低频信息，深度卷积中间信息是基于第g深度中间信息得到的，包含丰富的残差信息，由于浅特征可以直接应用于获取深度特征，可以使预设深度神经网络专注于学习高频信息，提升超分辨率感知模型的psnr和ssim指标。
12.在一些可选的实施例中，每个残差组均包括b个残差块，b是大于1的整数；所述将各所述训练图像对应的第i
‑
1深度中间信息输入第i个残差组，得到各所述训练图像对应的第i深度中间信息，包括：将各所述训练图像对应的第i个残差组的第j
‑
1残差注意信息输入第i个残差组的第j个残差块，得到各所述训练图像对应的第i个残差组的第j残差注意信息，以各所述训练图像对应的第i
‑
1深度中间信息作为各所述训练图像对应的第i个残差组的第0残差注意信息，j的取值分别是不大于b的每个正整数；将各所述训练图像对应的第b残差注意信息输入第三卷积层，得到各所述训练图像对应的注意卷积中间信息；利用各所述训练图像对应的第i
‑
1深度中间信息和各所述训练图像对应的注意卷积中间信息，获取各所述训练图像对应的第i深度中间信息。该技术方案的有益效果在于，利用b个残差块获
取第b残差注意信息，将第b残差注意信息输入第三卷积层，得到注意卷积中间信息，结合第i
‑
1深度中间信息和注意卷积中间信息得到第i深度中间信息，由此可以使预设深度神经网络进行残差块之间的残差学习，提升超分辨率感知模型的性能。
13.在一些可选的实施例中，每个残差块均包括卷积模块和ca模块，各所述残差块均采用如下方法处理输入信息：通过所述卷积模块对所述输入信息顺次进行第一次卷积操作、relu激活操作和第二次卷积操作，得到所述输入信息对应的中间信息；通过所述ca模块对所述输入信息对应的中间信息顺次进行全局池化操作、第一次卷积操作、relu激活操作、第二次卷积操作和sigmoid激活操作，得到所述输入信息对应的通道权值信息，以及基于所述输入信息对应的通道权值信息和中间信息获取所述输入信息对应的注意力信息；基于所述输入信息和所述输入信息对应的注意力信息，获取所述输入信息对应的残差注意信息。该技术方案的有益效果在于，ca模块可以对不同通道的特征重新进行加权分配，使预设深度神经网络专注于更有用的信道并增强判别学习能力。
14.在一些可选的实施例中，所述模型训练方法还包括：所述利用所述训练数据集，使用adam优化器训练预设深度神经网络，得到超分辨率感知模型，包括：利用所述训练数据集，使用adam优化器和l1损失函数训练所述预设深度神经网络，得到超分辨率感知模型。该技术方案的有益效果在于，模型训练过程中使用的损失函数可以采用l1损失函数，相比于l2损失函数，l1损失函数在达到同样训练效果的情况下所需的迭代次数较少。
15.第二方面，本技术提供了一种超分辨率感知方法，所述超分辨率感知方法包括：获取待处理图像；将所述待处理图像输入超分辨率感知模型，得到所述待处理图像对应的高分辨率图像；其中，所述超分辨率感知模型是利用上述任一项模型训练方法训练得到的。该技术方案的有益效果在于，将低分辨率较低的待处理图像输入超分辨率感知模型，可以得到高分辨率图像，实现图像超分辨率重建。
16.第三方面，本技术提供了一种模型训练装置，所述模型训练装置包括：训练数据集部分，用于获取训练数据集，所述训练数据集中的每个训练数据包括一个低分辨率的训练图像和所述训练图像对应的高分辨率图像；数据增广部分，用于针对至少一个训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像作为新的训练图像并存储至所述训练数据集；高分辨率图像部分，用于基于所述训练图像对应的高分辨率图像，获取所述新的训练图像对应的高分辨率图像；模型训练部分，用于利用所述训练数据集，使用adam优化器训练预设深度神经网络，得到超分辨率感知模型，所述预设深度神经网络采用rcan网络。
17.在一些可选的实施例中，所述高分辨率图像部分包括：类型获取模块，用于获取所述训练图像对应的数据增广类型；增广图像模块，用于基于所述训练图像对应的高分辨率图像和数据增广类型，得到所述新的训练图像对应的高分辨率图像。
18.在一些可选的实施例中，所述预设深度神经网络包括浅特征提取模块、深度特征提取模块、上采样模块和重建模块；所述模型训练部分包括：第一提取模块，用于将各所述训练图像输入所述浅特征提取模块，得到各所述训练图像对应的浅特征；第二提取模块，用于将各所述训练图像对应的浅特征输入所述深度特征提取模块，得到各所述训练图像对应的深度特征；特征图模块，用于将各所述训练图像对应的深度特征输入所述上采样模块，得到各所述训练图像对应的上采样特征图；图像重建模块，用于将各所述训练图像对应的上
采样特征图输入所述重建模块，得到各所述训练图像对应的重建图像；训练模块，用于基于各所述训练图像对应的重建图像和各所述训练图像对应的高分辨率图像，使用adam优化器对所述预设深度神经网络进行训练，得到超分辨率感知模型。
19.在一些可选的实施例中，所述浅特征提取模块包括第一卷积层。
20.在一些可选的实施例中，所述深度特征提取模块包括g个残差组，g是大于1的整数；所述第二提取模块包括：第一信息子模块，用于将各所述训练图像对应的第i
‑
1深度中间信息输入第i个残差组，得到各所述训练图像对应的第i深度中间信息，以各所述训练图像对应的浅特征作为各所述训练图像对应的第0深度中间信息，i的取值分别是不大于g的每个正整数；第二信息子模块，用于将各所述训练图像对应的第g深度中间信息输入第二卷积层，得到各所述训练图像对应的深度卷积中间信息；深度特征子模块，用于利用各所述训练图像对应的浅特征和各所述训练图像对应的深度卷积中间信息，获取各所述训练图像对应的深度特征。
21.在一些可选的实施例中，每个残差组均包括b个残差块，b是大于1的整数；所述第一信息子模块包括：注意信息单元，用于将各所述训练图像对应的第i个残差组的第j
‑
1残差注意信息输入第i个残差组的第j个残差块，得到各所述训练图像对应的第i个残差组的第j残差注意信息，以各所述训练图像对应的第i
‑
1深度中间信息作为各所述训练图像对应的第i个残差组的第0残差注意信息，j的取值分别是不大于b的每个正整数；卷积信息单元，用于将各所述训练图像对应的第b残差注意信息输入第三卷积层，得到各所述训练图像对应的注意卷积中间信息；中间信息单元，用于利用各所述训练图像对应的第i
‑
1深度中间信息和各所述训练图像对应的注意卷积中间信息，获取各所述训练图像对应的第i深度中间信息。
22.在一些可选的实施例中，每个残差块均包括卷积模块和ca模块，各所述残差块均采用所述注意信息单元处理输入信息；所述注意信息单元包括：第一处理子单元，用于通过所述卷积模块对所述输入信息顺次进行第一次卷积操作、relu激活操作和第二次卷积操作，得到所述输入信息对应的中间信息；第二处理子单元，用于通过所述ca模块对所述输入信息对应的中间信息顺次进行全局池化操作、第一次卷积操作、relu激活操作、第二次卷积操作和sigmoid激活操作，得到所述输入信息对应的通道权值信息，以及基于所述输入信息对应的通道权值信息和中间信息获取所述输入信息对应的注意力信息；残差注意子单元，用于基于所述输入信息和所述输入信息对应的注意力信息，获取所述输入信息对应的残差注意信息。
23.在一些可选的实施例中，所述模型训练部分用于：利用所述训练数据集，使用adam优化器和l1损失函数训练所述预设深度神经网络，得到超分辨率感知模型。
24.第四方面，本技术提供了一种超分辨率感知装置，所述超分辨率感知装置包括：图像获取模块，用于获取待处理图像；图像处理模块，用于将所述待处理图像输入超分辨率感知模型，得到所述待处理图像对应的高分辨率图像；其中，所述超分辨率感知模型是利用上述任一项模型训练方法训练得到的。
25.第五方面，本技术提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项模型训练方法的步骤或者上述超分辨率感知方法的步骤。
26.第六方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项模型训练方法的步骤或者上述超分辨率感知方法的步骤。
附图说明
27.下面结合附图和实施例对本技术进一步说明。
28.图1是本技术实施例提供的一种模型训练方法的流程示意图；
29.图2是本技术实施例提供的一种获取高分辨率图像的流程示意图；
30.图3是本技术实施例提供的一种训练预设深度神经网络的流程示意图；
31.图4是本技术实施例提供的一种利用深度特征提取模块处理输入信息的流程示意图；
32.图5是本技术实施例提供的一种得到深度特征的流程示意图；
33.图6是本技术实施例提供的一种得到第i深度中间信息的流程示意图；
34.图7是本技术实施例提供的一种利用残差块处理输入信息的流程示意图；
35.图8是本技术实施例提供的另一种利用残差块处理输入信息的流程示意图；
36.图9是本技术实施例提供的一种利用ca模块获取注意力信息的流程示意图；
37.图10是本技术实施例提供的一种超分辨率感知方法的流程示意图；
38.图11是本技术实施例提供的一种模型训练装置的结构示意图；
39.图12是本技术实施例提供的一种高分辨率图像部分的结构示意图；
40.图13是本技术实施例提供的一种模型训练部分的结构示意图；
41.图14是本技术实施例提供的一种第二提取模块的结构示意图；
42.图15是本技术实施例提供的一种第一信息子模块的结构示意图；
43.图16是本技术实施例提供的一种注意信息单元的结构示意图；
44.图17是本技术实施例提供的一种超分辨率感知装置的结构示意图；
45.图18是本技术实施例提供的一种电子设备的结构框图；
46.图19是本技术实施例提供的一种用于实现模型训练方法或者超分辨率感知方法的程序产品的结构示意图。
具体实施方式
47.下面，结合附图以及具体实施方式，对本技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
48.参见图1，本技术提供了一种模型训练方法，所述模型训练方法包括步骤s101～s104。
49.步骤s101：获取训练数据集，所述训练数据集中的每个训练数据包括一个低分辨率的训练图像和所述训练图像对应的高分辨率图像。具体而言，训练图像对应的高分辨率图像的分辨率大于该训练图像的分辨率。其中，低分辨率的训练图像的分辨率例如是100像素*100像素，高分辨率图像的分辨率例如是800像素*800像素。
50.步骤s102：针对至少一个训练图像，对所述训练图像进行数据增广，得到所述训练
图像对应的增广图像作为新的训练图像并存储至所述训练数据集。
51.步骤s103：基于所述训练图像对应的高分辨率图像，获取所述新的训练图像对应的高分辨率图像。
52.步骤s104：利用所述训练数据集，使用adam优化器训练预设深度神经网络，得到超分辨率感知模型，所述预设深度神经网络采用rcan(residual channel attention networks，残差通道注意力网络)网络。
53.由此，通过对训练图像进行数据增广，可以使训练数据集尽可能的多样化，使训练得到的超分辨率感知模型具有较强的泛化能力，使用adam优化器训练预设深度神经网络，可以使训练过程更高效，并且梯度相对平滑、稳定，并且，预设深度神经网络采用的是rcan网络，可以构建非常深的可训练网络并获得较好的图像sr(image super resolution，图像超分辨率)性能，综上所述，利用该方法训练得到的超分辨率感知模型更为稳定且准确率较高。
54.在一具体应用中，adam优化器可以表示为：
55.m
t
＝β1m
t
‑1+(1
‑
β1)g
t
[0056][0057][0058][0059]
其中，m
t
和v
t
分别为t时刻的一阶动量项和二阶动量项，β1、β2为动力值大小(取0.9和0.999)，和分别为各自的修正值，w
t
表示t时刻即第t迭代模型的参数，g
t
＝
△
j(w
t
)表示t次迭代代价函数关于w的梯度大小，ε是一个取值很小的数(一般为1e
‑
8，为了避免分母为0)。
[0060]
参见图2，在一些实施方式中，所述步骤s103可以包括步骤s201～s202。
[0061]
步骤s201：获取所述训练图像对应的数据增广类型。数据增广类型可以包括以下至少一种：水平翻转；垂直翻转；平移；镜像。具体而言，在步骤s201中，训练图像对应的数据增广类型是其中一种。
[0062]
步骤s202：基于所述训练图像对应的高分辨率图像和数据增广类型，得到所述新的训练图像对应的高分辨率图像。
[0063]
在一具体应用中，对训练图像进行水平翻转，得到训练图像对应的增广图像并将其作为新的训练图像，对训练图像对应的高分辨率图像也进行水平翻转，得到新的训练图像对应的高分辨率图像。
[0064]
由此，根据训练图像对应的数据增广类型，可以对训练图像对应的高分辨率图像执行相应的操作，得到新的训练图像对应的高分辨率图像。
[0065]
参见图3，在一些实施方式中，所述预设深度神经网络可以包括浅特征提取模块、深度特征提取模块(rir，residual in residual)、上采样模块和重建模块，所述步骤s104可以包括步骤s301～s305。
[0066]
步骤s301：将各所述训练图像输入所述浅特征提取模块，得到各所述训练图像对应的浅特征。
[0067]
在一些实施方式中，所述浅特征提取模块可以包括第一卷积层。在一具体应用中，第一卷积层的卷积核的大小可以是3
×
3。
[0068]
由此，可以利用第一卷积层提取训练图像对应的浅特征，参数计算量较小。
[0069]
在一具体应用中，利用浅特征提取模块得到各所述训练图像对应的浅特征的表达式如下：
[0070]
f0＝h
sf
(i
lr
)
[0071]
其中，f0表示训练图像对应的浅特征，h
sf
表示卷积运算，i
lr
表示训练图像。
[0072]
步骤s302：将各所述训练图像对应的浅特征输入所述深度特征提取模块，得到各所述训练图像对应的深度特征。
[0073]
在一具体应用中，利用深度特征提取模块得到各所述训练图像对应的深度特征的表达式如下：
[0074]
f
df
＝h
rir
(f0)
[0075]
其中，f
df
表示训练图像对应的深度特征，h
rir
表示深度特征提取模块。
[0076]
步骤s303：将各所述训练图像对应的深度特征输入所述上采样模块，得到各所述训练图像对应的上采样特征图。
[0077]
在一具体应用中，利用上采样模块得到各所述训练图像对应的上采样特征图的表达式如下：
[0078]
f
up
＝h
up
(f
df
)
[0079]
其中，f
up
表示训练图像对应的上采样特征图，h
up
表示上采样的算法。
[0080]
步骤s304：将各所述训练图像对应的上采样特征图输入所述重建模块，得到各所述训练图像对应的重建图像。
[0081]
在一些实施方式中，所述重建模块可以包括第四卷积层。在一具体应用中，第四卷积层的卷积核的大小可以是3
×
3。
[0082]
在一具体应用中，利用重建模块得到各所述训练图像对应的重建图像的表达式如下：
[0083]
i
sr
＝h
rec
(f
up
)＝h
rcan
(i
lr
)
[0084]
其中，i
sr
表示训练图像对应的重建图像，h
rec
表示重建的算法，h
rcan
表示超分辨率感知的算法。
[0085]
步骤s305：基于各所述训练图像对应的重建图像和各所述训练图像对应的高分辨率图像，使用adam优化器对所述预设深度神经网络进行训练，得到超分辨率感知模型。
[0086]
由此，将训练图像输入浅特征提取模块，得到浅特征，接着将浅特征输入深度特征提取模块，得到深度特征，然后将深度特征输入上采样模块，得到上采样特征图，再将上采样特征图输入重建模块，得到重建图像，最后基于重建图像和高分辨率图像使用adam优化器对预设深度神经网络进行训练，由此得到的超分辨率感知模型的深度较深，可以用于高精度的图像超分辨率。
[0087]
参见图4和图5，在一些实施方式中，所述深度特征提取模块可以包括g个残差组(rg，residual group)，g是大于1的整数；所述步骤s302可以包括步骤s401～s403。本技术实施例对g的取值不作限定，g例如是10、15或者20。
[0088]
步骤s401：将各所述训练图像对应的第i
‑
1深度中间信息输入第i个残差组，得到
各所述训练图像对应的第i深度中间信息，以各所述训练图像对应的浅特征作为各所述训练图像对应的第0深度中间信息，i的取值分别是不大于g的每个正整数。
[0089]
步骤s402：将各所述训练图像对应的第g深度中间信息输入第二卷积层，得到各所述训练图像对应的深度卷积中间信息。第二卷积层的卷积核的大小可以是3
×
3。
[0090]
步骤s403：利用各所述训练图像对应的浅特征和各所述训练图像对应的深度卷积中间信息，获取各所述训练图像对应的深度特征。
[0091]
由此，利用g个残差组获取第g深度中间信息，再将第g深度中间信息输入第二卷积层，得到深度卷积中间信息，结合浅特征和深度卷积中间信息得到深度特征，一方面，g个残差组可以使训练得到的超分辨率感知模型达到较深的深度，另一方面，深度特征是结合浅特征和深度卷积中间信息二者得到的，浅特征包含丰富的低频信息，深度卷积中间信息是基于第g深度中间信息得到的，包含丰富的残差信息，由于浅特征可以直接应用于获取深度特征，可以使预设深度神经网络专注于学习高频信息，提升超分辨率感知模型的psnr和ssim指标。
[0092]
在一具体应用中，第g个残差组的信息流表示如下：
[0093]
f
g
＝h
g
(f
g
‑1)＝h
g
(h
g
‑1(
…
h1(f0)
…
))
[0094]
其中，g的取值分别是不大于g的每个正整数，h
g
表示的是第g个残差组，f
g
‑1和f
g
分别表示第g个残差组的输入信息和输出信息。
[0095]
在一些实施方式中，所述深度特征提取模块还可以包括长跳跃连接(lsc，long skip connection)，各所述训练图像对应的浅特征可以通过长跳跃连接传输至各所述训练图像对应的深度特征。
[0096]
利用深度特征提取模块的g个残差组和长跳跃连接得到各所述训练图像对应的深度特征的表达式如下：
[0097]
f
df
＝f0+w
lsc
f
g
＝f0+w
lsc
h
g
(h
g
‑1(
…
h1(f0)
…
))
[0098]
其中，w
lsc
表示第二卷积层的权重，f
g
表示第g深度中间信息。
[0099]
参见图4和图6，在一些实施方式中，每个残差组均可以包括b个残差块(rcab，residual channel attention block)，b是大于1的整数；所述步骤s401可以包括步骤s501～s503。本技术实施例对b的取值不作限定，b例如是20、25或者30。
[0100]
步骤s501：将各所述训练图像对应的第i个残差组的第j
‑
1残差注意信息输入第i个残差组的第j个残差块，得到各所述训练图像对应的第i个残差组的第j残差注意信息，以各所述训练图像对应的第i
‑
1深度中间信息作为各所述训练图像对应的第i个残差组的第0残差注意信息，j的取值分别是不大于b的每个正整数。
[0101]
步骤s502：将各所述训练图像对应的第b残差注意信息输入第三卷积层，得到各所述训练图像对应的注意卷积中间信息。
[0102]
步骤s503：利用各所述训练图像对应的第i
‑
1深度中间信息和各所述训练图像对应的注意卷积中间信息，获取各所述训练图像对应的第i深度中间信息。
[0103]
由此，利用b个残差块获取第b残差注意信息，将第b残差注意信息输入第三卷积层，得到注意卷积中间信息，结合第i
‑
1深度中间信息和注意卷积中间信息得到第i深度中间信息，由此可以使预设深度神经网络进行残差块之间的残差学习，提升超分辨率感知模型的性能。
[0104]
在一具体应用中，第g个残差组中的第b个残差块的信息流表示如下：
[0105]
f
g,b
＝h
g,b
(f
g,b
‑1)＝h
g,b
(h
g,b
‑1(
…
h
g,1
(f
g
‑1)
…
))
[0106]
其中，f
g,b
‑1和f
g,b
表示的是第g个残差组中的第b个残差块的输入信息和输出信息，h
g,b
表示的是第g个残差组中的第b个残差块。
[0107]
在一些实施方式中，每个残差组还可以包括短跳跃连接(ssc，short skip connection)，各所述训练图像对应的第i
‑
1深度中间信息可以通过短跳跃连接传输至各所述训练图像对应的第i深度中间信息。
[0108]
利用残差组的b个残差块和短跳跃连接得到各所述训练图像对应的第g深度中间信息的表达式如下：
[0109]
f
g
＝f
g
‑1+w
g
f
g,b
＝f
g
‑1+w
g
h
g,b
(h
g,b
‑1(
…
h
g,1
(f
g
‑1)
…
))
[0110]
其中，w
g
表示第三卷积层的权重。
[0111]
参见图7和图8，在一些实施方式中，每个残差块均可以包括卷积模块和ca(channel attention)模块，各所述残差块均可以采用步骤s601～s603处理输入信息。
[0112]
步骤s601：通过所述卷积模块对所述输入信息顺次进行第一次卷积操作、relu激活操作和第二次卷积操作，得到所述输入信息对应的中间信息。
[0113]
步骤s602：通过所述ca模块对所述输入信息对应的中间信息顺次进行全局池化操作、第一次卷积操作、relu激活操作、第二次卷积操作和sigmoid激活操作，得到所述输入信息对应的通道权值信息，以及基于所述输入信息对应的通道权值信息和中间信息获取所述输入信息对应的注意力信息。
[0114]
参见图9，在一具体应用中，输入信息对应的中间信息对应的特征图的大小为h
×
w
×
c。
[0115]
ca模块对输入信息对应的中间信息进行全局池化操作，得到1
×1×
c的特征图，对1
×1×
c的特征图进行第一次卷积操作，得到1
×1×
c/r的特征图，对1
×1×
c/r的特征图进行第二次卷积操作，得到1
×1×
c的特征图，利用sigmoid激活函数进行sigmoid激活操作，得到1
×1×
c的特征图表示每个通道的权值的描述符，将各通道权重值分别和原特征图对应通道的二维矩阵相乘，得到输入信息对应的注意力信息。
[0116]
利用ca模块获取所述输入信息对应的注意力信息的表达式如下：
[0117]
s＝f(w
u
δ(w
d
z))
[0118][0119]
其中，z表示全局池化操作，w
d
表示第一次卷积操作，δ表示relu激活操作，w
u
表示第二次卷积操作，f表示sigmoid激活操作，s表示通道的权重，x
c
是全局平均池化前输入信息对应的中间信息对应的特征图。
[0120]
步骤s603：基于所述输入信息和所述输入信息对应的注意力信息，获取所述输入信息对应的残差注意信息。
[0121]
由此，ca模块可以对不同通道的特征重新进行加权分配，使预设深度神经网络专注于更有用的信道并增强判别学习能力。
[0122]
在一具体应用中，利用残差块获取输入信息对应的残差注意信息的表达式如下：
[0123]
f
g,b
＝f
g,b
‑1+r
g,b
(x
g,b
)
·
x
g,b
[0124]
x
g,b
＝w
2g,b
δ(w
1g,b
·
f
g,b
‑1)
[0125]
其中，r
g,b
表示的是第g个残差组中的第b个残差块的ca模块，f
g,b
‑1与f
g,b
分别表示的是残差块的输入信息和输出信息，x
g,b
表示的是输入信息对应的中间信息。
[0126]
在一些实施方式中，所述步骤s104可以包括：利用所述训练数据集，使用adam优化器和l1损失函数训练所述预设深度神经网络，得到超分辨率感知模型。
[0127]
由此，模型训练过程中使用的损失函数可以采用l1损失函数，相比于l2损失函数，l1损失函数在达到同样训练效果的情况下所需的迭代次数较少。
[0128]
参见图10，本技术实施例还提供了一种超分辨率感知方法，所述超分辨率感知方法包括步骤s11～s12。
[0129]
步骤s11：获取待处理图像。
[0130]
在一些实施方式中，所述待处理图像可以包括以下至少一种：老照片扫描得到的图像；监控视频中的一帧；存储于医疗机构的细胞组织图像。
[0131]
步骤s12：将所述待处理图像输入超分辨率感知模型，得到所述待处理图像对应的高分辨率图像。其中，所述超分辨率感知模型是利用上述任一项模型训练方法训练得到的。
[0132]
由此，将低分辨率较低的待处理图像输入超分辨率感知模型，可以得到高分辨率图像，实现图像超分辨率重建。
[0133]
在一些实施方式中，通过调整超分辨率感知模型的参数可以使超分辨率感知模型获得不同的解析倍数，例如可以8倍解析待处理图像，16倍解析待处理图像或者48倍解析待处理图像。
[0134]
参见图11，本技术实施例还提供了一种模型训练装置，其具体实现方式与上述模型训练方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0135]
所述模型训练装置包括：训练数据集部分101，用于获取训练数据集，所述训练数据集中的每个训练数据包括一个低分辨率的训练图像和所述训练图像对应的高分辨率图像；数据增广部分102，用于针对至少一个训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像作为新的训练图像并存储至所述训练数据集；高分辨率图像部分103，用于基于所述训练图像对应的高分辨率图像，获取所述新的训练图像对应的高分辨率图像；模型训练部分104，用于利用所述训练数据集，使用adam优化器训练预设深度神经网络，得到超分辨率感知模型，所述预设深度神经网络采用rcan网络。
[0136]
参见图12，在一些实施方式中，所述高分辨率图像部分103可以包括：类型获取模块201，用于获取所述训练图像对应的数据增广类型；增广图像模块202，用于基于所述训练图像对应的高分辨率图像和数据增广类型，得到所述新的训练图像对应的高分辨率图像。
[0137]
参见图13，在一些实施方式中，所述预设深度神经网络可以包括浅特征提取模块、深度特征提取模块、上采样模块和重建模块；所述模型训练部分104可以包括：第一提取模块301，用于将各所述训练图像输入所述浅特征提取模块，得到各所述训练图像对应的浅特征；第二提取模块302，用于将各所述训练图像对应的浅特征输入所述深度特征提取模块，得到各所述训练图像对应的深度特征；特征图模块303，用于将各所述训练图像对应的深度特征输入所述上采样模块，得到各所述训练图像对应的上采样特征图；图像重建模块304，用于将各所述训练图像对应的上采样特征图输入所述重建模块，得到各所述训练图像对应的重建图像；训练模块305，用于基于各所述训练图像对应的重建图像和各所述训练图像对应的高分辨率图像，使用adam优化器对所述预设深度神经网络进行训练，得到超分辨率感
知模型。
[0138]
在一些实施方式中，所述浅特征提取模块可以包括第一卷积层。
[0139]
参见图14，在一些实施方式中，所述深度特征提取模块可以包括g个残差组，g是大于1的整数；所述第二提取模块302可以包括：第一信息子模块401，用于将各所述训练图像对应的第i
‑
1深度中间信息输入第i个残差组，得到各所述训练图像对应的第i深度中间信息，以各所述训练图像对应的浅特征作为各所述训练图像对应的第0深度中间信息，i的取值分别是不大于g的每个正整数；第二信息子模块402，用于将各所述训练图像对应的第g深度中间信息输入第二卷积层，得到各所述训练图像对应的深度卷积中间信息；深度特征子模块403，用于利用各所述训练图像对应的浅特征和各所述训练图像对应的深度卷积中间信息，获取各所述训练图像对应的深度特征。
[0140]
参见图15，在一些实施方式中，每个残差组均可以包括b个残差块，b是大于1的整数；所述第一信息子模块401可以包括：注意信息单元501，用于将各所述训练图像对应的第i个残差组的第j
‑
1残差注意信息输入第i个残差组的第j个残差块，得到各所述训练图像对应的第i个残差组的第j残差注意信息，以各所述训练图像对应的第i
‑
1深度中间信息作为各所述训练图像对应的第i个残差组的第0残差注意信息，j的取值分别是不大于b的每个正整数；卷积信息单元502，用于将各所述训练图像对应的第b残差注意信息输入第三卷积层，得到各所述训练图像对应的注意卷积中间信息；中间信息单元503，用于利用各所述训练图像对应的第i
‑
1深度中间信息和各所述训练图像对应的注意卷积中间信息，获取各所述训练图像对应的第i深度中间信息。
[0141]
参见图16，在一些实施方式中，每个残差块均可以包括卷积模块和ca模块，各所述残差块均可以采用所述注意信息单元501处理输入信息；所述注意信息单元501可以包括：第一处理子单元601，用于通过所述卷积模块对所述输入信息顺次进行第一次卷积操作、relu激活操作和第二次卷积操作，得到所述输入信息对应的中间信息；第二处理子单元602，用于通过所述ca模块对所述输入信息对应的中间信息顺次进行全局池化操作、第一次卷积操作、relu激活操作、第二次卷积操作和sigmoid激活操作，得到所述输入信息对应的通道权值信息，以及基于所述输入信息对应的通道权值信息和中间信息获取所述输入信息对应的注意力信息；残差注意子单元603，用于基于所述输入信息和所述输入信息对应的注意力信息，获取所述输入信息对应的残差注意信息。
[0142]
在一些实施方式中，所述模型训练部分104可以用于：利用所述训练数据集，使用adam优化器和l1损失函数训练所述预设深度神经网络，得到超分辨率感知模型。
[0143]
参见图17，本技术实施例还提供了一种超分辨率感知装置，其具体实现方式与上述超分辨率感知方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0144]
所述超分辨率感知装置包括：图像获取模块11，用于获取待处理图像；图像处理模块12，用于将所述待处理图像输入超分辨率感知模型，得到所述待处理图像对应的高分辨率图像；其中，所述超分辨率感知模型是利用上述任一项模型训练方法训练得到的。
[0145]
参见图18，本技术实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
[0146]
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)
211和/或高速缓存存储器212，还可以进一步包括只读存储器(rom)213。
[0147]
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本技术实施例中模型训练方法或者超分辨率感知方法的步骤，其具体实现方式与上述模型训练方法或者超分辨率感知方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0148]
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0149]
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
[0150]
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0151]
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
[0152]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本技术实施例中模型训练方法或者超分辨率感知方法的步骤，其具体实现方式与上述模型训练方法或者超分辨率感知方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
[0153]
图19示出了本实施例提供的用于实现上述模型训练方法或者超分辨率感知方法的程序产品300，其可以采用便携式紧凑盘只读存储器(cd
‑
rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本技术中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0154]
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光
缆、rf等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如java、c++等，还包括常规的过程式程序设计语言诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0155]
本技术从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本技术以上的说明书及说明书附图，仅为本技术的较佳实施例而已，并非以此局限本技术，因此，凡一切与本技术构造，装置，特征等近似、雷同的，即凡依本技术专利申请范围所作的等同替换或修饰等，皆应属本技术的专利申请保护的范围之内。