一种图像超分网络的训练方法及装置与流程

1.本技术属于机器学习领域，尤其涉及一种图像超分网络的训练方法及装置。


背景技术：

2.图像超分辨率重建，简称图像超分辨率(super resolution)，也称图像超分(sr)，是指利用图像处理方法将低清图像(low resolution，lr)重建为高清图像(high resolution，hr)的一种图像处理技术。
3.图像超分网络是一种用于实现图像超分的网络模型。一般来说，图像超分网络可以基于已知的图像退化模式训练得到，例如：采用经过下采样这种图像退化模式得到的低清图像，训练图像超分网络。另外，图像超分网络还可以基于构建的模拟图像数据训练得到，例如：通过传统学习多种图像退化模式(包括下采样、高斯噪声、运动模糊、失焦模糊等等)，训练图像超分网络；又例如，通过深度学习多种图像退化模式，训练图像超分网络。
4.以上两种实现方式，都是假设图像全局都基于某种固定的退化模式进行训练的，然而真实数据中的不同区域的退化模式是多变的，因此，上述两种训练图像超分网络的实现方式都无法实现针对图像的不同区域的不同退化模式的高清图像重建。


技术实现要素：

5.本技术提供一种图像超分网络的训练方法及装置，以解决现有训练图像超分网络的实现方式都无法实现针对图像的不同区域的不同退化模式的高清图像重建的问题。
6.第一方面，本技术提供一种图像超分网络的训练方法，包括：获取第一训练数据，所述第一训练数据包括成对的第一低清图像和高清图像；利用训练好的自编码网络，获取第一低清图像对应的编码信息，所述编码信息包括所述第一低清图像中不同区域对应的编码；以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为先验信息，训练所述图像超分网络；其中，以所述编码信息作为先验信息，用于引导所述图像超分网络对所述第一低清图像的不同区域采用不同的超分算法。
7.这样，由于编码信息包括了第一低清图像中不同区域对应的编码，因此，以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域采用不同的超分算法，这样训练得到的图像超分网络，可以实现针对低清图像的不同区域的不同退化模式的高清图像重建。
8.一种可实现方式中，所述以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为所述图像超分网络的先验信息，训练所述图像超分网络，包括：利用第一卷积层，对所述第一低清图像进行特征提取，得到第一特征；以所述编码信息作为先验信息，利用残差网络对所述第一特征进行调制，得到第二特征；利用上采样模块，对所述第二特征进行上采样操作，得到第三特征；利用第二卷积层，对所述第三特征进行卷积计算，输出所述高清图像；当训练次数达到预设迭代次数，则训练结束，获得训练后的图像超分网络。
9.这样，由于低清图像和高清图像在很大程度上是相似的，也就是说，低清图像携带的低频信息与低清图像携带的低频信息相近，训练时带上这些低频信息会花费大量的时间。因此，本技术实施例中，利用残差网络，只学习低清图像和高清图像之间的高频部分残差，这样可以节省大量的训练时间。
10.一种可实现方式中，所述残差网络包括至少两个残差模块，所述以所述编码信息作为先验信息，利用残差网络对所述第一特征进行调制，包括：将所述编码信息映射为仿射变换参数；以所述第一特征作为所述残差网络的输入，利用所述仿射变换参数，对所述残差网络中的第一残差模块输出的第四特征进行空间特征变换，得到第五特征，以所述第五特征作为所述残差网络中的第二残差模块的输入；其中，所述第一残差模块为所述残差网络中的任意相邻两个残差模块中的前一个残差模块，所述第二残差模块为所述残差网络中的任意相邻两个残差模块中的后一个残差模块。
11.这样，可以利用空间特征变换的方式，将编码信息融合到图像超分网络中，以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域不同类别进行不同程度的重构。
12.一种可实现方式中，所述将所述编码信息映射为仿射变换参数，包括：分别对所述编码信息进行两次卷积计算，得到第一仿射变换参数和第二仿射变换参数，其中，所述第一仿射变换参数用于对所述第四特征进行缩放变换，所述第二仿射变换参数用于对缩放变换后的所述第四特征进行平移变换。
13.这样，可以利用空间特征变换的方式，将编码信息融合到图像超分网络中，以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域不同类别进行不同程度的重构。
14.一种可实现方式中，每个所述残差模块由多个卷积层组成；其中，每个所述残差模块的输出，包括所述多个卷积层中最后一个卷积层的输出以及所述多个卷积层中第一个卷积层的输出，所述多个卷积层中最后一个卷积层的输入，包括所述多个卷积层中倒数第二个卷积层的输出以及所述多个卷积层中第一个卷积层的输出。
15.这样，构建的残差模块能够学习到更深层次的特征。
16.一种可实现方式中，所述自编码网络包括编码器和解码器，所述自编码网络的训练方法，包括：获取第二训练数据，所述第二训练数据包括第二低清图像；利用所述编码器对所述第二低清图像进行编码，得到所述第二低清图像对应的预测均值向量和预测方差向量；根据所述预测均值向量和预测方差向量，得到所述第二低清图像对应的正态分布；对所述正态分布进行采样，得到所述第二低清图像对应的采样向量；利用所述解码器对所述采样向量进行解码，得到预测低清图像；基于所述正态分布和标准正太分布，确定第一损失；基于所述第二低清图像和所述预测低清图像，确定第二损失；基于所述第一损失和所述第二损失，对所述自编码网络进行训练。
17.这样，自编码网络的训练过程是图像映射为编码，再从编码映射为与输入图像相同的图像的过程。这样，利用训练好的自编码网络，对第二低清图像编码后，第二低清图像中所有元素都编码到了编码信息中，也就是说，获得的编码信息能够包括第二低清图像中不同区域对应的编码。
18.一种可实现方式中，所述第一低清图像与所述第二低清图像相同。
19.一种可实现方式中，所述利用训练好的自编码网络，获取与第一低清图像对应的编码信息，包括：将所述第一低清图像输入训练好的自编码网络，利用所述训练好的自编码网络得到所述第一低清图像对应的均值向量和方差向量；将所述第一低清图像对应的均值向量和方差向量作为所述编码信息。
20.这样，由于自编码网络的训练过程是图像映射为编码，再从编码映射为与输入图像相同的图像的过程。这样，利用训练好的自编码网络，对第一低清图像编码后，第一低清图像中所有元素都编码到了编码信息中，也就是说，获得的编码信息包括第一低清图像中不同区域对应的编码，进而编码信息能够准确表达第一低清图像中各区域的退化模式。
21.第二方面，本技术提供一种图像超分网络的训练装置，包括：第一获取模块，用于获取第一训练数据，所述第一训练数据包括成对的第一低清图像和高清图像；第二获取模块，用于利用训练好的变分自编码网络，获取第一低清图像对应的编码信息，所述编码信息包括所述第一低清图像中不同区域对应的编码；训练模块，用于以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为先验信息，训练所述图像超分网络；其中，所述以所述编码信息作为先验信息，用于引导所述图像超分网络对所述第一低清图像的不同区域采用不同的超分算法。
22.这样，由于编码信息包括了第一低清图像中不同区域对应的编码，因此，以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域采用不同的超分算法，这样训练得到的图像超分网络，可以实现针对低清图像的不同区域的不同退化模式的高清图像重建。
23.第三方面，本技术提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序或指令，当所述计算机程序或指令被执行时，如第一方面中任一项所述的方法被执行。
24.综上，本技术提供的图像超分网络的训练方法及装置，先获取包括成对的第一低清图像和高清图像的第一训练数据，然后利用训练好的自编码网络，获取第一低清图像对应的编码信息，最后，以第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以编码信息作为先验信息，训练所述图像超分网络，其中，以编码信息作为先验信息，用于引导图像超分网络对第一低清图像的不同区域采用不同的超分算法。本技术中，由于编码信息包括了第一低清图像中不同区域对应的编码，因此，可以以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域采用不同的超分算法，这样训练得到的图像超分网络，可以实现针对低清图像的不同区域的不同退化模式的高清图像重建。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本技术实施例提供的一种图像超分网络的训练方法的流程图；
27.图2a为本技术实施例提供的一种自编码网络的训练方法的流程图；
28.图2b本技术实施例提供的一种自编码网络的算法结构示意图；
29.图3为本技术实施例提供的一种获取第一低清图像的编码信息的算法结构示意图；
30.图4a为本技术实施例提供的一种图像超分网络的训练步骤s3的流程图；
31.图4b为本技术实施例提供的一种图像超分网络的算法结构示意图；
32.图5为本技术实施例提供的一种将编码信息映射为仿射变换参数的算法结构示意图；
33.图6为本技术实施例提供的一种图像超分网络的训练装置的结构示意图；
34.图7为本技术实施例提供的又一种图像超分网络的训练装置的结构示意图。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.图像超分辨率重建，简称图像超分辨率(super resolution)，也称图像超分(sr)，是指利用图像处理方法将低清图像(low resolution，lr)重建为高清图像(high resolution，hr)的一种图像处理技术。
37.图像超分网络是一种用于实现图像超分的网络模型。目前，对图像超分网络的训练方法主要包括两种实现方式，第一种实现方式是基于已知的图像退化模式进行训练，第二种实现方式是基于构建的模拟图像数据进行训练。
38.对于第一种实现方式，以采用经过下采样这种图像退化模式得到的低清图像，训练图像超分网络为例，这样训练得到的图像超分网络对下采样得到的低清图像，能够实现理想的图像超分效果。但是，这样训练得到的图像超分网络，对真实图像进行图像超分的效果却不尽如人意。这是由于真实图像的图像退化方式多种多样，只通过简单的下采样无法覆盖更多的图像退化模式，进而使得训练得到的图像超分网络无法达到预期的效果。
39.对于第二种实现方式，假设不知道真实图像的退化模式，然后去构建模拟图像数据，再基于构建的模拟图像数据进行训练。这种实现方式，虽然能够学习多种图像退化模式，但是这种实现方式，是假设图像全局都基于某种固定的退化模式进行训练的，然而真实图像中的不同区域的退化模式也可能是多变的，因此，上述两种训练图像超分网络的实现方式都无法实现针对图像的不同区域的不同退化模式的高清图像重建。
40.为解决上述技术问题，本技术实施例提供了一种图像超分网络的训练方法，利用本技术实施例提供的训练方法训练后的图像超分网络，能够针对真实图像的不同区域的不同退化模式进行高清图像重建。
41.本技术实施例提供的图像超分网络的训练方法可以通过在硬件计算环境中部署软件形式的神经网络模型和计算机程序代码的方式实现，可用的硬件计算环境例如：个人计算机、服务器、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、可编程的消费电子设备、云服务器、服务器实例、超级计算机等。
42.下面结合附图对本技术实施例提供的图像超分网络的训练方法进行详细说明。
43.图1为本技术实施例提供的一种图像超分网络的训练方法的流程图。如图1所示，本技术实施例提供的图像超分网络的训练方法，包括以下步骤：
44.步骤s1，获取第一训练数据，第一训练数据包括成对的第一低清图像和高清图像。
45.本技术实施例中的第一低清图像是真实图像数据，并不是基于某种退化模式得到的低清图像数据，也不是构建的模拟低清图像数据。
46.其中，第一低清图像与高清图像可以是的尺寸不同的图像，并且第一低清图像的分辨率小于高清图像的分辨率，例如，第一低清图像对应的分辨率为1280
×
720，高清图像对应的分辨率为1920
×
1080。另外，第一低清图像与高清图像也可以是尺寸相同的图像，但第一低清图像的像素密度小于高清图像的像素密度。
47.步骤s2，利用训练好的自编码网络，获取第一低清图像对应的编码信息，编码信息包括第一低清图像中不同区域对应的编码。
48.训练好的自编码网络包括编码器和解码器，编码器用于对输入的第一低清图像进行编码，得到编码信息，解码器用于基于编码信息进行解码，由于编码信息包括了第一低清图像中不同区域对应的编码，这样就保证了编码信息是对第一低清图像的准确表达，因此，解码器能够基于编码信息解码，重新还原出第一低清图像。由此可知，训练好的自编码网络是一种能够将图像映射为编码，再将编码映射为与输入图像相同的图像的网络。
49.图2a为本技术实施例提供的一种自编码网络的训练方法的流程图，图2b本技术实施例提供的一种自编码网络的算法结构示意图。如图2a和图2b所示，本技术实施例提供的自编码网络的训练方法，包括以下步骤：
50.步骤s21，获取第二训练数据，第二训练数据包括第二低清图像。
51.需要说明的是，本技术实施例中第一低清图像和第二低清图像均为真实图像数据，并不是基于某种退化模式得到的低清图像数据，也不是构建的模拟低清图像数据。
52.还需要说明的是，本技术实施例中第二低清图像可以与第一低清图像相同，也可以不同，本技术对此不进行限定。
53.步骤s22，利用编码器对第二低清图像进行编码，得到第二低清图像对应的预测均值向量和预测方差向量。
54.编码器可以对输入的第二低清图像进行特征提取，并将其映射到高斯分布p(z)上，并输出该高斯分布p(z)的均值向量和方差向量。其中，本技术实施例中将自编码网络在训练过程输出的均值向量和方差向量称为预测均值向量和预测方差向量。
55.本技术实施例中预测均值向量和预测方差向量均为多维度向量，预测均值向量的维度与预测方差向量的维度相同，其中，预测均值向量和预测方差向量中的每个维度可以表示一个类别。本技术实施例对预测均值向量和预测方差向量的维度不进行限定，预测均值向量和预测方差向量的维度可以根据实际应用需求自行设定，例如，设定预测均值向量和预测方差向量的维度均为3、4、5或更多。
56.示例性的，编码器输出的预测均值向量为[0.2,0.4,0.5]，预测方差向量为[0.01,0.015,0.02]，其中，预测均值向量中的0.2和预测方差向量中的0.01均对应表示植物类别，预测均值向量中的0.4和预测方差向量中的0.015均对应表示动物类别，预测均值向量中的0.5和预测方差向量中的0.02均对应表示背景类别。
[0057]
步骤s23，根据预测均值向量和预测方差向量，得到第二低清图像对应的正态分
布。
[0058]
根据步骤s22获得的两组参数，预测均值向量和预测方差向量，可以生成对应的正态分布n(μ,δ2)，其中，μ表示预测均值向量，δ2表示预测方差向量。
[0059]
图像的正太分布可以表征图像的特征，不同类别、内容的图像对应的正太分布是不同的，本技术实施例得到的正太分布为多维正态分布，通过多维正态分布可以表征第二低清图像不同区域对应的特征。
[0060]
步骤s24，对正态分布进行采样，得到第二低清图像对应的采样向量。
[0061]
其中，对正态分布进行采样可以是从由正太分布n(μ,δ2)的每个维度上随机取一个变量，然后，由各个维度对应的变量组成采样向量。
[0062]
在采样时，可以令z＝μ+δ2·
ε，从正太分布n(μ,δ2)中采样，得到采样向量z，其中，ε为满足标准正态分布的随机向量，这样相当于从n(0,1)中采样一个ε，然后，让z＝μ+δ2·
ε，从而使z仍然是服从正太分布n(μ,δ2)的采样，且都是可导的，这样可以保证梯度传播，进而保证自编码网络可训练。
[0063]
步骤s25，利用解码器对采样向量进行解码，得到预测低清图像。
[0064]
以采样向量作为解码器的输入，解码器对输入的采样向量进行解码后，输出预测低清图像。解码器的解码过程是利用采样向量还原出输入的第二低清图像的过程。
[0065]
需要说明的是，本技术实施例对编码器和解码器的网络架构不进行限定，例如，编码器和解码器均可以采用多层感知器(multilayer perceptron，mlp)实现。其中，mlp可以由输入层、隐藏层和输出层组成，并且mlp中各网络层之间可以通过全连接层连接。
[0066]
步骤s26，基于正态分布和标准正太分布，确定第一损失。
[0067]
步骤s27，基于第二低清图像和预测低清图像，确定第二损失。
[0068]
步骤s28，基于第一损失和第二损失，对自编码网络进行训练。
[0069]
训练过程中，希望第二损失最小化，但是，由于采样向量是从正态分布上重新采样得到的，而不是直接由编码器算出来的，因此，第二损失可能会受到噪声的影响，其中，预测方差向量表征噪声强度。也就是说，为了使第二损失最小化，要尽量使预测方差向量为0，然而，如果预测方差向量为0，则训练的自编码网络便不能生成正态分布。
[0070]
基于此，本技术实施例在第二损失的基础上加入第一损失，加入第一损失后，可以防止噪声为零(即方式预测方差向量为0)，从而增加自编码网络对噪声的鲁棒性。
[0071]
进一步的，为了避免面临第一损失和第二损失的权重分配问题，在一种实现方式中，可以通过正态分布和标准正太分布的kl散度表示第一损失，这样，第一损失和第二损失可以训练过程中自行对抗，共同进化，而不需要对第一损失和第二损失进行权重分配。
[0072]
其中，正态分布和标准正太分布的kl散度满足如下第一关系式(1)。
[0073][0074]
在第一关系式(1)中，d表示正态分布的维度的数量，μ(i)表示预测均值向量的第i个分量，表示预测方差向量的第i个分量，i小于等于d，i和d均为正整数。
[0075]
第二损失用于表征对输入的第二低清图像的重构误差，在一种实现方式中，第二损失可以通过第二低清图像和预测低清图像的像素差绝对值表示。
[0076]
这样，可以基于第一损失和第二损失，监督自编码网络进行训练。对自编码网络进行训练的过程是一个迭代的过程，通过多次迭代，不断优化和更新编码器和解码器内部的网络参数，使网络损失不断收敛。其中，当网络损失收敛至预设条件，例如第一损失和第二损失的和小于预设阈值时，结束训练，得到训练好的自编码网络。
[0077]
图3为本技术实施例提供的获取第一低清图像的编码信息的算法结构示意图。
[0078]
如图3所示，利用训练好的自编码网络，获取第一低清图像对应的编码信息，可以按照下述方式实现：现将第一低清图像输入训练好的自编码网络，利用训练好的自编码网络得到第一低清图像对应的均值向量和方差向量；然后，将第一低清图像对应的均值向量和方差向量作为编码信息。
[0079]
由上述对自编码网络的训练方法的介绍可知，自编码网络的训练过程是图像映射为编码，再从编码映射为与输入图像相同的图像的过程。这样，利用训练好的自编码网络，对第一低清图像编码后，第一低清图像中所有元素都编码到了编码信息中，也就是说，获得的编码信息包括第一低清图像中不同区域对应的编码。由此可知，本技术实施例中的编码信息能够准确表达第一低清图像中各区域的退化模式。
[0080]
步骤s3，以第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以编码信息作为先验信息，训练图像超分网络。
[0081]
本技术实施例中，以编码信息作为先验信息，来引导图像超分网络对第一低清图像的不同区域采用不同的超分算法。
[0082]
由于第一低清图像的不同区域可能表现不同的退化模式，因此，本技术以包括第一低清图像中不同区域对应的编码的编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域的不同退化模式采用不同的超分算法，这样训练得到的图像超分网络，可以实现针对低清图像的不同区域的不同退化模式的高清图像重建。其中，超分算法是指用于将低清图像重建为高清图像的算法。
[0083]
另外，与语义引导的超分算法相比，由于本技术中编码信息包括输入的低清图像中所有元素的编码信息，因此，本技术实施例提供图像超分网络的应用场景不受分割类别的限定，可以覆盖全场景。而语义引导的超分算法，取决于语义模型的分割类别的多少，因此，语义引导的超分算法的应用场景会受到限制。
[0084]
图4a为本技术实施例提供的一种图像超分网络的训练步骤s3的流程图，图4b为本技术实施例提供的一种图像超分网络的算法结构示意图。如图4a和图4b所示，在一种可实现方式中，步骤s3可以包括以下步骤：
[0085]
步骤s31，利用第一卷积层，对第一低清图像进行特征提取，得到第一特征。
[0086]
第一卷积层的作用是提取第一低清图像的特征。训练时，将第一低清图像输入第一卷积层，第一卷积层通过卷积计算，对第一低清图像进行特征提取，然后输出第一特征。
[0087]
本技术实施例中对第一卷积层的参数不进行限定，例如，第一卷积层的卷积核的尺寸为3*3。
[0088]
步骤s32，以编码信息作为先验信息，利用残差网络对第一特征进行调制，得到第二特征。
[0089]
由于低清图像和高清图像在很大程度上是相似的，也就是说，低清图像携带的低频信息与低清图像携带的低频信息相近，训练时带上这些低频信息会花费大量的时间。因
此，本技术实施例中，利用残差网络，只学习低清图像和高清图像之间的高频部分残差，这样可以节省大量的训练时间。
[0090]
在一种可实现方式中，以编码信息作为先验信息，利用残差网络对第一特征进行调制，可以按照下述方式实现：先将编码信息映射为仿射变换参数；然后，以第一特征作为残差网络的输入，利用所仿射变换参数，对残差网络中的第一残差模块输出的第四特征进行空间特征变换，得到第五特征，以第五特征作为残差网络中的第二残差模块的输入。
[0091]
其中，残差网络包括至少两个残差模块。为便于描述，本技术实施例中将残差网络中的任意相邻两个残差模块中的前一个残差模块称为第一残差模块，将残差网络中的任意相邻两个残差模块中的后一个残差模块称为第二残差模块。
[0092]
本技术实施例中映射得到的仿射变换参数，可以被引入到任意相邻两个残差模块之间进行特征调制。具体的，以第一特征作为残差网络的输入，经过第一残差模块后，输出第四特征；然后，利用预先映射得到的仿射变换参数，对第四特征进行空间特征变换，得到第五特征；再以调制后的第五特征作为第二残差模块的输入。
[0093]
这样，本技术实施例利用空间特征变换的方式，将编码信息融合到图像超分网络中，以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域不同类别进行不同程度的重构。
[0094]
在一种可实现方式中，将编码信息映射为仿射变换参数，可以按照下述方式实现：如图5所示，可以采用一个独立的映射模块，该映射模块用于将编码信息映射为仿射变换参数。该映射模块可以包括四个卷积层，其中两个卷积层用于对编码信息进行卷积计算，得到第一仿射变换参数γ，另外两个卷积层用于对编码信息进行卷积计算，第二仿射变换参数β。这样，分别对编码信息进行两次卷积计算后，得到第一仿射变换参数γ和第二仿射变换参数β，然后，利用第一仿射变换参数γ，对第四特征进行缩放变换，再利用第二仿射变换参数β对缩放变换后的第四特征进行平移变换。
[0095]
本技术实施例对每个残差模块的结构不进行限定，例如，残差模块可以由多个卷积层组成。
[0096]
示例性的，残差模块包括四个顺次连接的卷积层，其中，每个所述残差模块的输出，包括多个卷积层中最后一个卷积层的输出以及多个卷积层中第一个卷积层的输出。其中，多个卷积层中最后一个卷积层的输入，包括多个卷积层中倒数第二个卷积层的输出以及多个卷积层中第一个卷积层的输出。这样构建的残差模块能够学习到更深层次的特征。
[0097]
步骤s33，利用上采样模块，对第二特征进行上采样操作，得到第三特征。
[0098]
通过上采样操作，可以增大输入的图像的分辨率。具体的，可以采用pixelshuffle算法进行上采样。
[0099]
步骤s34，利用第二卷积层，对第三特征进行卷积计算，输出高清图像。
[0100]
对上采样得到的第三特征进行卷积计算后，得到重建的高清图像。
[0101]
具体的，可以利用一个或多个第二卷积层，对第三特征进行卷积计算，本技术对此不进行限定。
[0102]
步骤s35，当训练次数达到预设迭代次数，则训练结束，获得训练后的图像超分网络。
[0103]
对图像超分网络进行训练的过程是一个迭代的过程，通过多次迭代，不断优化和
更新图像超分网络内部的网络参数，使网络损失不断收敛。当图像超分网络的训练迭代达到预设次数时，结束训练，得到训练好的图像超分网络。
[0104]
需要说明的是，上述实施例仅以练次数作为收敛条件进行示例性说明，并不表示对收敛条件的限定。例如，也可以以损失作为收敛条件进行训练，这样，当网络损失收敛至预设条件，例如图像超分网络损失的值小于预设阈值时，结束训练，得到训练好的图像超分网络。其中，图像超分网络损失的值，可以利用输出高清图像和第一训练数据中高清图像计算得到。
[0105]
还需要说明的是，本技术实施例对图像超分网络的结构不进行限定，例如，图像超分网络包括顺次连接的第一卷积层、残差网络、上采样模块和第二卷积层，其中，残差网络包括至少两个残差模块，第二卷积层的数量可以是一个或多个。
[0106]
示例性的，本技术实施例中的图像超分网络包括顺次连接的第一卷积层、第一残差模块、第一上采样模块、第二残差模块、第二上采样模块，以及三个顺次连接的第二卷积层。
[0107]
综上，本技术实施例提供的一种图像超分网络的训练方法，先获取包括成对的第一低清图像和高清图像的第一训练数据，然后利用训练好的自编码网络，获取第一低清图像对应的编码信息，最后，以第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以编码信息作为先验信息，训练所述图像超分网络，其中，以编码信息作为先验信息，用于引导图像超分网络对第一低清图像的不同区域采用不同的超分算法。本技术中，由于编码信息包括了第一低清图像中不同区域对应的编码，因此，可以以编码信息作为先验信息，引导图像超分网络对第一低清图像的不同区域采用不同的超分算法，这样训练得到的图像超分网络，可以实现针对低清图像的不同区域的不同退化模式的高清图像重建。
[0108]
本文中描述的各个方法实施例可以为独立的方案，也可以根据内在逻辑进行组合，这些方案都落入本技术的保护范围中。
[0109]
上述实施例对本技术提供的图像超分网络的训练方法进行了介绍。可以理解的是，训练装置为了实现上述功能，其包含了执行每一个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0110]
本技术实施例可以根据上述方法示例对训练装置进行功能模块的划分，例如，可以对应每一个功能划分每一个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0111]
以上，结合图1至图5详细说明了本技术实施例提供的方法。以下，结合图6和图7详细说明本技术实施例提供的装置。应理解，装置实施例的描述与方法实施例的描述相互对应，因此，未详细描述的内容可以参见上文方法实施例，为了简洁，这里不再赘述。
[0112]
图6为本技术实施例提供的一种图像超分网络的训练装置的结构示意图，如图6所示，该装置1000包括第一获取模块1001、第二获取模块1002和训练模块1003。
[0113]
其中，第一获取模块1001，用于获取第一训练数据，所述第一训练数据包括成对的第一低清图像和高清图像。第二获取模块1002，用于利用训练好的变分自编码网络，获取第一低清图像对应的编码信息，所述编码信息包括所述第一低清图像中不同区域对应的编码。训练模块1003，用于以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为先验信息，训练所述图像超分网络；其中，所述以所述编码信息作为先验信息，用于引导所述图像超分网络对所述第一低清图像的不同区域采用不同的超分算法。
[0114]
图7为本技术实施例提供的又一种图像超分网络的训练装置的结构示意图，如图7所示，该装置1000包括收发器1004和处理器1005。该装置1000可以执行上述方法实施例的操作。
[0115]
例如，在本技术一种可选的实施例中，收发器1004用于获取第一训练数据，所述第一训练数据包括成对的第一低清图像和高清图像，以及，利用训练好的变分自编码网络，获取第一低清图像对应的编码信息，所述编码信息包括所述第一低清图像中不同区域对应的编码。处理器1005用于以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为先验信息，训练所述图像超分网络；其中，所述以所述编码信息作为先验信息，用于引导所述图像超分网络对所述第一低清图像的不同区域采用不同的超分算法。
[0116]
一种可能的实现方式中，处理器1005用于利用第一卷积层，对所述第一低清图像进行特征提取，得到第一特征；以所述编码信息作为先验信息，利用残差网络对所述第一特征进行调制，得到第二特征；利用上采样模块，对所述第二特征进行上采样操作，得到第三特征；利用第二卷积层，对所述第三特征进行卷积计算，输出所述高清图像；当训练次数达到预设迭代次数，则训练结束，获得训练后的图像超分网络。
[0117]
一种可能的实现方式中，处理器1005用于将所述编码信息映射为仿射变换参数；以所述第一特征作为所述残差网络的输入，利用所述仿射变换参数，对所述残差网络中的第一残差模块输出的第四特征进行空间特征变换，得到第五特征，以所述第五特征作为所述残差网络中的第二残差模块的输入；其中，所述第一残差模块为所述残差网络中的任意相邻两个残差模块中的前一个残差模块，所述第二残差模块为所述残差网络中的任意相邻两个残差模块中的后一个残差模块。
[0118]
一种可能的实现方式中，处理器1005用于分别对所述编码信息进行两次卷积计算，得到第一仿射变换参数和第二仿射变换参数，其中，所述第一仿射变换参数用于对所述第四特征进行缩放变换，所述第二仿射变换参数用于对缩放变换后的所述第四特征进行平移变换。
[0119]
一种可能的实现方式中，收发器1004用于获取第二训练数据，所述第二训练数据包括第二低清图像。处理器1005用于利用所述编码器对所述第二低清图像进行编码，得到所述第二低清图像对应的预测均值向量和预测方差向量；根据所述预测均值向量和预测方差向量，得到所述第二低清图像对应的正态分布；对所述正态分布进行采样，得到所述第二低清图像对应的采样向量；利用所述解码器对所述采样向量进行解码，得到预测低清图像；
基于所述正态分布和标准正太分布，确定第一损失；基于所述第二低清图像和所述预测低清图像，确定第二损失；基于所述第一损失和所述第二损失，对所述自编码网络进行训练。
[0120]
一种可能的实现方式中，处理器1005，用于将所述第一低清图像输入训练好的自编码网络，利用所述训练好的自编码网络得到所述第一低清图像对应的均值向量和方差向量；将所述第一低清图像对应的均值向量和方差向量作为所述编码信息。
[0121]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0122]
应注意，本技术实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0123]
可以理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0124]
根据本技术实施例提供的方法，本技术实施例还提供一种计算机程序产品，该计算机程序产品包括：计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得该计算机执行方法实施例中任意一个实施例的方法。
[0125]
根据本技术实施例提供的方法，本技术实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得该计算机执行方法实施例中任意一个实施例的方法。
[0126]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step)，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0127]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0128]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0129]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0130]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
[0131]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0132]
上述本技术实施例提供的装置、计算机存储介质、计算机程序产品均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。
[0133]
应理解，在本技术的各个实施例中，各步骤的执行顺序应以其功能和内在逻辑确定，各步骤序号的大小并不意味着执行顺序的先后，不对实施例的实施过程构成限定。
[0134]
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置、计算机存储介质、计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
[0135]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0136]
以上所述的本技术实施方式并不构成对本技术保护范围的限定。