图像恢复方法、存储介质、电子设备和计算机程序产品与流程

1.本技术涉及图像恢复领域，尤其涉及一种图像恢复方法、存储介质、电子设备和计算机程序产品。


背景技术：

2.数字图像在采集、转换以及传输的过程中会受到噪声的污染。图像恢复(或者图像复原)是计算机图像处理的主要内容之一，其目的在于消除或减轻在图像获取及传输过程中造成的图像品质下降即退化现象，恢复图像的本来面目。
3.但是，由于现有的图像恢复模型的性能不高，其引起了图像恢复效率比较低的问题。


技术实现要素：

4.本技术实施例的目的在于提供一种图像恢复方法、存储介质、电子设备和计算机程序产品，以提高图像恢复效率。
5.第一方面，本技术实施例提供了一种图像恢复方法，该图像恢复方法包括：获取待恢复图像；将待恢复图像输入到预先训练好的初级模型中，获得初级模型的初级解码器中的上采样层输出的上采样特征；分别将待恢复图像和上采样特征输入到预先训练好的次级模型中，以通过次级模型的次级编码器对待恢复图像的特征和上采样特征进行标准化处理，获得输出特征，以及通过次级模型的次级解码器对输出特征进行解码处理，获得恢复后的图像。
6.借助于上述方案，本技术实施例能够合理地将标准化处理引入到图像恢复任务中，使得在增加很少参数量和计算量的情况下，显著提升次级模型的性能，同时提出的由初级模型和次级模型构成的双阶段模型设计，可以进一步提高图像恢复的效率。
7.在一个可能的实施例中，初级解码器包括多个上采样层，次级编码器包括多个下采样层，并且多个下采样层中每个下采样层均包括第一残差层；其中，分别将待恢复图像和上采样特征输入到预先训练好的次级模型中，包括：分别将多个上采样层中每个上采样层输出的上采样特征输入到对应的下采样层的第一残差层中，其中，每个上采样层的上采样倍数和每个上采样层对应的下采样层的下采样倍数相同。
8.在一个可能的实施例中，每个下采样层均包括依次连接的多个残差层；第一残差层为多个残差层中的首个残差层，或者第一残差层为多个残差层中任意一个残差层。
9.在一个可能的实施例中，通过次级模型的次级编码器对待恢复图像的特征和上采样特征进行标准化处理，获得输出特征，包括：获取中间特征；其中，中间特征是对待恢复图像的特征进行非线性处理后获得的；对中间特征进行归一化处理，获得归一化结果；根据第一残差层对应的上采样特征，获得仿射变换参数；利用仿射变换参数对归一化结果进行仿射变换处理，获得仿射变换结果；根据仿射变换结果，获得输出特征。
10.在一个可能的实施例中，仿射变换参数包括尺度缩放系数和偏移系数，第一残差
层包括第一卷积层和第二卷积层，第一卷积层用于根据第一残差层对应的上采样特征，获得尺度缩放系数，第二卷积层用于根据第一残差层对应的上采样特征，获得偏移系数。
11.在一个可能的实施例中，利用仿射变换参数对归一化结果进行仿射变换处理，获得仿射变换结果，包括：计算归一化结果和尺度缩放系数的乘积值；计算乘积值和偏移系数的和值，并将和值作为仿射变换结果。
12.在一个可能的实施例中，初级模型的模型结构和次级模型的模型结构相同。
13.第二方面，本技术实施例提供了一种图像恢复装置，该图像恢复装置包括：获取模块，用于获取待恢复图像；第一输入模块，用于将待恢复图像输入到预先训练好的初级模型中，获得初级模型的初级解码器中的上采样层输出的上采样特征；第二输入模块，用于分别将待恢复图像和上采样特征输入到预先训练好的次级模型中，以通过次级模型的次级编码器对待恢复图像的特征和上采样特征进行标准化处理，获得输出特征，以及通过次级模型的次级解码器对输出特征进行解码处理，获得恢复后的图像。
14.在一个可能的实施例中，初级解码器包括多个上采样层，次级编码器包括多个下采样层，并且多个下采样层中每个下采样层均包括第一残差层；第二输入模块，具体用于分别将多个上采样层中每个上采样层输出的上采样特征输入到对应的下采样层的第一残差层中，其中，每个上采样层的上采样倍数和每个上采样层对应的下采样层的下采样倍数相同。
15.在一个可能的实施例中，每个下采样层均包括依次连接的多个残差层；第一残差层为多个残差层中的首个残差层，或者第一残差层为多个残差层中任意一个残差层。
16.在一个可能的实施例中，第二输入模块，具体用于：获取中间特征；其中，中间特征是对待恢复图像的特征进行非线性处理后获得的；对中间特征进行归一化处理，获得归一化结果；根据第一残差层对应的上采样特征，获得仿射变换参数；利用仿射变换参数对归一化结果进行仿射变换处理，获得仿射变换结果；根据仿射变换结果，获得输出特征。
17.在一个可能的实施例中，仿射变换参数包括尺度缩放系数和偏移系数，第一残差层包括第一卷积层和第二卷积层，第一卷积层用于根据第一残差层对应的上采样特征，获得尺度缩放系数，第二卷积层用于根据第一残差层对应的上采样特征，获得偏移系数。
18.在一个可能的实施例中，第二输入模块，具体用于：计算归一化结果和尺度缩放系数的乘积值；计算乘积值和偏移系数的和值，并将和值作为仿射变换结果。
19.在一个可能的实施例中，初级模型的模型结构和次级模型的模型结构相同。
20.第三方面，本技术实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
21.第四方面，本技术实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
22.第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括存储计算机程序的计算机可读存储介质，所述计算机程序在由至少一个处理器执行时，使所述至少一个处理器执行第一方面或第一方面的任一可选的实现方式所述的方法。
23.为使本技术实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
24.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
25.图1示出了本技术实施例提供的一种图像恢复方法的流程图；
26.图2示出了本技术实施例提供的一种初级模型的结构示意图；
27.图3示出了本技术实施例提供的一种双阶段图像恢复模型的结构示意图；
28.图4示出了本技术实施例提供的一种残差层的结构示意图；
29.图5示出了本技术实施例提供的一种标准化处理层的示意图；
30.图6示出了本技术实施例提供的一种图像恢复装置的结构框图；
31.图7示出了本技术实施例提供的一种电子设备的结构框图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
33.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
34.目前，标准化normalization被广泛应用到高语义计算机视觉任务(例如，目标检测、图像分割或者姿态估计等)中，这些都得益于标准化可以加快模型的收敛速度，同时可以起到正则化的作用。
35.但是，在图像恢复领域中却很少用到标准化技术，即其简单地将标准化应用添加到图像恢复任务中也是不合理的。例如，对于现有的用于动态场景去模糊的深度多尺度卷积神经网络(即deep multi-scale convolutional neural network for dynamic scene deblurring)来说，其在残差层中移除了批标准化(batch normalization)。再例如，对于用于单一图像超分辨率的增强型深度残差网络(即enhanced deep residual networks for single image super-resolution)来说，为了避免影响特征取值的灵活性，其同样在超分任务中去掉了批标准化。再例如，对于广泛激活以实现高效准确的图像超分辨率(即wide activation for efficient and accurate image super-resolution)的方法来说，其图像恢复任务通常是使用小的标准批量(即batch size)去训练模型，这就导致了批标准化的统计量不稳定，以及其图像恢复任务也是像素级尺度敏感的任务，而批标准化更适用于尺度不敏感的任务。再例如，对于用自适应实例归一化将学习从合成噪声转移到真实噪声去噪(即transfer learning from synthetic to real-noise denoising with adaptive instance normalization)的方法来说，其将实例标准化(即instance normalization)引入到图像降噪任务中，以及该方法先在合成的噪声数据上训练，然后利用迁移学习在真实噪声数据上测试，但是性能受限。
36.也就是说，对于现有的图像恢复方法来说，其是不包含标准化的。故为了提高模型的性能，如何合理的将标准化引入到图像恢复任务中是十分必要的。
37.基于此，本技术实施例提供了一种图像恢复方案，通过获取待恢复图像，随后将待恢复图像输入到预先训练好的初级模型中，获得初级模型的初级解码器中的上采样层输出的上采样特征，最后分别将待恢复图像和上采样特征输入到预先训练好的次级模型中，以通过次级模型的次级编码器对待恢复图像的特征和上采样特征进行标准化处理，获得输出特征，以及通过次级模型的次级解码器对输出特征进行解码处理，获得恢复后的图像。
38.借助于上述方案，本技术实施例能够合理地将标准化处理引入到图像恢复任务中，使得在增加很少参数量和计算量的情况下，显著提升模型的性能，同时提出的由初级模型和次级模型构成的双阶段模型设计，可以进一步提高图像恢复的效率。
39.请参见图1，图1示出了本技术实施例提供的一种图像恢复方法的流程图。应理解，如图1所示的图像恢复方法可以由图像恢复装置执行，该图像恢复装置可以是如图6所述的图像恢复装置，同时该图像恢复装置可以是能够实现该方法的各种装置。例如，该图像恢复装置可以是计算机，也可以是服务器等。具体地，该图像恢复方法包括：
40.步骤s110，获取待恢复图像。
41.应理解，该待恢复图像的具体图像可根据实际需求来进行设置，本技术实施例并不局限于此。
42.例如，该待恢复图像可以是带有噪声的图像，也可以是带有雨痕的图像，也可以是模糊的图像等。
43.步骤s120，将待恢复图像输入到预先训练好的初级模型中，获得初级模型的初级解码器中的上采样层输出的上采样特征。
44.应理解，初级模型的具体模型和其具体结构等均可根据实际需求来进行设置，本技术实施例并不局限于此。
45.可选地，该初级模型可以是现有的语义分割模型。
46.例如，该初级模型是用于生物医学图像分割的u-net卷积网络(即u-net convolutional networks for biomedical image segmentation)。
47.可选地，请参见图2，图2示出了本技术实施例提供的一种初级模型(或者称为初级图像恢复模型)的结构示意图。如图2所示，该初级模型是由初级编码器和初级解码器两部分组成。其中，初级编码器是由多个下采样层组成的，以及初级解码器是由多个上采样层组成的，以及初级编码器的下采样层的总层数和初级解码器的上采样层的总层数是一样的。
48.应理解，初级模型中上采样层的具体层数、下采样层的具体层数、上采样所使用的卷积核和下采样所使用的卷积核等均可根据实际需求来进行设置，本技术实施例并不局限于此。
49.例如，该初级编码器可以是包含4次下采样层，对应的该初级解码器也可以是包含4个上采样层的。也就是说，该初级模型可以是包含4次下采样操作和4次上采样操作。其中，该下采样操作可以是通过使用卷积核大小为4和步长为2的卷积来完成的，以及该上采样操作可以是通过使用卷积核大小为2和步长为2的转置卷积来完成的。
50.还应理解，初级解码器中的上采样层输出的上采样特征可以是指初级解码器中每个上采样层输出的上采样特征。
51.还应理解，初级模型的训练过程可以根据实际需求来进行设置，本技术实施例并不局限于此。
52.为了便于理解本技术实施例，下面通过具体的实施例来进行描述。
53.具体地，将待恢复图像输入到预先训练好的初级模型中，以使初级模型对输入的待恢复图像进行图像恢复处理，以输出一个恢复图像。其中，在初级模型进行图像恢复处理的过程中，该图像恢复装置可采集初级解码器的每个上采样层输出的上采样特征。
54.步骤s130，分别将待恢复图像和上采样特征输入到预先训练好的次级模型中，以通过次级模型的次级编码器对待恢复图像的特征和上采样特征进行标准化处理，获得输出特征，以及通过次级模型的次级解码器对输出特征进行解码处理，获得恢复后的图像。
55.应理解，次级模型的具体模型和其具体结构等均可根据实际需求来进行设置，本技术实施例并不局限于此。
56.可选地，该次级模型可以是现有的语义分割模型。
57.例如，该次级模型是用于生物医学图像分割的u-net卷积网络(即u-net convolutional networks for biomedical image segmentation)。
58.这里需要说明的是，初级模型的模型结构和次级模型的模型结构实是相同的。
59.例如，初级模型的初级编码器的下采样层的结构和次级模型的次级编码器的下采样结构是相同的，以及初级模型的初级解码器的上采样层的结构和次级模型的次级编码器的上采样层的结构也是相同的(例如，可参见图3)。
60.可选地，请参见图3，图3示出了本技术实施例提供的一种双阶段图像恢复模型的结构示意图。如图3所示，该双阶段图像恢复模型包括次级模型(或者称为次级图像恢复模型)和如图2所示的初级模型。其中，该次级模型也是由次级编码器和次级解码器两部分构成的，以及，该次级编码器是由多个下采样层(例如，n个下采样层)组成的，以及次级解码器是由多个上采样层(例如，n个上采样层)组成的，以及次级编码器的下采样层的总层数和初级编码器的下采样的总层数均是一样的，以及次级解码器的上采样的总层数和初级解码器的上采样的总层数也是一样的。
61.对应地，次级模型中上采样层的具体层数、下采样层的具体层数、上采样所使用的卷积核和下采样所使用的卷积核等均是与初级模型类似的，具体可参见初级模型的相关描述，在此不再重复赘述。
62.应理解，无论是初级模型中的上采样层或者下采样层，还是次级模型中的上采样层或者下采样层，其均是包括多个残差层(即resblock)的。
63.这里需要说明的是，次级模型的具体结构和初级模型的具体结构是类似的，不同的地方在于，次级模型的下采样层中的残差层是包含嵌入在残差层中的标准化处理层的，而初级模型的下采样层中的残差层是不包含标准化处理层的。
64.应理解，标准化处理层还可以称为自适应实例标准化层(即adaptive instance normalization block，ain block)等，本技术实施例并不局限于此。
65.这里还需要说明的是，将上采样特征输入到预先训练好的次级模型中可以是指分别将多个上采样层中每个上采样层输出的上采样特征输入到对应的下采样层的第一残差层中，其中，每个上采样层的上采样倍数和每个上采样层对应的下采样层的下采样倍数相同。也就是说，初级模型中的每个上采样层是与次级模型中的一个下采样层是对应的。
66.例如，如图3所示，在初级模型包含n个上采样层以及次级模型包含n个下采样层的情况下，初级模型的第1个上采样层(即最靠近初级编码器的一个上采层)与次级模型的第n个下采样层(即最靠近初级解码器的一个下采样层)对应(即初级模型的第1个上采样层的上采样倍数和次级模型的第n个下采样层的下采样倍数是相同的)，以及初级模型的第2个上采样层(即临近第1个上采样层的上采样层)与次级模型的第n-1个下采样层(即临近第n个下采样层的下采样层)对应(即初级模型的第2个上采样层的上采样倍数和次级模型的第n-1个下采样层的下采样倍数是相同的)，以及初级模型的第3个上采样层(即临近第2个上采样层的上采样层)与次级模型的第n-2个下采样层(即临近第n-1个下采样层的下采样层)对应(即初级模型的第3个上采样层的上采样倍数和次级模型的第n-2个下采样层的下采样倍数相同)，以此类推，可确定初级模型中的每个上采样层均具有次级模型中的一个下采样层。从而，不同上采样层输出的上采样特征可以看作不同阶段的特征，其相比于通过对单一阶段的特征的插值取得，其更有利于模型的训练的稳定性。
67.应理解，虽然每个下采样层是包含多个串联的残差层的，但是，上述第一残差层可以是多个串联的残差层的首个残差层，也可以是多个串联的残差层中任意一个残差层。也就是说，该标准化处理层可以是设置在当前下采样层的首个残差层中，也可以设置在当前下采样层的每个残差层中。
68.为了便于理解标准化处理层，下面通过具体地实施例来进行描述。
69.请参见图4，图4示出了本技术实施例提供的一种残差层的结构示意图。如图4所示，该残差层是包含两路输出的，其中一路是经过一层卷积层、一层激活函数层、一层标准化处理层、一层卷积层和一层激活函数层获得输出，另外一路是经过一层卷积层和一层激活函数层获得输出，最后再将两路的输出进行叠加即可获得残差层的输出。
70.应理解，该残差层的输入可以是上一个残差模块的输出，也可以是待恢复图像等。
71.该应理解，该标准化处理层的具体过程可以根据实际需求来进行设置，本技术实施例并不局限于此。
72.可选地，该标准化处理层可获得获取中间特征，其中，中间特征是对待恢复图像的特征进行非线性处理后获得的(例如，在当前残差层的输入是待处理图像的情况下，该当前残差层可以通过其中一路的卷基层提取待处理图像的特征，随后利用下面的激活函数层对提取的特征进行非线性处理，以获得中间特征)。随后，该标准化处理层可对中间特征进行归一化处理，获得归一化结果，随后，该标准化处理层可根据第一残差层对应的上采样特征，获得仿射变换参数，仿射变换参数包括尺度缩放系数和偏移系数。随后，该标准化处理层可利用仿射变换参数对归一化结果进行仿射变换affine处理，获得仿射变换结果。最后，该标准化处理层可根据仿射变换结果，获得输出特征(例如，该标准化处理层的下一个卷积层可继续对仿射变换结果进行卷积等)。
73.应理解，该标准化处理层可对中间特征进行归一化处理可以是对中间特征在空间维度(h维度和w维度)做归一化操作，从而标准化处理比传统的实例规范化(instance normalization，in)做仿射变换操作的维度增加了h维和w维，这是为了让特征的每个元素有不同的响应范围，更有利于特征的表达。同时，标准化处理层也起到了两个模型间特征交互的作用，同时可以稳定训练。
74.应理解，该标准化处理层可利用仿射变换参数对归一化结果进行仿射变换处理，
获得仿射变换结果的具体过程也可根据实际需求来进行设置，本技术实施例并不局限于此。
75.可选地，请参见图5，图5示出了本技术实施例提供的一种标准化处理层的示意图。如图5所示，该标准化处理层包括用于对中间特征进行归一化处理的归一化层、用于根据第一残差层对应的上采样特征获得尺度缩放系数γ的第一卷积层和用于根据第一残差层对应的上采样特征获得偏移系数β的第二卷积层。
76.具体地，通过标准化处理层计算归一化结果和尺度缩放系数γ的乘积值，以及还可通过标准化处理层计算乘积值和偏移系数β的和值，并将和值作为仿射变换结果。
77.因此，本技术实施例通过初级模型输出的上采样特征生成仿射变换系数(即尺度缩放系数γ和偏移系数β)，从而使得空间上每个像素点都有不同程度的取值变化。
78.综上，本技术实施例通过初级模型和次级模型来实现图像恢复，从而可以在整体网络参数量和计算量不大的情况下取得卓越的性能。
79.此外，本技术实施例可以比现有公开算法在图像降噪任务中取得更好的性能，同时拥有更快的推理速度。
80.应理解，上述图像恢复方法仅是示例性的，本领域技术人员根据上述的方法可以进行各种变形，修改或变形之后的内容也在本技术保护范围内。
81.请参见图6，图6示出了本技术实施例提供的一种图像恢复装置600的结构框图，应理解，该图像恢复装置600与上述方法实施例对应，能够执行上述方法实施例的各个步骤，该图像恢复装置600具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该图像恢复装置600包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在图像恢复装置600的操作系统(operating system，os)中的软件功能模块。具体地，该图像恢复装置600包括：
82.获取模块610，用于获取待恢复图像；
83.第一输入模块620，用于将待恢复图像输入到预先训练好的初级模型中，获得初级模型的初级解码器中的上采样层输出的上采样特征；
84.第二输入模块630，用于分别将待恢复图像和上采样特征输入到预先训练好的次级模型中，以通过次级模型的次级编码器对待恢复图像的特征和上采样特征进行标准化处理，获得输出特征，以及通过次级模型的次级解码器对输出特征进行解码处理，获得恢复后的图像。
85.在一个可能的实施例中，初级解码器包括多个上采样层，次级编码器包括多个下采样层，并且多个下采样层中每个下采样层均包括第一残差层；第二输入模块630，具体用于分别将多个上采样层中每个上采样层输出的上采样特征输入到对应的下采样层的第一残差层中，其中，每个上采样层的上采样倍数和每个上采样层对应的下采样层的下采样倍数相同。
86.在一个可能的实施例中，每个下采样层均包括依次连接的多个残差层；第一残差层为多个残差层中的首个残差层，或者第一残差层为多个残差层中任意一个残差层。
87.在一个可能的实施例中，第二输入模块630，具体用于：获取中间特征；其中，中间特征是对待恢复图像的特征进行非线性处理后获得的；对中间特征进行归一化处理，获得归一化结果；根据第一残差层对应的上采样特征，获得仿射变换参数；利用仿射变换参数对
归一化结果进行仿射变换处理，获得仿射变换结果；根据仿射变换结果，获得输出特征。
88.在一个可能的实施例中，仿射变换参数包括尺度缩放系数和偏移系数，第一残差层包括第一卷积层和第二卷积层，第一卷积层用于根据第一残差层对应的上采样特征，获得尺度缩放系数，第二卷积层用于根据第一残差层对应的上采样特征，获得偏移系数。
89.在一个可能的实施例中，第二输入模块630，具体用于：计算归一化结果和尺度缩放系数的乘积值；计算乘积值和偏移系数的和值，并将和值作为仿射变换结果。
90.在一个可能的实施例中，初级模型的模型结构和次级模型的模型结构相同。
91.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
92.请参见图7，图7示出了本技术实施例提供的一种电子设备700的结构框图。电子设备700可以包括处理器710、通信接口720、存储器730和至少一个通信总线740。其中，通信总线740用于实现这些组件直接的连接通信。其中，本技术实施例中的通信接口720用于与其他设备进行信令或数据的通信。处理器710可以是一种集成电路芯片，具有信号的处理能力。上述的处理器710可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器710也可以是任何常规的处理器等。
93.存储器730可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。存储器730中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器710执行时，电子设备700可以执行上述方法实施例中的各个步骤。
94.电子设备700还可以包括存储控制器、输入输出单元、音频单元、显示单元。
95.所述存储器730、存储控制器、处理器710、外设接口、输入输出单元、音频单元、显示单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线740实现电性连接。所述处理器710用于执行存储器730中存储的可执行模块。并且，电子设备700用于执行下述方法：获取待恢复图像；将待恢复图像输入到预先训练好的初级模型中，获得初级模型的初级解码器中的上采样层输出的上采样特征；分别将待恢复图像和上采样特征输入到预先训练好的次级模型中，以通过次级模型的次级编码器对待恢复图像的特征和上采样特征进行标准化处理，获得输出特征，以及通过次级模型的次级解码器对输出特征进行解码处理，获得恢复后的图像。
96.输入输出单元用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。
97.音频单元向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
98.显示单元在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显
示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。
99.可以理解，图7所示的结构仅为示意，所述电子设备700还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
100.本技术还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行方法实施例所述的方法。
101.本技术还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
102.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
103.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
104.本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
105.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
106.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括
没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
107.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
108.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。