图像复原方法、装置、电子设备及计算机存储介质

1.本技术涉及图像处理与计算机视觉领域，尤其涉及一种图像复原方法、装置、电子设备及计算机存储介质。


背景技术：

2.单幅图像超分辨率旨在从低分辨率图像中恢复高分辨率图像。随着深度学习的发展，已经提出了许多超分辨率方法。其中大多数超分辨率方法是通过测量超分辨率图像和高分辨率图像之间的像素距离的均方误差来优化的。然而，上述优化方法通常产生具有高峰值信噪比的模糊图像。最近，旨在恢复照片级逼真图像的方法如srgan、enhancenet、esrgan和natsr利用了生成对抗网络，虽然基于生成对抗的方法可以生成高保真的超分辨率结果，但是生成尖锐边缘和精细纹理的同时也会产生几何失真。


技术实现要素：

3.本技术提供一种图像复原方法、装置、电子设备及计算机存储介质，旨在提升低分辨率图像的复原质量。
4.第一方面，本技术提供一种图像复原方法，包括：
5.通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像；
6.通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像；
7.通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图；
8.将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像。
9.在一个实施例中，所述将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像，包括：
10.将所述最终纹理复原图像和所述最终重建特征图按位元素累加进行合并，再通过激活函数得到第一目标图像；
11.对所述第一目标图像进行门限概率计算，得到所述最终纹理复原图像在输出图中的第一比例图；
12.将所述最终重建特征图与所述第一比例图按元素相乘后再加上所述最终纹理复原图像，得到最终融合纹理图；
13.将所述最终梯度复原图像和所述最终重建特征图按位元素累加进行合并，再通过所述激活函数得到第二目标图像；
14.对所述第二目标图像进行门限概率计算，得到所述最终梯度复原图像在输出图中的第二比例图；
15.将所述最终梯度复原图像与所述第二比例图按元素相乘后再加上所述最终梯度
复原图像，得到最终融合梯度图；
16.将所述最终重建特征图、所述最终融合纹理图和所述最终融合梯度图按照维度进行融合，得到所述复原图像。
17.所述通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图，包括：
18.通过特征提取卷积层对所述输入图像进行特征提取，得到待处理特征图；
19.通过所述主干网络中的多个残差密集块依次对所述待处理特征图进行特征重建，得到目标特征图，并将所述目标特征图和所述待处理特征图进行相加，得到最终特征图；
20.通过上采样模块对所述最终特征图进行上采样，得到上采样特征图，并通过所述特征复原模块对所述上采样特征图进行处理，得到所述最终重建特征图。
21.所述通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像，包括：
22.通过纹理卷积核模块对所述输入图像进行纹理编码，得到待处理纹理图像；
23.通过融合模块将所述输入图像的灰度图像与所述待处理纹理图像进行按位元素累加，得到最终输入纹理图像；
24.将所述最终输入纹理图像输入至所述纹理分支网络中，并通过所述纹理分支网络中的多个残差密集块对所述最终输入纹理图像进行特征重建，输出所述最终纹理复原图像。
25.所述通过纹理卷积核模块对所述输入图像进行纹理编码，得到待处理纹理图像，包括：
26.通过所述纹理卷积核模块对所述输入图像及其多个纹理特征卷积核进行卷积，得到多个卷积后的纹理特征；
27.将多个所述卷积后的纹理特征乘以其对应的系数后进行累加，得到所述待处理纹理图像。
28.所述通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像，包括：
29.通过梯度卷积模块对所述输入图像进行梯度编码，得到待处理梯度图像；
30.将所述待处理梯度图像输入至所述梯度分支网络中，并通过所述梯度分支网络中的多个残差密集块对所述待处理梯度图像进行特征重建，输出所述最终梯度复原图像。
31.所述通过梯度卷积模块对所述输入图像进行梯度编码，得到待处理梯度图像，包括：
32.通过所述梯度卷积模块对所述输入图像及其多个梯度特征卷积核进行卷积，得到多个卷积后的梯度特征；
33.将多个所述卷积后的梯度特征进行相加，得到所述待处理梯度图像。
34.第二方面，本技术提供一种图像复原装置包括：
35.纹理编码模块，用于通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像；
36.梯度编码模块，用于通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像；
37.超分辨率处理模块，用于通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图；
38.图像融合模块，用于将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像。
39.第三方面，本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述图像复原方法。
40.第四方面，本技术还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述图像复原方法。
41.第五方面，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述图像复原方法。
42.本技术提供的图像复原方法、装置、电子设备及计算机存储介质，在图像复原的过程中，不仅将低分辨率图像的分辨率进行了超分辨率处理，同时还复原了低分辨率图像中的纹理细节和梯度细节，即保留了低分辨率图像中的纹理信息和梯度信息，使得在图像超分辨率复原的过程中，保留了纹理信息和梯度信息，实现低分辨率图像的逼真还原，进而提升了低分辨率图像的复原质量。
附图说明
43.为了更清楚地说明本技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本技术提供的图像复原方法的流程示意图；
45.图2是本技术提供的纹理推理模块的结构示意图；
46.图3是本技术提供的梯度推理模块的结构示意图；
47.图4是本技术提供的超分辨率推理模块的结构示意图；
48.图5是本技术提供的融合模块的结构示意图；
49.图6是本技术提供的图像复原装置的结构示意图；
50.图7是本技术提供的电子设备的结构示意图。
具体实施方式
51.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.结合图1至图7描述本技术提供的图像复原方法、装置、电子设备及计算机存储介质。图1是本技术提供的图像复原方法的流程示意图；图2是本技术提供的纹理推理模块的结构示意图；图3是本技术提供的梯度推理模块的结构示意图；图4是本技术提供的超分辨
率推理模块的结构示意图；图5是本技术提供的融合模块的结构示意图；图6是本技术提供的图像复原装置的结构示意图；图7是本技术提供的电子设备的结构示意图。
53.本技术实施例提供了图像复原方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
54.本技术实施例以电子设备作为执行主体进行举例，本技术实施例以图像复原装置作为电子设备的表现形式之一，并不进行限制。
55.参照图1，图1是本技术提供的图像复原方法的流程示意图。本技术实施例提供的图像复原方法包括：
56.步骤s10，通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像。
57.需要说明的是，图像复原装置中包括但不限制于纹理推理模块、梯度推理模块、超分辨率推理模块和融合模块，其中，纹理推理模块包括纹理卷积核模块(纹理编码模块)、融合模块、纹理分支网络和结果输出模块；梯度推理模块包括梯度卷积核模块(梯度编码模块)、梯度分支网络和结果输出模块；超分辨率推理模块包括特征提取层、主干网络、上采样模块、特征复原模块和结果输出模块；主干网络、纹理分支网络和梯度分支网络中都有多个残差密集块，残差密集块都数量根据实际情况设定。
58.进一步地，图像复原装置计算输入图像的纹理特征，并对纹理特征进行复原，其中，输入图像的分辨率不满足预设分辨率的图像，预设分辨率根据实际情况设定，可以理解为，输入图像为低分辨率图像。具体为：图像复原装置通过纹理编码模块对输入图像(低分辨率图像)进行纹理编码，同时结合纹理分支网络对纹理编码后的输入图像进行纹理复原，再通过结果输出模块输出该输入图像的最终纹理复原图像，具体如步骤s101至步骤s103所述。
59.进一步地，步骤s101至步骤s103的描述如下：
60.步骤s 101，通过纹理卷积核模块对所述输入图像进行纹理编码，得到待处理纹理图像；
61.步骤s102，通过融合模块将所述输入图像的灰度图像与所述待处理纹理图像进行按位元素累加，得到最终输入纹理图像；
62.步骤s103，将所述最终输入纹理图像输入至所述纹理分支网络中，并通过所述纹理分支网络中的多个残差密集块对所述最终输入纹理图像进行特征重建，输出所述最终纹理复原图像。
63.具体结合图2进行分析，图2是本技术提供的纹理推理模块的结构示意图。图像复原装置将输入图像(低分辨率图像)i
input
输入至纹理卷积核模块(纹理编码模块)f
encoder
中，通过纹理卷积核模块f
encoder
对输入图像i
input
进行编码，得到待处理纹理图像i
texture
，输入图像i
input
的编码过程可表示为i
texture
＝f
encoder
(i
input
)。
64.进一步地，图像复原装置将输入图像i
input
的灰度图像i
gray
和待处理纹理图像i
texture
输入至融合模块，其中，融合模块的作用是将2张图像矩阵进行按位元素累加。因此可理解为：图像复原装置将输入图像i
input
的灰度图像i
gray
和待处理纹理图像i
texture
输入至融合模块，通过融合模块将灰度图像i
gray
和待处理纹理图像i
texture
进行按位元素累加，得到最终输入纹理图像i
input_texture
。
65.进一步地，图像复原装置将最终输入纹理图像i
input_texture
输入至纹理分支网络中，通过纹理分支网络中的多个残差密集块对最终输入纹理图像i
input_texture
进行特征重建，其中，每个残差密集块包含但不限制于5个卷积层和5个relu激活层，5个卷积层中卷积核大小均为3*3，步长均为2。需要说明的是，每个残差密集块中都加入i
feature5
、i
feature10
、i
feature15
和i
feature20
，用以辅助纹理特征的重建。i
feature5
、i
feature10
、i
feature15
和i
feature20
是主干超分辨率网络(主干网络)生成的重建特征图。最后一个残差密集块的输出i
output_texture
即为最终纹理复原图像，并通过结果输出模块输出最终纹理复原图像i
output_texture
。
66.本技术实施例通过纹理推理模块对输入图像进行处理，输出最终纹理复原图像，从而保留了输出最终纹理复原图像。
67.进一步地，步骤s1011至步骤s1012的描述如下：
68.步骤s1011，通过所述纹理卷积核模块对所述输入图像及其多个纹理特征卷积核进行卷积，得到多个卷积后的纹理特征；
69.步骤s1012，将多个所述卷积后的纹理特征乘以其对应的系数后进行累加，得到所述待处理纹理图像。
70.具体地，通过纹理卷积核模块f
encoder
分别对输入图像及其多个纹理特征卷积核进行卷积，得到多个卷积后的纹理特征。进一步地，将多个卷积后的纹理特征乘以其对应的系数后进行累加，得到待处理纹理图像i
texture
。
71.在一实施例中，输入图像i
input
的纹理特征卷积核的数量为8，因此可以理解为：纹理卷积核模块f
encoder
分别对输入图像i
input
及其8个不同的纹理特征卷积核进行卷积，得到8个卷积后的纹理特征，其中，8个不同的纹理特征卷积核如下所示：
72.纹理特征卷积核1为：纹理特征卷积核2为：纹理特征卷积核3为：纹理特征卷积核4为：纹理特征卷积核5为：纹理特征卷积核6为：纹理特征卷积核7为：纹理特征卷积核8为：进一步地，将8个卷积后的纹理特征乘以其对应的系数后进行累加，得到待处理纹理图像i
texture
。
73.本技术实施例通过纹理卷积核模块对输入图像进行处理，为输出最终纹理复原图像提供数据基础，从而保留了图像中的纹理细节。
74.步骤s20，通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像。
75.图像复原装置计算输入图像i
input
的梯度特征，并对梯度特征进行复原，具体为：图像复原装置通过梯度编码模块对输入图像i
input
(低分辨率图像)进行梯度编码，同时结合梯度分支网络对梯度编码后的输入图像i
input
进行梯度复原，再通过结果输出模块输出该输入
图像i
input
的最终梯度复原图像，具体如步骤s201至步骤s202所述。
76.进一步地，步骤s201至步骤s202的描述如下：
77.步骤s201，通过梯度卷积模块对所述输入图像进行梯度编码，得到待处理梯度图像；
78.步骤s202，将所述待处理梯度图像输入至所述梯度分支网络中，并通过所述梯度分支网络中的多个残差密集块对所述待处理梯度图像进行特征重建，输出所述最终梯度复原图像。
79.具体结合图3进行分析，图3是本技术提供的梯度推理模块的结构示意图。图像复原装置将输入图像i
input
输入至梯度卷积核模块(梯度编码模块)g
encoder
中，通过梯度卷积核模块g
encoder
对输入图像i
input
进行编码，得到待处理梯度图像i
input_gradient
，输入图像i
input
的编码过程可表示为i
input_gradient
＝g
encoder
(i
input
)。
80.进一步地，图像复原装置将待处理梯度图像i
input_gradient
输入至梯度分支网络中，通过梯度分支网络中的多个残差密集块对待处理梯度图像i
input_gradient
进行特征重建，其中，每个残差密集块包含但不限制于5个卷积层和5个relu激活层，5个卷积层中卷积核的大小均为3*3，步长均为2。需要说明的是，每个残差密集块中都加入i
feature5
、i
feature10
、i
feature15
和i
feature20
，用以辅助梯度特征的重建。i
feature5
、i
feature10
、i
feature15
和i
feature20
是主干超分辨率网络(主干网络)生成的重建特征图。最后一个残差密集块的输出i
output_gradient
即为最终梯度复原图像，并通过结果输出模块输出最终梯度复原图像i
output_gradient
。
81.本技术实施例通过梯度推理模块对输入图像进行处理，输出最终梯度复原图像，从而保留了输出最终梯度复原图像。
82.进一步地，步骤s2011至步骤s2012的描述如下：
83.步骤s2011，通过所述梯度卷积模块对所述输入图像及其多个梯度特征卷积核进行卷积，得到多个卷积后的梯度特征；
84.步骤s2012，将多个所述卷积后的梯度特征进行相加，得到所述待处理梯度图像。
85.具体地，通过梯度卷积核模块g
encoder
分别对输入图像及其多个梯度特征卷积核进行卷积，得到多个卷积后的梯度特征。进一步地，将多个卷积后的梯度特征进行相加，得到待处理梯度图像i
input_gradient
。
86.在一实施例中，输入图像i
input
的梯度特征卷积核的数量为2，因此可以理解为：梯度卷积核模块g
encoder
分别对输入图像i
input
及其2个不同的梯度特征卷积核进行卷积，得到2个卷积后的梯度特征，其中，2个不同的梯度特征卷积核如下所示：
87.梯度特征卷积核1为：梯度特征卷积核2为：进一步地，将2个卷积后的梯度特征进行相加，得到待处理梯度图像i
input_gradient
。
88.本技术实施例通过梯度卷积核模块对输入图像进行处理，为输出最终梯度复原图像提供数据基础，从而保留了图像中的梯度细节。
89.步骤s30，通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图。
90.进一步地，通过主干网络对输入图像i
input
进行超分辨率处理，输出最终重建特征图i
feature_final
，具体结合图4进行分析，图4是本技术提供的超分辨率推理模块的结构示意
图。将输入图像输入至特征提取卷积层，通过特征提取卷积层对输入图像进行特征提取，得到待处理特征图；通过主干网络中的多个残差密集块依次对待处理特征图进行特征重建，得到目标特征图，并将目标特征图和待处理特征图进行相加，得到最终特征图；通过上采样模块对最终特征图进行上采样，得到上采样特征图，并通过特征复原模块对上采样特征图进行处理，得到最终重建特征图。
91.具体地，在一实施例中，主干网络中包括23个残差密集块，因此可以理解为：通过一个卷积核的大小为3*3，步长为1的特征提取卷积层对输入图像i
input
提取图像特征，得到待处理特征图i
feature1
。
92.进一步地，将待处理特征图i
feature1
输入主干网络的第一个残差密集块中进行特征重建，每个残差密集块中包含5个卷积核的大小为3*3，步长为2的卷积层和5个relu激活层，得到待处理特征图i
feature2
。进一步地，将待处理特征图i
feature2
输入主干网络的第二个残差密集块中进行特征重建，得到待处理特征图i
feature3
。进一步地，将待处理特征图i
feature3
输入主干网络的第三个残差密集块中进行特征重建，得到待处理特征图i
feature4
。依次进行，直至将待处理特征图i
feature23
输入主干网络的第二十三个残差密集块中进行特征重建，得到目标特征图i
feature24
。
93.进一步地，将待处理特征图i
feature1
与目标特征图i
feature24
进行相加，得到最终特征图i
feature
。进一步地，通过上采样模块对最终特征图i
feature
进行上采样，得到上采样特征图i
upsample
，随后经过2个卷积核的大小为3*3，步长为1的特征复原模块对上采样特征图i
upsample
进行处理，得到最终重建特征图i
feature_final
。
94.步骤s40，将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像。
95.进一步地，将超分辨率推理模块得到的最终重建特征图i
feature_final
、纹理推理模块得到的最终纹理复原图像i
output_texture
和梯度推理模块得到的最终梯度复原图像i
output_gradient
进行特征融合，得到携带有纹理信息和梯度信息的高分辨率复原图像。具体结合图5进行分析，图5是本技术提供的融合模块的结构示意图。将最终纹理复原图像i
output_texture
和最终重建特征图i
feature_final
输入至合并模块中，通过合并模块将最终纹理复原图像i
output_texture
和最终重建特征图i
feature_final
按位元素累加进行合并，再通过激活函数得到第一目标图像i1；对第一目标图像i1进行门限概率计算，得到最终纹理复原图像i
output_texture
在输出图中的第一比例图i
texture_percentage
；将最终重建特征图i
feature_final
与第一比例图i
texture_percentage
按元素相乘后再加上最终纹理复原图像i
output_texture
，得到最终融合纹理图i
texture_mix
。
96.将最终梯度复原图像i
output_gradient
和最终重建特征图i
feature_final
输入至合并模块中，通过合并模块将最终梯度复原图像i
output_gradient
和最终重建特征图i
feature_final
按位元素累加进行合并，再通过激活函数得到第二目标图像i2；对第二目标图像i2进行门限概率计算，得到最终梯度复原图像i
output_gradient
在输出图中的第二比例图i
texture_percentage
；将最终梯度复原图像i
feature_final
与第二比例图i
gradient_percentage
按元素相乘后再加上最终梯度复原图像i
output_gradient
，得到最终融合梯度图i
gradient_mix
。
97.将最终重建特征图i
feature_final
、最终融合纹理图i
texture_mix
和最终融合梯度图i
gradient_mix
按照维度进行融合，得到复原图像i
sr
。
98.进一步地，对于最终纹理复原图像i
output_texture
：将最终重建特征图i
feature_final
和最终纹理复原图像i
output_texture
输入至合并模块中，通过合并模块将最终重建特征图i
feature_final
和最终纹理复原图像i
output_texture
按位元素累加进行合并，再经过一层relu激活函数，得到第一目标图像i1。进一步地，对第一目标图像i1进行门限概率计算，具体操作是将第一目标图像i1经过一层sigmoid函数，将第一目标图像i1中的数值限制到(0，1)之间，得到最终纹理复原图像i
output_texture
在输出图中应占的比例图i
texture_percentage
。进一步地，将最终重建特征图i
feature_final
和比例图i
texture_percentage
按元素相乘后，再加上最终纹理复原图像i
output_texture
，得到最终用以融合的最终融合纹理图i
texture_mix
。
99.进一步地，对于最终梯度复原图像i
output_gradient
：将最终重建特征图i
feature_final
和最终梯度复原图像i
output_gradient
输入至合并模块中，通过合并模块将最终重建特征图i
feature_final
和最终梯度复原图像i
output_gradient
按位元素累加进行合并，再经过一层relu激活函数，得到第二目标图像i2。进一步地，对第二目标图像i2进行门限概率计算，具体操作是将第二目标图像i2经过一层sigmoid函数，将第二目标图像i2中的数值限制到(0，1)之间，得到最终梯度复原图像i
output_gradient
在输出图中应占的比例图i
gradient_percentage
。进一步地，将最终重建特征图i
feature_final
和比例图i
gradient_percentage
按元素相乘后，再加上最终梯度复原图像i
output_gradient
得到最终用以融合的最终融合梯度图i
gradient_mix
。
100.进一步地，将最终重建特征图i
feature_final
、最终融合纹理图i
texture_mix
和最终融合梯度图i
gradient_mix
按照维度进行融合，得到复原图像i
sr
。
101.本技术实施例提供的图像复原方法，在图像复原的过程中，不仅将低分辨率图像的分辨率进行了超分辨率处理，同时还复原了低分辨率图像中的纹理细节和梯度细节，即保留了低分辨率图像中的纹理信息和梯度信息，使得在图像超分辨率复原的过程中，保留了纹理信息和梯度信息，实现低分辨率图像的逼真还原，进而提升了低分辨率图像的复原质量。
102.进一步地，下对本技术提供的图像复原装置进行描述，图像复原装置与图像复原方法可相互对应参照。
103.如图6所示，图6是本技术提供的图像复原装置的结构示意图，图像复原装置包括：
104.纹理编码模块601，用于通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像；
105.梯度编码模块602，用于通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像；
106.超分辨率处理模块603，用于通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图；
107.图像融合模块604，用于将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像。
108.进一步地，纹理编码模块601还用于：
109.通过纹理卷积核模块对所述输入图像进行纹理编码，得到待处理纹理图像；
110.通过融合模块将所述输入图像的灰度图像与所述待处理纹理图像进行按位元素累加，得到最终输入纹理图像；
111.将所述最终输入纹理图像输入至所述纹理分支网络中，并通过所述纹理分支网络
中的多个残差密集块对所述最终输入纹理图像进行特征重建，输出所述最终纹理复原图像。
112.进一步地，纹理编码模块601还用于：
113.通过所述纹理卷积核模块对所述输入图像及其多个纹理特征卷积核进行卷积，得到多个卷积后的纹理特征；
114.将多个所述卷积后的纹理特征乘以其对应的系数后进行累加，得到所述待处理纹理图像。
115.进一步地，梯度编码模块602还用于：
116.通过梯度卷积模块对所述输入图像进行梯度编码，得到待处理梯度图像；
117.将所述待处理梯度图像输入至所述梯度分支网络中，并通过所述梯度分支网络中的多个残差密集块对所述待处理梯度图像进行特征重建，输出所述最终梯度复原图像。
118.进一步地，梯度编码模块602还用于：
119.通过所述梯度卷积模块对所述输入图像及其多个梯度特征卷积核进行卷积，得到多个卷积后的梯度特征；
120.将多个所述卷积后的梯度特征进行相加，得到所述待处理梯度图像。
121.进一步地，超分辨率处理模块603还用于：
122.通过特征提取卷积层对所述输入图像进行特征提取，得到待处理特征图；
123.通过所述主干网络中的多个残差密集块依次对所述待处理特征图进行特征重建，得到目标特征图，并将所述目标特征图和所述待处理特征图进行相加，得到最终特征图；
124.通过上采样模块对所述最终特征图进行上采样，得到上采样特征图，并通过所述特征复原模块对所述上采样特征图进行处理，得到所述最终重建特征图。
125.进一步地，图像融合模块604还用于：
126.将所述最终纹理复原图像和所述最终重建特征图按位元素累加进行合并，再通过激活函数得到第一目标图像；
127.对所述第一目标图像进行门限概率计算，得到所述最终纹理复原图像在输出图中的第一比例图；
128.将所述最终重建特征图与所述第一比例图按元素相乘后再加上所述最终纹理复原图像，得到最终融合纹理图；
129.将所述最终梯度复原图像和所述最终重建特征图按位元素累加进行合并，再通过所述激活函数得到第二目标图像；
130.对所述第二目标图像进行门限概率计算，得到所述最终梯度复原图像在输出图中的第二比例图；
131.将所述最终梯度复原图像与所述第二比例图按元素相乘后再加上所述最终梯度复原图像，得到最终融合梯度图；
132.将所述最终重建特征图、所述最终融合纹理图和所述最终融合梯度图按照维度进行融合，得到所述复原图像。
133.本技术提供的图像复原装置的具体实施例与上述图像复原方法各实施例基本相同，在此不作赘述。
134.图7示例了一种电子设备的实体结构示意图，如图7所示，电子设备可以包括：处理
器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行图像复原方法，该方法包括：
135.通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像；
136.通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像；
137.通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图；
138.将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像。
139.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
140.另一方面，本技术还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像复原方法，该方法包括：
141.通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像；
142.通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像；
143.通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图；
144.将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像。
145.又一方面，本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图像复原方法，该方法包括：
146.通过纹理编码模块对输入图像进行纹理编码，并结合纹理分支网络对编码后的输入图像进行纹理复原，输出最终纹理复原图像；
147.通过梯度编码模块对所述输入图像进行梯度编码，并结合梯度分支网络对编码后的输入图像进行梯度复原，输出最终梯度复原图像；
148.通过主干网络对所述输入图像进行超分辨率处理，输出最终重建特征图；
149.将所述最终纹理复原图像、所述最终梯度复原图像和所述最终重建特征图进行融合，得到携带有纹理信息和梯度信息的复原图像。
150.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
151.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
152.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。