图像重构方法、系统、终端设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像重构方法、系统、终端设备及存储介质。


背景技术：

2.现实生活中存在大量人脸图像，包括互联网传播的网络图像、各种影像设备拍摄的图像，因种种原因，比如，失焦、抖动、高度压缩、夜景强噪点等，导致人脸图像存在大量失真的情况。对失真图像进行图像重构在现实生活中具有重要意义，比如，修复被损坏的图像、制作高清证件照、安防领域还原嫌疑人人脸细节等。
3.现有的图像重构过程中，重构后的图像与原图像之间差异较大，降低了图像重构的准确性。


技术实现要素：

4.本发明实施例的目的在于提供一种图像重构方法、系统、终端设备及存储介质，旨在解决现有的图像重构过程中，重构后的图像与原图像之间差异较大的问题。
5.本发明实施例是这样实现的，一种图像重构方法，所述方法包括：
6.将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量；
7.将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，并将所述图像特征输入所述生成器进行图像生成，得到生成图像；
8.将所述生成图像输入所述生成式对抗网络中的判别器进行真伪识别，并根据真伪识别结果进行损失计算，得到损失值；
9.根据所述损失值分别对所述隐向量编码网络、所述生成器和所述判别器进行参数更新，直至所述隐向量编码网络、所述生成器和所述判别器收敛；
10.将待重构图像输入收敛后的所述隐向量编码网络进行特征提取，得到目标隐向量，并将所述目标隐向量输入收敛后的所述生成器进行图像生成，得到重构图像。
11.更进一步的，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量，包括：
12.将所述样本图像输入所述隐向量编码网络分别进行全局均值池化、全局最大值池化和卷积处理，得到第一下采样特征、第二下采样特征和第一卷积特征；
13.对所述第二下采样特征进行下采样，得到第三下采样特征，并分别将所述第一下采样特征和所述第三下采样特征输入所述隐向量编码网络中的全连接层进行特征映射，得到第一映射特征和第二映射特征；
14.根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量；
15.其中，所述抽象特征包括所述第一下采样特征、所述第二下采样特征和所述第三
下采样特征。
16.更进一步的，所述根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量，包括：
17.分别对所述第一映射特征和所述第二映射特征进行归一化处理，得到第一归一化特征和第二归一化特征；
18.将所述第一归一化特征、所述第二归一化特征和所述第一卷积特征进行相加运算，得到全局特征，并对所述全局特征进行卷积处理，得到所述样本隐向量。
19.更进一步的，所述将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，包括：
20.将所述样本隐向量输入所述生成器进行上采样，得到上采样特征；
21.将所述第一下采样、所述第二下采样特征和所述第三下采样特征，分别融合至对应指定采样次数中的上采样特征中，并将所述生成器的上采样结果确定为所述图像特征。
22.更进一步的，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取之前，还包括：
23.分别对所述样本图像进行图像压缩模拟、图像噪点模拟和图像模糊模拟；
24.对所述样本图像进行图像压缩模拟所采用的公式为：
25.image2＝jpegcompress(image1，uniform(30，60))
26.其中，image1是所述样本图像，image2是图像压缩模拟后的样本图像，uniform(30，60))表示随机选一个30
‑
60之间的数作为压缩率；
27.对所述样本图像进行图像噪点模拟所采用的公式为：
28.image3＝image1+gaussian(mean，sigma)
29.其中，image3是图像噪点模拟后的样本图像，mean为高斯分布的均值，随机取
‑
10至10之间的数，sigma为高斯分布的方差，随机取5至15之间的数；
30.对所述样本图像进行图像模糊模拟所采用的公式为：
31.image4＝blur(image1)
32.其中，image4是图像模糊模拟后的样本图像，blur为随机选高斯模糊、均值模糊或中值模糊。
33.更进一步的，所述生成式对抗网络中的噪声模型为：
34.image6＝image5+norm(α)
norm(α)
*normal()
35.其中，norm为归一化运算，归一化为(0，1)，normal()为随机高斯噪声，α为学习参数，并且维度和normal()输出的噪声维度一致，image5是所述图像特征，image6是所述图像特征进行噪声添加后的输出特征。
36.更进一步的，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取之前，还包括：
37.对所述样本图像进行人脸点检测，得到人脸特征点序列，所述人脸特征点序列包括所述样本图像中不同人脸对应的人脸特征点；
38.对同一所述样本图像中的人脸特征点进行均值计算，得到均值特征点，并根据所述均值特征点与对应所述人脸特征点序列之间的对应关系，构建人脸变换矩阵，所述人脸变换矩阵用于表征所述均值特征点与对应所述人脸特征点序列之间的映射关系；
39.根据所述人脸变换矩阵对所述样本图像进行人脸裁剪处理。
40.本发明实施例的另一目的在于提供一种图像重构系统，所述系统包括：
41.隐向量提取模块，用于将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量；
42.图像生成模块，用于将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，并将所述图像特征输入所述生成器进行图像生成，得到生成图像；
43.损失计算模块，用于将所述生成图像输入所述生成式对抗网络中的判别器进行真伪识别，并根据真伪识别结果进行损失计算，得到损失值；
44.参数更新模块，用于根据所述损失值分别对所述隐向量编码网络、所述生成器和所述判别器进行参数更新，直至所述隐向量编码网络、所述生成器和所述判别器收敛；
45.图像重构模块，用于将待重构图像输入收敛后的所述隐向量编码网络进行特征提取，得到目标隐向量，并将所述目标隐向量输入收敛后的所述生成器进行图像生成，得到重构图像。
46.本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
47.本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
48.本发明实施例，通过将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量，并将抽象特征和样本隐向量输入生成式对抗网络中的生成器进行特征融合，使得能有效地对样本图像中的隐向量特征和全局特征进行融合，得到图像特征，基于特征融合后的图像特征，提高了生成图像和隐向量编码网络、生成器、判别器参数更新的准确性，通过对生成图像进行真伪识别，基于真伪识别结果能有效地计算到表征隐向量编码网络、生成器和判别器的误差的损失值，通过损失值分别对隐向量编码网络、生成器和判别器进行参数更新，提高了隐向量编码网络中隐向量编码的准确性，提高了生成器基于编码后的隐向量进行图像生成的准确性，防止了重构后的图像与原图像之间差异较大的现象，提高了图像重构的准确性，通过将待重构图像输入收敛后的隐向量编码网络进行特征提取得到目标隐向量，并将目标隐向量输入收敛后的生成器进行图像生成，能有效地得到待重构图像对应的重构图像。
附图说明
49.图1是本发明第一实施例提供的图像重构方法的流程图；
50.图2是本发明第二实施例提供的图像重构方法的流程图；
51.图3为图2实施例提供的隐向量编码网络中特征提取的结构示意图；
52.图4是本发明第三实施例提供的图像重构系统的结构示意图；
53.图5是本发明第四实施例提供的终端设备的结构示意图。
具体实施方式
54.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
55.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
56.实施例一
57.请参阅图1，是本发明第一实施例提供的图像重构方法的流程图，该图像重构方法可以应用与任一终端设备，该终端设备包括服务器、手机、平板或可穿戴智能设备等，该图像重构方法包括步骤：
58.步骤s10，将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量；
59.其中，该样本图像可以来源于任一图像数据库，该步骤中的样本图像来源于flickr
‑
faces
‑
high
‑
quality(flickr
‑
faces
‑
hq)开源数据集，通过将样本图像输入隐向量编码网络分别进行下采样和特征提取，以提取该样本图像中的抽象特征和样本隐向量，该步骤中，样本图像的数量可以根据需求进行设置，针对各样本图像，分别输入隐向量编码网络分别进行下采样和特征提取；
60.可选的，该步骤中，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取之前，还包括：
61.分别对所述样本图像进行图像压缩模拟、图像噪点模拟和图像模糊模拟；
62.对所述样本图像进行图像压缩模拟所采用的公式为：
63.image2＝jpegcompress(image1，uniform(30，60))
64.其中，image1是所述样本图像，image2是图像压缩模拟后的样本图像，uniform(30，60))表示随机选一个30
‑
60之间的数作为压缩率；
65.对所述样本图像进行图像噪点模拟所采用的公式为：
66.image3＝image1+gaussian(mean，sigma)
67.其中，image3是图像噪点模拟后的样本图像，mean为高斯分布的均值，随机取
‑
10至10之间的数，sigma为高斯分布的方差，随机取5至15之间的数；
68.对所述样本图像进行图像模糊模拟所采用的公式为：
69.image4＝blur(image1)
70.其中，image4是图像模糊模拟后的样本图像，blur为随机选高斯模糊、均值模糊或中值模糊。
71.更进一步地，本实施例中，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取之前，还包括：
72.对所述样本图像进行人脸点检测，得到人脸特征点序列；
73.其中，该人脸特征点序列包括样本图像中不同人脸对应的人脸特征点，该步骤中，对ffhq中的样本图像进行人脸点检测，得到人脸特征点序列{points1，points2，points3…
points
n
}，n为样本图像中对应的人脸数量，points为单个人脸的人脸点；
74.对同一所述样本图像中的人脸特征点进行均值计算，得到均值特征点，并根据所述均值特征点与对应所述人脸特征点序列之间的对应关系，构建人脸变换矩阵；
75.其中，该人脸变换矩阵用于表征均值特征点与对应人脸特征点序列之间的映射关系，该步骤中，对对同一样本图像中的人脸特征点进行均值计算：
[0076][0077]
对样本图像分别进行人脸点检测，得到人脸点points
xi
根据如下公式计算人脸变换矩阵m
xi
:
[0078]
m
xi
＝(points
xit
*points
xi
+εe)
‑1*points_mean
[0079]
其中，*为矩阵乘运算，ε为预设参数值，该预设参数值可以根据需求进行设置，e为单位矩阵；
[0080]
根据所述人脸变换矩阵对所述样本图像进行人脸裁剪处理；
[0081]
其中，通过人脸变换矩阵对样本图像进行人脸裁剪处理，使得人脸裁剪处理处理的样本图像能有效地携带人脸点的特征，提高了隐向量编码网络对人脸裁剪处理后样本图像的下采样和特征提取的准确性。
[0082]
可选的，该步骤中，还可以将未进行人脸裁剪处理的样本图像和人脸裁剪处理后的样本图像，均输入隐向量编码网络进行下采样和特征提取，以提高该隐向量编码网络的训练数据。
[0083]
步骤s20，将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，并将所述图像特征输入所述生成器进行图像生成，得到生成图像；
[0084]
其中，该生成式对抗网络可以根据需求进行设置，例如，该生成式对抗网络可以设置为stylegan或stylegan2等网络；
[0085]
该步骤中，通过将抽象特征和样本隐向量输入生成式对抗网络中的生成器进行特征融合，使得能有效地对样本图像中的隐向量特征和全局特征进行融合，得到图像特征，基于特征融合后的图像特征进行图像生成，提高了生成图像的准确性。
[0086]
可选的，该步骤中，现有的生成式对抗网络中的噪声模型缺少非线性变化，在学习隐向量的特征时，难以学到复杂的细节变化，因此，本实施例中，所述生成式对抗网络中的噪声模型为：
[0087]
image6＝image5+norm(α)
norm(α)
*normal()
[0088]
其中，norm为归一化运算，归一化为(0，1)，normal()为随机高斯噪声，α为学习参数，并且维度和normal()输出的噪声维度一致，image5是图像特征，image6是图像特征进行噪声添加后的输出特征，通过该噪声模型的设置，提高了噪声的非线性变化，提升了生成式对抗网络中细节变化的学习效果。
[0089]
步骤s30，将所述生成图像输入所述生成式对抗网络中的判别器进行真伪识别，并根据真伪识别结果进行损失计算，得到损失值；
[0090]
其中，获取该生成图像对应样本图像的真实图像，该真实图像为对应样本图像的高清图像，通过将该生成图像和真实图像输入判别器进行真伪识别，以识别该生成图像是否为真实图像，并根据真伪识别结果进行损失计算，以得到表征该隐向量编码网络和生成式对抗网络的模型误差的损失值。
[0091]
可选的，该步骤中，根据真伪识别结果进行损失计算所采用的损失函数包括：平均绝对误差(l1 loss)和感知损失(perceptual losses)，生成图像和真实图像求l1loss，l1 loss可以使样本图像恢复得更加清晰；
[0092][0093]
其中，g(e(x))为生成图像，为生成图像对应样本图像的目标图像；
[0094]
perceptual loss采用vgg
‑
19网络进行计算，更好恢复人像肤色、质感、细节信息；
[0095][0096]
其中，y是生成图像，是样本图像的目标图像。
[0097]
步骤s40，根据所述损失值分别对所述隐向量编码网络、所述生成器和所述判别器进行参数更新，直至所述隐向量编码网络、所述生成器和所述判别器收敛；
[0098]
其中，根据l1 loss对生成器和判别器进行权值参数的更新，直至生成器和判别器收敛，根据perceptual loss对隐向量编码网络进行权值参数的更新，直至隐向量编码网络收敛。
[0099]
步骤s50，将待重构图像输入收敛后的所述隐向量编码网络进行特征提取，得到目标隐向量，并将所述目标隐向量输入收敛后的所述生成器进行图像生成，得到重构图像；
[0100]
其中，将待重构图像输入收敛后的隐向量编码网络进行特征提取，以提取到表征该待重构图像的目标隐向量，并将目标隐向量输入收敛后的生成器进行图像生成，以生成该待重构图像对应的高清图像。
[0101]
本实施例中，通过将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量，并将抽象特征和样本隐向量输入生成式对抗网络中的生成器进行特征融合，使得能有效地对样本图像中的隐向量特征和全局特征进行融合，得到图像特征，基于特征融合后的图像特征，提高了生成图像和隐向量编码网络、生成器、判别器参数更新的准确性，通过对生成图像进行真伪识别，基于真伪识别结果能有效地计算到表征隐向量编码网络、生成器和判别器的误差的损失值，通过损失值分别对隐向量编码网络、生成器和判别器进行参数更新，提高了隐向量编码网络中隐向量编码的准确性，提高了生成器基于编码后的隐向量进行图像生成的准确性，防止了重构后的图像与原图像之间差异较大的现象，提高了图像重构的准确性，通过将待重构图像输入收敛后的隐向量编码网络进行特征提取得到目标隐向量，并将目标隐向量输入收敛后的生成器进行图像生成，能有效地得到待重构图像对应的重构图像。
[0102]
实施例二
[0103]
请参阅图2，是本发明第二实施例提供的图像重构方法的流程图，该实施例用于对步骤s10作进一步细化，包括步骤：
[0104]
步骤s11，将所述样本图像输入所述隐向量编码网络分别进行全局均值池化、全局最大值池化和卷积处理，得到第一下采样特征、第二下采样特征和第一卷积特征；
[0105]
其中，请参阅图像3，为本实施例提供的隐向量编码网络中特征提取的结构示意图，其中，
①
为全局均值池化，
⑤
为全局最大值池化，
⑨
为卷积层，该步骤中，隐向量编码网络中，对样本图像分别进行
①⑤⑨
操作，以得到对应的第一下采样特征、第二下采样特征和
第一卷积特征。
[0106]
步骤s12，对所述第二下采样特征进行下采样，得到第三下采样特征，并分别将所述第一下采样特征和所述第三下采样特征输入所述隐向量编码网络中的全连接层进行特征映射，得到第一映射特征和第二映射特征；
[0107]
其中，在全局最大值池化过程中，再次对第二下采样特征进行下采样，得到第三下采样特征，并将第一下采样特征和第三下采样特征输入全连接层
②
和
⑥
中进行特征映射，得到第一映射特征和第二映射特征；
[0108]
步骤s13，根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量；
[0109]
可选的，该步骤中，所述根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量，包括：
[0110]
分别对所述第一映射特征和所述第二映射特征进行归一化处理，得到第一归一化特征和第二归一化特征；
[0111]
其中，将第一映射特征和第二映射特征分别输入隐向量编码网络中的scale层
③
和
⑦
中进行归一化处理，得到第一归一化特征和第二归一化特征；
[0112]
将所述第一归一化特征、所述第二归一化特征和所述第一卷积特征进行相加运算，得到全局特征，并对所述全局特征进行卷积处理，得到所述样本隐向量；
[0113]
其中，通过运算层
④
和
⑧
，将所述第一归一化特征、所述第二归一化特征和所述第一卷积特征进行相加运算，得到全局特征，并将全局特征经过卷几层
⑩
进行卷积处理，得到样本隐向量。
[0114]
本实施例中，该抽象特征包括第一下采样特征、第二下采样特征和第三下采样特征，隐向量编码网络包括3次下采样：第一层为第一次下采样，会将256*256的输入特征下采样到128*128的第一下采样特征；第二次在隐向量编码网络中贯穿模型里的第三层，将128*128的第一下采样特征下采样到64*64的第二下采样特征；第三次在贯穿模型里的降采样层(downsample层)，将64*64的第二下采样特征下采样到32*32的第三下采样特征。
[0115]
进一步地，本实施例中，针对步骤s20，所述将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，包括：
[0116]
将所述样本隐向量输入所述生成器进行上采样，得到上采样特征；
[0117]
将所述第一下采样、所述第二下采样特征和所述第三下采样特征，分别融合至对应指定采样次数中的上采样特征中，并将所述生成器的上采样结果确定为所述图像特征；
[0118]
其中，该指定采样次数的个数和次数值可以根据需求进行设置，例如，该指定采样次数的个数可以设置为2个、3个或4个等，该指定采样次数的次数值可以设置为第二次上采样、第三次上采样或第五次上采样等。
[0119]
该步骤中，将隐向量编码网络中的32*32的第三下采样特征融合到生成式对抗网络中的第三次上采样里，将64*64的第二下采样特征融合到第四次上采样里，将128*128的第一下采样特征融合到第五次上采样里。
[0120]
本实施例中，通过将第一归一化特征、第二归一化特征和第一卷积特征进行相加运算，能有效地得到表征样本图像对应特征的全局特征，改善了现有技术中，隐向量编码网络缺少全局特征的不足，使得基于隐向量编码进行图像重构后的图像效果更加接近原图，
提高了图像重构的准确性。
[0121]
实施例三
[0122]
请参阅图4，是本发明第三实施例提供的图像重构系统100的结构示意图，包括：隐向量提取模块10、图像生成模块11、损失计算模块12、参数更新模块13和图像重构模块14，其中：
[0123]
隐向量提取模块10，用于将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量。
[0124]
其中，该隐向量提取模块10还用于：将所述样本图像输入所述隐向量编码网络分别进行全局均值池化、全局最大值池化和卷积处理，得到第一下采样特征、第二下采样特征和第一卷积特征；
[0125]
对所述第二下采样特征进行下采样，得到第三下采样特征，并分别将所述第一下采样特征和所述第三下采样特征输入所述隐向量编码网络中的全连接层进行特征映射，得到第一映射特征和第二映射特征；
[0126]
根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量；
[0127]
其中，所述抽象特征包括所述第一下采样特征、所述第二下采样特征和所述第三下采样特征。
[0128]
进一步地，该隐向量提取模块10还用于：分别对所述第一映射特征和所述第二映射特征进行归一化处理，得到第一归一化特征和第二归一化特征；
[0129]
将所述第一归一化特征、所述第二归一化特征和所述第一卷积特征进行相加运算，得到全局特征，并对所述全局特征进行卷积处理，得到所述样本隐向量。
[0130]
可选的，该隐向量提取模块10还用于：分别对所述样本图像进行图像压缩模拟、图像噪点模拟和图像模糊模拟；
[0131]
对所述样本图像进行图像压缩模拟所采用的公式为：
[0132]
image2＝jpegcompress(image1，uniform(30，60))
[0133]
其中，image1是所述样本图像，image2是图像压缩模拟后的样本图像，uniform(30，60))表示随机选一个30
‑
60之间的数作为压缩率；
[0134]
对所述样本图像进行图像噪点模拟所采用的公式为：
[0135]
image3＝image1+gaussian(mean，sigma)
[0136]
其中，image3是图像噪点模拟后的样本图像，mean为高斯分布的均值，随机取
‑
10至10之间的数，sigma为高斯分布的方差，随机取5至15之间的数；
[0137]
对所述样本图像进行图像模糊模拟所采用的公式为：
[0138]
image4＝blur(image1)
[0139]
其中，image4是图像模糊模拟后的样本图像，blur为随机选高斯模糊、均值模糊或中值模糊。
[0140]
更进一步地，该隐向量提取模块10还用于：对所述样本图像进行人脸点检测，得到人脸特征点序列，所述人脸特征点序列包括所述样本图像中不同人脸对应的人脸特征点；
[0141]
对同一所述样本图像中的人脸特征点进行均值计算，得到均值特征点，并根据所述均值特征点与对应所述人脸特征点序列之间的对应关系，构建人脸变换矩阵，所述人脸
变换矩阵用于表征所述均值特征点与对应所述人脸特征点序列之间的映射关系；
[0142]
根据所述人脸变换矩阵对所述样本图像进行人脸裁剪处理。
[0143]
图像生成模块11，用于将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，并将所述图像特征输入所述生成器进行图像生成，得到生成图像。
[0144]
其中，该图像生成模块11还用于：将所述样本隐向量输入所述生成器进行上采样，得到上采样特征；
[0145]
将所述第一下采样、所述第二下采样特征和所述第三下采样特征，分别融合至对应指定采样次数中的上采样特征中，并将所述生成器的上采样结果确定为所述图像特征。
[0146]
可选的，所述生成式对抗网络中的噪声模型为：
[0147]
image6＝image5+norm(α)
norm(α)
*normal()
[0148]
其中，norm为归一化运算，归一化为(0，1)，normal()为随机高斯噪声，α为学习参数，并且维度和normal()输出的噪声维度一致，image5是所述图像特征，image6是所述图像特征进行噪声添加后的输出特征。
[0149]
损失计算模块12，用于将所述生成图像输入所述生成式对抗网络中的判别器进行真伪识别，并根据真伪识别结果进行损失计算，得到损失值。
[0150]
参数更新模块13，用于根据所述损失值分别对所述隐向量编码网络、所述生成器和所述判别器进行参数更新，直至所述隐向量编码网络、所述生成器和所述判别器收敛。
[0151]
图像重构模块14，用于将待重构图像输入收敛后的所述隐向量编码网络进行特征提取，得到目标隐向量，并将所述目标隐向量输入收敛后的所述生成器进行图像生成，得到重构图像。
[0152]
本实施例，通过将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量，并将抽象特征和样本隐向量输入生成式对抗网络中的生成器进行特征融合，使得能有效地对样本图像中的隐向量特征和全局特征进行融合，得到图像特征，基于特征融合后的图像特征，提高了生成图像和隐向量编码网络、生成器、判别器参数更新的准确性，通过对生成图像进行真伪识别，基于真伪识别结果能有效地计算到表征隐向量编码网络、生成器和判别器的误差的损失值，通过损失值分别对隐向量编码网络、生成器和判别器进行参数更新，提高了隐向量编码网络中隐向量编码的准确性，提高了生成器基于编码后的隐向量进行图像生成的准确性，防止了重构后的图像与原图像之间差异较大的现象，提高了图像重构的准确性，通过将待重构图像输入收敛后的隐向量编码网络进行特征提取得到目标隐向量，并将目标隐向量输入收敛后的生成器进行图像生成，能有效地得到待重构图像对应的重构图像。
[0153]
实施例四
[0154]
图5是本技术第四实施例提供的一种终端设备2的结构框图。如图5所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如图像重构方法的程序。处理器20执行所述计算机程序22时实现上述各个图像重构方法各实施例中的步骤，例如图1所示的s10至s50，或者图2所示的s11至s13。或者，所述处理器20执行所述计算机程序22时实现上述图4对应的实施例中各单元的功能，例如，图4所示的单元10至14的功能，具体请参阅图4对应的实施例中的相关描述，此
处不赘述。
[0155]
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本技术。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成隐向量提取模块10、图像生成模块11、损失计算模块12、参数更新模块13和图像重构模块14，各单元具体功能如上所述。
[0156]
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图4仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0157]
所称处理器20可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0158]
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
[0159]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0160]
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
[0161]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实
施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。