图像处理方法及装置、电子设备及存储介质与流程

图像处理方法及装置、电子设备及存储介质
1.本公开基于申请号为201910095929.x、申请日为2019年01月31日、申请名称为“图像处理方法及装置、电子设备及存储介质”的中国专利申请提出，在该中国专利申请记载的范围内提出分案，该中国专利申请的全部内容在此引入本公开作为参考。
技术领域
2.本公开涉及信息技术领域，尤其涉及一种图像处理方法及装置、电子设备及存储介质。


背景技术：

3.在一些图像处理场景下，用户希望基于一张图像生成另一张图像。例如，图像a是用户a严肃表情时的图像，用户想要基于图像a生成一个用户a微笑表情的图像。
4.在现有技术中，通过人脸操作的方式来实现，但是现有技术仅能够进行人脸微小改变，若改变的幅度比较大时，就会使得生成的图像非常奇怪，生成的人脸成像与真实人脸成像的差异非常大；这就导致图像失真度大及图像质量达不到预期的问题。


技术实现要素：

5.有鉴于此，本公开实施例期望提供一种图像处理方法及装置、电子设备及存储介质。
6.本公开的技术方案是这样实现的：
7.一种图像处理方法，包括：
8.检测第一图像，获得第一图像中第一对象的纹理特征；
9.获取结构特征；
10.结合所述纹理特征及结构特征，生成包含有第二对象的第二图像。
11.基于上述方案，所述结合所述纹理特征及结构特征，生成包含有第二对象的第二图像，包括：
12.根据所述纹理特征及所述结构特征，对所述第一对象所包含的像素进行像素重组生成所述第二对象；
13.基于所述第二对象形成第二图像。
14.基于上述方案，所述获取结构特征，包括：
15.接收第一轮廓信息；
16.基于所述第一轮廓信息生成所述结构特征。
17.基于上述方案，所述获取结构特征，包括：
18.检测第三图像中第三对象的轮廓获得第一结构特征；
19.所述结合所述纹理特征及结构特征，生成包含有第二对象的第二图像，包括：
20.结合所述纹理特征及所述第一结构特征，生成包含有所述第二对象的第二图像。
21.基于上述方案，所述获取结构特征，包括：
22.检测所述第一图像中所述第一对象的轮廓获得第二结构特征；
23.基于调试指令调整所述第二结构特征得到第三结构特征；
24.所述结合所述纹理特征及结构特征，生成包含有第二对象的第二图像，包括：
25.结合所述纹理特征及所述第三结构特征，生成包含有所述第二对象的第二图像。
26.基于上述方案，所述检测第一图像，获得第一图像中第一对象的纹理特征，包括：
27.利用深度学习模型的第一编码器处理所述第一图像，得到所述第一对象中表征空间结构信息与轮廓内纹理之间关联关系的概率分布。
28.基于上述方案，所述获取结构特征，包括：
29.利用深度学习模型的第二编码器输入的第一轮廓信息，获得以空间结构信息为观察变量且以纹理信息为潜在变量的概率。
30.基于上述方案，所述利用所述深度学习模型的第二编码器输入的结构信息，获得以空间结构信息为观察变量且以纹理信息为潜在变量的概率，包括：
31.基于k个簇的第二轮廓信息进行所述第一轮廓信息的分类；
32.根据所述分类的结果，确定所述k个簇计算所述概率的权重；
33.根据所述权重，确定以第一轮廓信息为观察变量且以纹理信息为潜在变量的概率。
34.基于上述方案，所述结合所述纹理特征及结构特征，生成包含有第二对象的第二图像，包括：
35.利用所述深度学习模型的解码器结合所述概率分布及所述概率进行卷积和像素重组处理生成所述第二对象；
36.基于所述第二对象得到所述第二图像。
37.基于上述方案，所述空间结构信息包括以下至少之一：
38.动作信息；
39.表情信息；
40.朝向信息。
41.基于上述方案，所述深度学习模型的权重为经过权重归一化处理得到的。
42.一种图像处理装置，包括：
43.检测模块，用于检测第一图像，获得第一图像中第一对象的纹理特征；
44.获取模块，用于获取结构特征；
45.生成模块，用于结合所述纹理特征及结构特征，生成包含有第二对象的第二图像。
46.基于上述方案，所述生成模块，还用于根据所述纹理特征及所述结构特征，对所述第一对象所包含的像素进行像素重组生成所述第二对象；基于所述第二对象形成第二图像。
47.基于上述方案，所述获取模块，还用于接收第一轮廓信息；基于所述第一轮廓信息生成所述结构特征。
48.基于上述方案，所述获取模块，还用于检测第三图像中第三对象的轮廓获得第一结构特征；
49.所述生成模块，还用于结合所述纹理特征及所述第一结构特征，生成包含有所述第二对象的第二图像。
50.基于上述方案，所述获取模块，还用于检测所述第一图像中所述第一对象的轮廓获得第二结构特征；基于调试指令调整所述第二结构特征得到第三结构特征；
51.所述生成模块，还用于结合所述纹理特征及所述第三结构特征，生成包含有所述第二对象的第二图像。
52.基于上述方案，所述检测模块，用于利用深度学习模型的第一编码器处理所述第一图像，得到所述第一对象中表征空间结构信息与轮廓内纹理之间关联关系的概率分布。
53.基于上述方案，所述获取结构特征，包括：
54.利用深度学习模型的第二编码器输入的第一轮廓信息，获得以空间结构信息为观察变量且以纹理信息为潜在变量的概率。
55.基于上述方案，所述获取模块，还用于基于k个簇的第二轮廓信息进行所述第一轮廓信息的分类；根据所述分类的结果，确定所述k个簇计算所述概率的权重；根据所述权重，确定以第一轮廓信息为观察变量且以纹理信息为潜在变量的概率。
56.基于上述方案，所述生成模块，还用于利用所述深度学习模型的解码器结合所述概率分布及所述概率进行卷积和像素重组处理生成所述第二对象；
57.基于所述第二对象得到所述第二图像。
58.基于上述方案，所述空间结构信息包括以下至少之一：
59.动作信息；
60.表情信息；
61.朝向信息。
62.基于上述方案，所述深度学习模型的权重为经过权重归一化处理得到的。
63.一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述任意一个技术方案提供的图像处理方法。
64.一种电子设备，包括：
65.存储器，用于存储信息；
66.处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意技术方案提供的图像处理方法。
67.本公开实施例提供的技术方案，在改变第一图像中的第一对象时，不再是直接生硬的调整第一对象得到第二对象；而是从第一对象中提取出纹理特征，获得一个结构特征，将纹理特征和结构特征综合生成一个逼真度高的第二对象，从而得到一个包含第二对象的第二图像；如此，减少仅基于一些预设条件直接生硬调整第一对象产生预期效果以外的奇异第二对象的现象，提升第二图像的图像质量。
附图说明
68.图1为本公开实施例提供的一种图像处理方法的流程示意图；
69.图2为本公开实施例提供的一种人脸轮廓示意图；
70.图3a为本公开实施例提供的一种深度学习模型的结构示意图；
71.图3b为本公开实施例提供的另一种深度学习模型的结构示意图；
72.图4a为本公开实施例提供的重建的图像与相关方法的重建图像的比对示意图；
73.图4b为本公开实施例提供一种第一图像和脸部图像的轮廓被替换后的第二图像
的比对示意图；
74.图4c为本公开实施例提供的融合第一图像的纹理特征、第二图像的结构特征得到第三图像的示意图；
75.图5为本公开实施例提供的一种图像处理装置的结构示意图；
76.图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
77.以下结合说明书附图及实施例对本公开实施例的技术方案做进一步的详细阐述。
78.如图1所示，本公开实施例提供一种图像处理方法，包括：
79.步骤s110：检测第一图像，获得第一图像中第一对象的纹理特征；
80.步骤s120：获取结构特征；
81.步骤s130：结合所述纹理特征及结构特征，生成包含有第二对象的第二图像。
82.本公开实施例提供的图像处理方法，应用于各种电子设备中，例如，笔记本电脑、手机、平板电脑或服务器中。在一些实施例中，本公开实施例提供的图像处理方法可优先应用于包含有图像处理器(gpu)的电子设备中，利用gpu进行图像处理，具有图像处理效率高的特点。
83.在本公开实施例中，所述第一图像为原始图像，为包含第一对象的特征。所述第一对象可为从平面(2d)图像中提取的平面对象，也可以是从立体(3d)图像中提取的3d对象。
84.若第一图像为2d图像，所述第二图像可以为2d图像或3d图像；若所述第一图像为3d图像，所述第二图像也可以为2d图像或3d图像。
85.所述第一对象可为人或动物等生命体，也可以是移动物理或静止物体等无生命体。
86.在本公开实施例中，提取出第一图像中第一对象的纹理特征。
87.所述纹理特征表征可包括：第一对象的外表面纹理特征；例如，所述外表面纹理特征可包括皮肤纹理特征；以人为例，所述皮肤纹理用于指示眼皮褶皱、脸部皱纹和/或笑纹。再例如，所述外表面纹理特征还可包括：外表面的毛发特征，例如，所述毛发特征可以指示眉毛的浓密程度和/或形状等。
88.总之，所述纹理特征用于指示第一对象的外表面的纹理特点。
89.在本公开实施例中，同时还会获得结构特征，该结构特征用于指示希望呈现的第二对象的空间结构特点。
90.以人脸为例，所述结构特征可以用于指示：人脸的五官之间的相对位置关系，五官中每一个器官自身的空间结构特点。
91.在本公开实施例中，为了减少生成第二对象的怪异程度，结合纹理特征和结构特征，生成第二图像。所述结构特征限定了第二对象的空间结构特点，纹理特征限定了在该空间结构特点下的外表面的纹理特点。一方面，由于该纹理特征来自第一图像的第一对象，则第二对象集成了第一对象的纹理特征。与此同时，获取的结构特征可能与第一对象自身的结构特征发生变化，使得第二对象是基于获取的结构特征来成像第一对象的纹理特征的；如此，使得第二对象相对于第一对象又因为空间结构特点的不同，与第一对象具有差异。
92.如此，第二对象相当于第一对象的重建对象，所述第二图像相当于第一图像的重
建图像。
93.在本公开实施例中不再是直接对第一图像中第一对象的直接调整，减少了因为设备调整过程中由于约束不当或者调整过度等导致的生成的奇怪的第二图像，提升了生成的第二图像的逼真度，提升了重建的第二图像的图像质量。
94.在一些实施例中，所述步骤s130可包括：根据所述纹理特征及所述结构特征，对所述第一对象所包含的像素进行像素重组生成所述第二对象；
95.基于所述第二对象形成第二图像。
96.在本公开实施例中，在基于所述纹理特征和所述结构特征生成所述第二对象的情况下，会对第一对象的像素进行像素重组。在本公开实施例中，像素重组的粒度为子像素粒度。例如，以rgb图像为例，一个像素可包括红绿蓝三个子像素，在进行像素重组的过程中，可通过更改第一图像中第一对象所在像素中一个或多个子像素的子像素值，来生成所述第二对象。如此，结合纹理特征和结构特征，进行子像素粒度的像素重组，可以减少生成线条或轮廓生硬的奇异图像，从而提升第二图像的图像质量。例如，相对于基于变形网格进行某一个局部所包含像素的坐标变换或者像素的个数删减进行变形而言，结合结构特征进行的像素重组，具有变形效果好及图像效果好的特点。
97.在一些实施例中，所述步骤s130可包括：
98.根据所述结构特征确定所述第二对象的轮廓；该轮廓表征了第二对象的不同部分在第二图像中的位置；
99.然后基于所述纹理特征，更改该轮廓内像素的像素值，更改后的像素值具有所述纹理特征；如此生成至少结构特点发生了变化的第二对象；进一步地，利用第二对象替换所述第一图像中的第一对象，就生成了包含所述第二对象的第二图像。
100.在一些实施例中，所述步骤s120可包括：
101.接收第一轮廓信息；
102.基于所述第一轮廓信息生成所述结构特征。
103.在本公开实施例中，运行深度学习模型的电子设备可以不用自行获取第一轮廓信息，可以直接从外设接收所述第一轮廓信息。
104.例如，以生物体的脸部为例，所述第一轮廓信息可为人脸轮廓。
105.图2展示了三种第一轮廓信息均是人脸轮廓图。
106.所述第一轮廓信息可以是包含有轮廓的轮廓图像，该轮廓图像可以是与所述第一图像同图像尺寸的图像。例如，第一图像包含有w*h个像素，则所述轮廓图像也可以包含有w*h个像素，如此，在后续生成第二图像时，可以减少不同图像尺寸的图像之间的像素对齐。
107.在本公开实施例中，会基于所述第一轮廓信息得到所述结构特征。
108.例如，以所述第一轮廓信息描述的人脸轮廓为例，所述结构特征可包括：脸型、五官的位置等各种表征结构特点的结构特征。
109.在另一些实施例中，所述步骤s120可包括：
110.检测第三图像中第三对象的轮廓获得第一结构特征；
111.所述结合所述纹理特征及结构特征，生成包含有第二对象的第二图像，包括：
112.结合所述纹理特征及所述第一结构特征，生成包含有所述第二对象的第二图像。
113.在进行图像重建时，希望将图像a中的人脸换成图像b中的人脸，继续沿用图像a中
皮肤纹理；则此时，图像a为所述第一图像，图像b为所述第三图像。所述结构特征可以为电子设备所运行的深度学习模型从图像b中提取出的结构特征。例如，所述深度学习模型可以通过卷积和池化处理等，提取出第三图像的图像特征，再从这些图像特征中抽取出结构特征。在一些实施例中，利用神经网络等深度学习模型从第三图像中提取出轮廓关键点，基于这些轮廓关键点的相对位置得到所述结构特征。
114.以人脸为例，所述轮廓关键点可包括：额头关键点、眉骨关键点、鼻子最高点的关键点，若干个脸型完轮廓关键点、唇部外轮廓和上唇及下唇分割线的关键点等。连接这些轮廓关键点，就可以得到人脸的轮廓图。
115.在一些实施例中，所述步骤s130可包括：
116.检测所述第一图像中所述第一对象的轮廓获得第二结构特征；
117.基于调试指令调整所述第二结构特征得到第三结构特征；
118.所述结合所述纹理特征及结构特征，生成包含有第二对象的第二图像，包括：
119.结合所述纹理特征及所述第三结构特征，生成包含有所述第二对象的第二图像。
120.在一些实施例中，所述结构特征来自第一图像，但是又不完全同于所述第一图像。例如，首先利用深度学习模型等对所述第一图像进行结构特征的提取，得到所述第二结构特征，然后获得一个调整指令，该调整指令可以是基于人机交互接口的用户收入生成的，也可以是电子设备内部产生的调整指令生成的。
121.例如，在一些实施例中，图像处理应用程序，具有笑脸重建功能；该笑脸重建功能内置了很多笑脸重建的指令，该指令即可为前述调整指令的一种。
122.例如，第一图像包含严肃表情的人脸a；若采用笑脸重建功能，基于笑脸相对于严肃标签的人脸，可能会出现嘴唇咧开、眼睛眯起来等特点，基于这些笑脸相对于严肃表情的差异，可以生成调整第二结构特征中对应特征值的调整指令。如此，基于调整指令通过对第二结构特征的调整，会生成第三结构特征。
123.如此，第三结构特征一方面至少部分继承了第一对象的结构特征，另一方面相对于第一对象又产生了变化。如此，在电影或者视频制作领域，可以基于一张图像，通过提取该图像中结构特征，通过调整指令的输出，从而可以产生多张表情和/或姿势发生变化的第二图像。若将这些第二图像作为图像帧，生成视频，还可以在仅采集一张图像的情况下，自动生成一个逼真度高及图像质量好的视频。
124.在一些实施例中，所述步骤s110可包括：
125.利用深度学习模型的第一编码器处理所述第一图像，得到所述第一对象中表征空间结构信息与轮廓内纹理之间关联关系的概率分布。
126.本公开实施例利用深度学习模型来提取所述纹理特征。
127.所述深度学习模型包括第一编码器，所述第一编码器可进行图像的卷积处理和池化处理，得到所述纹理特征。
128.例如，所述第一编码器可包括n个数的残差模块；每一个残差模块包括卷积层、池化层和拼接层；该卷积层通过卷积处理从第一图形中提取图像特征，该图像特征包括但不限于第一对象的特征。例如，该图像特征可以包括区分第一对象和第一对象以外的背景的边界特征等。所述池化层通过池化处理之后，对前一层输入的图像像素进行将采样；所述拼接层可以将该残差模块的初始输入和经过卷积和池化处理之后的特征进行拼接，输出到下
一个残差模块或者直接作为纹理特征输出。
129.在本公开实施例中，一个所述残差模块可包括：三个卷积层和2个池化层；卷积层和池化层之间间隔分布。
130.在一些实施例中，所述第一编码器包括的残差模块可为5个或6个。
131.在本公开实施例中，利用第一编码器处理第一图像，得到第一对象中不同的姿势，所述第一对象中不同的姿势所对应的第一对象的纹理是不同的。例如，笑脸和哭脸对应的皮肤纹理是不同的。
132.在本公开实施例中，通过第一编码器获取的是基于空间结构信息与纹理之间关联关系的概率分布，该概率分布可以用q(z/x,y)来表示，其中，y指代的是空间结构信息；z表示的外观上的纹理特征，x表示第一图像的图像数据。
133.由于该概率分布是基于空间结构信息变化而使得纹理特征也发生变化的，将该概率分布作为所述纹理特征，而后续结构特征是根据空间结构信息得到，或者，结构特征是从空间结构信息中提取的。在引入新的结构特征的情况下，使得y发生变化，如此，基于上述概率分布就能够重建出图像质量高及逼真度高的第二对象，从而生成逼真度高及图像质量高的第二图像。
134.在一些实施例中，所述步骤s130可包括：
135.利用深度学习模型的第二编码器输入的第一轮廓信息，获得以空间结构信息为观察变量且以纹理信息为潜在变量的概率。此处的观察变量可视为因变量，所述潜在变量可为视为自变量，得到的概率表征的是空间结构信息变化导致纹理信息变化的概率。
136.所述空间结构信息可为从所述第一轮廓信息中提取的，所述空间结构信息可包括以下至少之一：
137.动作信息，不同的面部动作对应了不同的面部轮廓，故该动作信息可为作为所述空间结构信息的一种；
138.表情信息，不同的表情对应了不同的面部轮廓，如此，表情信息可以作为所述空间结构信息的一种；
139.朝向信息，不同的朝向，第一对象或第二对象的脸部朝向是不同的。
140.在本公开实施例中，该概率可以用p(z/y)表示；y指代的是空间结构信息；z表示的外观上的纹理特征。
141.若结构特征为一个侧脸的结构特征，而第一对象是正脸的，通过执行本公开实施例的步骤s110至步骤s130可以使得生成为侧脸的第二对象。
142.在一些实施例中，所述利用所述深度学习模型的第二编码器输入的结构信息，获得以空间结构信息为观察变量且以纹理信息为潜在变量的概率，包括：
143.基于k个簇的第二轮廓信息进行所述第一轮廓信息的分类；
144.根据所述分类的结果，确定所述k个簇计算所述概率的权重；
145.根据所述权重，确定以第一轮廓信息为观察变量且以纹理信息为潜在变量的概率。
146.为了能够获得每一个对象在不同表情和/或姿势下的结构特征。在本公开实施例中，所述深度学习模型与预先会与将大量的训练数据分为k个簇，每一个簇内的表情和/或姿势所对应的结构特点具有较高的相似性，簇与簇之间的空间结构特点之间的相似性较
低。
147.在一些实施例中，不同簇可以对应了不同年龄、不同肤色、不同性别的人群。不同簇的人群具有不同的空间结构特点，从而对应了不同的空间结构信息。
148.在本公开实施例中，会确定出第一轮廓信息与k个簇的第二轮廓信息进行相似性的计算，例如，基于余弦函数计算输入的第一轮廓信息与每一个簇之间的第二轮廓信息的相似度。此处的第二轮廓信息可为一个簇中各个轮廓信息的对应轮廓点的中心值形成的。通过余弦函数计算等可以得到第一轮廓信息所归属的簇，或者，第一轮廓信息与各个簇之间的距离等。总之，可以得到第一轮廓信息与各个簇的第二轮廓信息之间的相似性，基于这种相似性确定各个簇参与计算所述概率的权重。在一些实施例中，所述相似性越高则对应簇的权重越大，则对概率的影响越大。
149.基于所述相似度，确定出每一个簇生成所述概率的权重，基于该权重和每一个簇的空间结构信息与纹理之间的对应关系，得到所述概率。
150.例如，该概率可用来表示。其中，y表示基于第一轮廓信息得到空间结构信息；z表示纹理信息；是基于的协方差矩阵；k表示簇的总个数；wk是第k个簇的权重；uk是第k个簇的高斯分布的均值；σk是第k个簇的高斯分布的方差。表示z与uk,之间的相对熵。
151.在一些实施例中，所述步骤s130可包括：
152.利用所述深度学习模型的解码器结合所述概率分布及所述概率进行卷积和像素重组处理生成所述第二对象；
153.基于所述第二对象得到所述第二图像。
154.如图3a及图3b所示，将所述概率分布及所述概率输入到深度学习模型的解码器中，解码器通过卷积和像素重组等处理，生成包含第二对象的第二图像。
155.如图3a中将y作为输入，得到前述概率p(z/y)，以图像为输入得到前述概率分布q(z/x,y)。此处的q(z/x,y)还可以写成z～q(
·
/x,y)的形式，此处的数学符号
·
指代的是参数z；例如，参见图3b中。
156.图3b中e
φ
表示第一编码器；表示解码器，eu表示第二编码器。在图3b中展示有k个簇，这些簇分别命名为：c1,c2,...ck。如图3a和图3b所示，通过第二编码器和解码器之间的跳转连接，将不同残差模块卷积之后的特征直接输入到解码器对应的卷积层进行拼接处理，以提升第二对象的逼真度和图像效果。
157.在一些实施例中，为了提升深度学习模型的图像处理效果，在深度学习模型完成训练之后，会对深度学习模型的权重进行归一化处理。故在本公开实施例中，所述深度学习模型的权重为经过权重归一化处理得到的。
158.在一些实施例中，利用如下函数关系进行所述权重归一化处理：
159.y＝w*x+b；其中，y为输出，w为权重；x为m个维度输入特征；b为阈值。其中，v为x的m个维度特征向量；||v||为v欧几里得范数。g为||w||，独立于v。||w||为w欧几里
得范数。
160.上述提供了一种权值归一化的方式，在一些实施例中，所述权值归一化还可以基于最大权值进行归一化处理。例如，求取每一个权重与最大权重进的比值，作为归一化后的权值。在另一些实施例中，所述权值归一化处理还可以是基于最大最小值进行归一化处理，例如，将每一个权值与最大权值和最小权值之间的差值进行比较，得到归一化后的权值。
161.此处的权值可为神经网络等深度模型中每一个计算节点的权值。
162.如图5所示，本公开实施例提供一种图像处理装置，包括：
163.检测模块110，用于检测第一图像，获得第一图像中第一对象的纹理特征；
164.获取模块120，用于获取结构特征；
165.生成模块130，用于结合所述纹理特征及结构特征，生成包含有第二对象的第二图像。
166.在一些实施例中，所述检测模块110、获取模块120及生成模块130可为程序模块，所述程序模块被处理器执行后，能够实现检测模块110、获取模块120及生成模块130所执行的功能。
167.在另一些实施例中，所述检测模块110、获取模块120及生成模块130可为软硬结合模块；所述软硬结合模块可为各种可编程阵列；所述可编程阵列可包括：现场可编程阵列和/或复杂可编程阵列。
168.在还有一些实施例中，所述检测模块110、获取模块120及生成模块130可为纯硬件模块；所述纯硬件模块可包括专用集成电路。
169.在一些实施例中，所述生成模块130，还用于根据所述纹理特征及所述结构特征，对所述第一对象所包含的像素进行像素重组生成所述第二对象；基于所述第二对象形成第二图像。
170.在一些实施例中，所述获取模块120，还用于接收第一轮廓信息；基于所述第一轮廓信息生成所述结构特征。
171.在一些实施例中，所述获取模块120，还用于检测第三图像中第三对象的轮廓获得第一结构特征；
172.所述生成模块130，还用于结合所述纹理特征及所述第一结构特征，生成包含有所述第二对象的第二图像。
173.在一些实施例中，所述获取模块120，还用于检测所述第一图像中所述第一对象的轮廓获得第二结构特征；基于调试指令调整所述第二结构特征得到第三结构特征；
174.所述生成模块130，还用于结合所述纹理特征及所述第三结构特征，生成包含有所述第二对象的第二图像。
175.在一些实施例中，所述检测模块110，用于利用深度学习模型的第一编码器处理所述第一图像，得到所述第一对象中表征空间结构信息与轮廓内纹理之间关联关系的概率分布。
176.在一些实施例中，所述获取结构特征，包括：
177.利用深度学习模型的第二编码器输入的第一轮廓信息，获得以空间结构信息为观察变量且以纹理信息为潜在变量的概率。
178.在一些实施例中，所述获取模块120，还用于基于k个簇的第二轮廓信息进行所述
第一轮廓信息的分类；根据所述分类的结果，确定所述k个簇计算所述概率的权重；根据所述权重，确定以第一轮廓信息为观察变量且以纹理信息为潜在变量的概率。
179.在一些实施例中，所述生成模块130，还用于利用所述深度学习模型的解码器结合所述概率分布及所述概率进行卷积和像素重组处理生成所述第二对象；
180.基于所述第二对象得到所述第二图像。
181.在一些实施例中，所述空间结构信息包括以下至少之一：
182.动作信息；
183.表情信息；
184.朝向信息。
185.在一些实施例中，所述深度学习模型的权重为经过权重归一化处理得到的。
186.以下结合上述任意实施例提供几个场景示例：
187.示例1：
188.本示例的技术方案由三部分组成：
189.1.一个用于边缘检测的卷积神经网络模型，对于输入的人脸图片，该模型用于得到一个准确的人脸边缘线检测结果(比如外眼睑，外脸轮廓线等)。
190.2.一个条件编解码网络，由第一步得到的轮廓信息中，通过网络提取结构表征，作为明确的结构特征信息帮助编码器分解输入人脸图像的外貌纹理特征和结构特征。
191.3.一个基于感知质量的权重归一化和解码器设计，进一步帮助提升生成质量。
192.本示例提供的神经网络，通过把图片的空间结构信息分解出来，明确分解编码器外貌的纹理特征和结构特征，保持了外貌纹理的一致性和明确的表情，姿态结构，再组合解码器得到一个高保真，多样的人脸操纵算法。将结构信息约束明确地加入了网络中，使得网络能够良好分解外貌纹理和结构特征，从而使得人脸操纵具有良好的结果。将一个基于感知质量的权重归一化和解码器设计融入网络中，进一步帮助提升重建图像的生成质量。
193.示例2：
194.本示例提供一种图像处理方法，包括：
195.给定一个图像x；然后需要得到x与之间的映射关系g。该g可包括：φ
app
和u
str
。该映射关系可以通过纹理特征z＝φ
app
(x,c)和y＝u
str
(c)。
196.利用条件方差自动编码(cvae)网络可以得到构建前述深度学习模型。
197.利用如公式(1)示出的函数关系来求解前述概率分布和/或概率。
198.logp(x/y)≥eq[logp(x/z,y)]-d
kl
[q(z/x,y),p(z/y)]
ꢀꢀꢀꢀ
公式(1)；
[0199]
基于该函数关系，通过求解p(x/y)的最大值可以得到q(z/x,y)和p(z/y)。其中，q(z/x,y)可近似为p(z/y)2。
[0200]
本示例提供的网络可以采用如公式(2)示出的随机目标的函数进行训练：
[0201][0202]qφ
(z/x,y)满足分布约束条件n(0,i)。
[0203]
该概率可用来表示。其中，y表示基于第一轮廓信息得
到空间结构信息；z表示纹理信息；是基于的协方差矩阵；k表示簇的总个数；wk是第k个簇的权重；uk是第k个簇的高斯分布的均值；σk是第k个簇的高斯分布的方差。表示z与uk,之间的相对熵。其中，d
kl
可以通过公式(3)确定。
[0204][0205]ck
为结构特征的权重，q(z/x,c)＝n(z/u(x,c),σ2(x,c)i)。
[0206]
在深度学习模型的训练过程中，利用如公式(4)示出的损失函数进行损失计算：
[0207][0208]
其中，λ
l
为神经网络的第l个隐层的权重；ψ
l
(x)为第l个隐层将输入图像x变换到特征空间的变换函数；为第l个隐层将重建图像变换到特征空间的变换函数。
[0209]
图4a为本公开实施例提供的重建的图像与相关方法的重建图像的比对示意图；图4b为本公开实施例提供一种第一图像和脸部图像的轮廓被替换后的第二图像的比对示意图；图4c为本公开实施例提供的融合第一图像的纹理特征、第二图像的结构特征得到第三图像的示意图。
[0210]
比对图4a、图4b及图4c可知，显然采用本示例提供的方法形成的第二图像的效果更逼真。
[0211]
如图6所示，本公开实施例提供了一种图像处理设备，包括：
[0212]
存储器，用于存储信息；
[0213]
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1、图3a及图3b所示的方法中的一个或多个。
[0214]
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
[0215]
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
[0216]
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
[0217]
在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
[0218]
在一些实施例中，所述图像处理设备还包括摄像头，该摄像头可为2d摄像头，可以采集2d图像或3d图像。
[0219]
在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可
包括各种输入输出设备，例如，键盘、触摸屏等。
[0220]
本公开实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1、图3a及图3b所示的方法中的一个或多个。
[0221]
所述存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。
[0222]
本公开实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的图像处理方法，例如，如图1、图3a及图3b所示的方法中的一个或多个。
[0223]
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0224]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本公开实施例方案的目的。
[0225]
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0226]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0227]
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。