图像生成、图像处理模型的训练、图像处理方法和装置与流程

1.本公开涉及图像处理技术领域，特别涉及一种图像生成、图像处理模型的训练、图像处理方法和装置。


背景技术：

2.随着图像处理技术的发展，进行图像处理的方式越来越多。例如，通过图像处理模型进行图像处理。在使用图像处理模型执行图像处理任务之前，通常需要通过模型训练获取图像处理模型。在模型训练的过程中，需要用到大量的样本图像。例如，在进行表情控制的图像处理任务中，训练图像处理模型需要获取多个人脸表情图像。
3.相关技术中，通过拍摄图像的方法，采集多个人脸图像。这个过程中，为了保证采集到的多个人脸图像能够符合图像处理模型的训练需求，通过控制图像采集过程中除人脸表情外的其他图像因素不发生变化来采集多个人脸表情图像。
4.上述相关技术中，控制图像采集过程中除人脸表情外的其他图像因素不发生变化的难度较高，导致采集到的图像中符合要求的图像的准确率较低，造成获取样本图像的难度较高。


技术实现要素：

5.本公开提供了一种图像生成、图像处理模型的训练、图像处理方法和装置，以至解决相关技术中获取样本图像的难度较高的问题。本公开的技术方案如下。
6.根据本公开实施例的第一方面，提供了一种图像生成方法，所述方法包括：
7.确定用于生成人脸图像的第一隐变量；
8.将所述第一隐变量输入至编码器，得到所述第一隐变量的面部特征；
9.获取目标表情参数；
10.将所述第一隐变量的面部特征和所述目标表情参数输入至解码器中，通过所述解码器将所述第一隐变量对应的表情参数调整为所述目标表情参数，得到第二隐变量；
11.基于所述第二隐变量，生成所述目标表情参数对应的面部表情图像。
12.在一些实施例中，所述编码器和所述解码器的训练方法包括：
13.获取待训练的编码器、待训练的解码器、样本图像和第一样本隐变量；
14.通过所述待训练的编码器和所述待训练的解码器，将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到第二样本隐变量；
15.根据第一虚拟人脸图像对应的表情参数和所述样本图像对应的表情参数之间的差值，确定表情信息损失参数，所述第一虚拟人脸图像为根据所述第二样本隐变量生成的虚拟人脸图像；
16.通过所述待训练的编码器和所述待训练的解码器，将所述第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量，所述第二虚拟人脸图像为根据所述第一样本隐变量生成的虚拟人脸图像；
17.根据所述第二虚拟人脸图像和第三虚拟人脸图像之间的差值，确定面部信息损失参数，所述第三虚拟人脸图像为根据所述第三样本隐变量生成的虚拟人脸图像；
18.基于所述表情信息损失参数和所述面部信息损失参数，对所述待训练的编码器和所述待训练的解码器进行模型训练，得到训练完成的编码器和解码器。
19.在一些实施例中，所述通过所述待训练的编码器和所述待训练的解码器，将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到第二样本隐变量，包括：
20.将所述样本图像输入至三维重建网络，得到所述样本图像对应的表情参数；
21.将所述第一样本隐变量输入至所述待训练的编码器中，得到所述第一样本隐变量的面部特征；
22.将所述第一样本隐变量的面部特征和所述样本图像对应的表情参数输入至解码器中，通过所述解码器将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到所述第二样本隐变量。
23.在一些实施例中，所述通过所述待训练的编码器和所述待训练的解码器，
24.将所述第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量，包括：
25.将所述第一样本隐变量输入至图像生成网络，得到所述第二虚拟人脸图像；
26.将所述第二虚拟人脸图像输入至三维重建网络，得到所述第二虚拟人脸图像的表情参数；
27.通过所述待训练的编码器和所述待训练的解码器，将所述第二样本隐变量对应的表情参数调整为所述第二虚拟人脸图像对应的表情参数，得到所述第三样本隐变量。
28.在一些实施例中，所述获取目标表情参数，包括：
29.获取第一目标图像；
30.将所述第一目标图像输入至三维重建网络，得到所述目标表情参数。
31.根据本公开实施例的第二方面，提供了一种图像处理模型的训练方法，所述方法包括：
32.获取第二目标图像；
33.基于所述第二目标图像生成多个面部图像，所述多个面部图像的面部表情与所述第二目标图像的面部表情相同，所述多个面部图像基于本公开实施例的第一方面所述的图像生成方法生成；
34.将所述第二目标图像和所述多个面部图像确定为样本集合；
35.将第三目标图像输入至待训练的图像处理模型，通过所述待训练的图像处理模型对所述第三目标图像的面部特征进行更改，得到第四目标图像，所述第三目标图像为所述样本集合中的任一图像；
36.根据所述第四目标图像与所述第三图像的差值，确定所述图像处理模型的模型损失参数；
37.根据所述模型损失参数对所述待处理的图像处理模型进行参数调整，得到训练完成的图像处理模型。
38.根据本公开实施例的第三方面，提供了一种图像处理方法，所述方法应用于本公
开实施例的第二方面所述图像处理模型，所述方法包括：
39.获取待更改面部表情的图像和目标表情图像；
40.将所述目标表情图像输入至三维重建网络，得到目标表情参数，所述目标表情参数为所述目标表情图像的表情参数；
41.将所述待更改面部表情的图像和所述目标表情参数输入至图像处理模型，得到更改面部表情后的图像，所述更改面部表情后的图像的面部表情与所述目标表情图像的面部表情相同。
42.根据本公开实施例的第四方面，提供了一种图像生成装置，所述装置包括：
43.第一确定单元，被配置为执行确定用于生成人脸图像的第一隐变量；
44.编码单元，被配置为执行将所述第一隐变量输入至编码器，得到所述第一隐变量的面部特征；
45.第一获取单元，被配置为执行获取目标表情参数；
46.解码单元，被配置为执行将所述第一隐变量的面部特征和所述目标表情参数输入至解码器中，通过所述解码器将所述第一隐变量对应的表情参数调整为所述目标表情参数，得到第二隐变量；
47.第一生成单元，被配置执行基于所述第二隐变量，生成所述目标表情参数对应的面部表情图像。
48.在一些实施例中，所述编码器和所述解码器的训练装置包括：
49.第二获取单元，被配置为执行获取待训练的编码器、待训练的解码器、样本图像和第一样本隐变量；
50.第一参数调整单元，被配置为执行通过所述待训练的编码器和所述待训练的解码器，将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到第二样本隐变量；
51.第二确定单元，被配置为执行根据第一虚拟人脸图像对应的表情参数和所述样本图像对应的表情参数之间的差值，确定表情信息损失参数，所述第一虚拟人脸图像为根据所述第二样本隐变量生成的虚拟人脸图像；
52.第二参数调整单元，被配置为执行通过所述待训练的编码器和所述待训练的解码器，将所述第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量，所述第二虚拟人脸图像为根据所述第一样本隐变量生成的虚拟人脸图像；
53.第三确定单元，被配置为执行根据所述第二虚拟人脸图像和第三虚拟人脸图像之间的差值，确定面部信息损失参数，所述第三虚拟人脸图像为根据所述第三样本隐变量生成的虚拟人脸图像；
54.第一模型训练单元，被配置为执行基于所述表情信息损失参数和所述面部信息损失参数，对所述待训练的编码器和所述待训练的解码器进行模型训练，得到训练完成的编码器和解码器。
55.在一些实施例中，所述第一参数调整单元包括：
56.第一参数提取子单元，被配置为执行将所述样本图像输入至三维重建网络，得到所述样本图像对应的表情参数；
57.编码子单元，被配置为执行将所述第一样本隐变量输入至所述待训练的编码器中，得到所述第一样本隐变量的面部特征；
58.解码子单元，被配置为执行将所述第一样本隐变量的面部特征和所述样本图像对应的表情参数输入至解码器中，通过所述解码器将所述第一样本隐变量对应的表情参数调整为所述样本图像对应的表情参数，得到所述第二样本隐变量。
59.在一些实施例中，所述第二参数调整单元包括：
60.图像生成子单元，被配置为执行将所述第一样本隐变量输入至图像生成网络，得到所述第二虚拟人脸图像；
61.第二参数提取子单元，被配置为执行将所述第二虚拟人脸图像输入至三维重建网络，得到所述第二虚拟人脸图像的表情参数；
62.参数调整子单元，被配置为执行通过所述待训练的编码器和所述待训练的解码器，将所述第二样本隐变量对应的表情参数调整为所述第二虚拟人脸图像对应的表情参数，得到所述第三样本隐变量。
63.在一些实施例中，所述第一获取单元被配置为执行获取第一目标图像；将所述第一目标图像输入至三维重建网络，得到所述目标表情参数。
64.根据本公开实施例的第五方面，提供了一种图像处理模型的训练装置，所述装置包括：
65.第三获取单元，被配置为执行获取第二目标图像；
66.第二生成单元，被配置执行基于所述第二目标图像生成多个面部图像，所述多个面部图像的面部表情与所述第二目标图像的面部表情相同，所述多个面部图像基于本公开实施例第四方面任一项所述的图像生成装置生成；
67.第四确定单元，被配置为执行将所述第二目标图像和所述多个面部图像确定为样本集合；
68.第一特征更改单元，被配置为执行将第三目标图像输入至待训练的图像处理模型，通过所述待训练的图像处理模型对所述第三目标图像的面部特征进行更改，得到第四目标图像，所述第三目标图像为所述样本集合中的任一图像；
69.第五确定单元，被配置为执行根据所述第四目标图像与所述第三图像的差值，确定所述图像处理模型的模型损失参数；
70.第二模型训练单元，被配置为执行根据所述模型损失参数对所述待处理的图像处理模型进行参数调整，得到训练完成的图像处理模型。
71.根据本公开实施例的第六方面，提供了一种图像处理装置，所述装置应用于本公开实施例第五方面所述图像处理模型，所述装置包括：
72.第四获取单元，被配置为执行获取待更改面部表情的图像和目标表情图像；
73.参数提取单元，被配置为执行将所述目标表情图像输入至三维重建网络，得到目标表情参数，所述目标表情参数为所述目标表情图像的表情参数；
74.第二特征更改单元，被配置为执行将所述待更改面部表情的图像和所述目标表情参数输入至图像处理模型，得到更改面部表情后的图像，所述更改面部表情后的图像的面部表情与所述目标表情图像的面部表情相同。
75.根据本公开实施例的第七方面，提供了一种电子设备，包括：
76.处理器；
77.用于存储所述处理器可执行指令的存储器；
78.其中，所述处理器被配置为执行所述指令，以实现如本公开实施例第一方面中任一项所述的图像生成方法；或者，所述处理器被配置为执行所述指令，以实现如本公开实施例第二方面所述的图像处理模型的训练方法；或者，所述处理器被配置为执行所述指令，以实现如本公开实施例第三方面所述的图像处理方法。
79.根据本公开实施例的第八方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行时实现如本公开实施例第一方面中任一项所述的图像生成方法；或者，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行时实现如本公开实施例第二方面所述的图像处理模型的训练方法；或者，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行时实现如本公开实施例第三方面所述的图像处理方法。
80.根据本公开实施例的第九方面，提供了一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行如本公开实施例第一方面中任一项所述的图像生成方法；或者，所述计算机指令被处理器执行如本公开实施例第二方面所述的图像处理模型的训练方法；或者，所述计算机指令被处理器执行时实现如本公开实施例第三方面所述的图像处理方法。
81.在本公开实施例中，基于目标表情参数对第一隐变量进行调整，基于调整后的第二隐变量生成面部表情图像，由于在参数调整的过程中，只调整了第一隐变量中的表情参数，而对于第一隐变量中的其他参数并未进行调整，这样实现了通过表情参数控制面部图像中的表情，而不对面部表情图像中的其他因素产生影响，从而提高了获取的面部表情图像的准确率，进而降低了获取面部表情图像的难度。
82.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
83.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
84.图1是根据一示例性实施例示出的一种图像生成方法的流程图；
85.图2是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图；
86.图3是根据一示例性实施例示出的一种图像处理方法的流程图；
87.图4是根据一示例性实施例示出的一种编码器和解码器的训练方法的流程图；
88.图5是根据一示例性实施例示出的一种编码器和解码器的训练方法的流程图；
89.图6是根据一示例性实施例示出的一种三维重建网络的工作流程示意图；
90.图7是根据一示例性实施例示出的一种图像生成模型的工作流程示意图；
91.图8是根据一示例性实施例示出的一种图像生成方法的流程图；
92.图9是根据一示例性实施例示出的一种图像生成方法的流程图；
93.图10是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图；
94.图11是根据一示例性实施例示出的一种图像处理方法的流程图；
95.图12是根据一示例性实施例示出的一种图像生成装置的框图；
96.图13是根据一示例性实施例示出的一种图像处理模型的训练装置的框图；
97.图14是根据一示例性实施例示出的一种图像处理装置的框图；
98.图15是根据一示例性实施例示出的一种终端的框图；
99.图16是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
100.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
101.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
102.随着图像处理技术的发展，进行图像处理的方式越来越多。例如，通过不同的图像处理模型执行不同的图像处理任务。在使用图像处理模型执行图像处理任务之前，通常需要对图像处理模型进行模型训练。在模型训练的过程中，需要用到大量的样本图像。例如，在进行表情控制的图像处理任务中，训练图像处理模型需要获取多个人脸表情图像。
103.相关技术中，通过拍摄图像的方法，采集多个人脸图像。这个过程中，为了保证采集到的多个人脸图像能够符合图像处理模型的训练需求，通过控制图像采集过程中除人脸表情外的其他图像因素不发生变化来采集多个人脸表情图像。
104.上述相关技术中，需要保证除人脸表情以外的其他图像因素均不发生变化，因此，需要保证被拍摄的人在保持静止的情况下变换不同的表情，该过程中控制人静止的合格率较低，造成获取样本图像的难度较高。
105.本公开实施例提供的方法能够应用在生成样本图像的场景下。例如，训练图像处理模型的场景。
106.在一些实施例中，通过本公开实施例提供的方法，能够根据需要生成同一目标对象的多个面部表情图像。相应的，该过程中更改表情参数，能够生成同一目标对象的不同面部表情的多个面部表情图像，基于该多个面部表情图像进行模型训练。
107.在一些实施例中，通过本公开实施例提供的方法，能够根据需要生成相同表情的不同目标对象的面部表情图像。相应的，该过程中更改初始图像参数，能够生成同一表情的多个面部表情图像，基于该多个面部表情图像进行模型训练。
108.在一些实施例中，通过本公开实施例提供的方法还能够通过相同表情的一组图像对图像处理模型进行模型训练，使得训练完成的图像处理模型能够对其他表情的图像进行处理，得到目标表情的图像。
109.图1是根据一示例性实施例示出的一种图像生成方法的流程图，如图1所示，图像生成方法包括以下步骤。
110.在步骤s11中，确定用于生成人脸图像的第一隐变量。
111.在步骤s12中，将该第一隐变量输入至编码器，得到该第一隐变量的面部特征。
112.在步骤s13中，获取目标表情参数。
113.在步骤s14中，将该第一隐变量的面部特征和该目标表情参数输入至解码器中，通过该解码器将该第一隐变量对应的表情参数调整为该目标表情参数，得到第二隐变量。
114.在步骤s15中，基于该第二隐变量，生成该目标表情参数对应的面部表情图像。
115.在本公开实施例中，基于目标表情参数对第一隐变量进行调整，基于调整后的第二隐变量生成面部表情图像，由于在参数调整的过程中，只调整了第一隐变量中的表情参数，而对于第一隐变量中的其他参数并未进行调整，这样实现了通过表情参数控制面部图像中的表情，而不对面部表情图像中的其他因素产生影响，从而提高了获取的面部表情图像的准确率，进而降低了获取面部表情图像的难度。
116.图2是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图，如图2所示，图像处理模型的训练方法包括以下步骤。
117.在步骤s21中，获取第二目标图像。
118.在步骤s22中，基于该第二目标图像生成多个面部图像，该多个面部图像的面部表情与该第二目标图像的面部表情相同，该多个面部图像基于本公开实施例的第一方面该的图像生成方法生成。
119.在步骤s23中，将该第二目标图像和该多个面部图像确定为样本集合。
120.在步骤s24中，将第三目标图像输入至待训练的图像处理模型，通过该待训练的图像处理模型对该第三目标图像的面部特征进行更改，得到第四目标图像，该第三目标图像为该样本集合中的任一图像。
121.在步骤s25中，根据该第四目标图像与该第三图像的差值，确定该图像处理模型的模型损失参数。
122.在步骤s26中，根据该模型损失参数对该待处理的图像处理模型进行参数调整，得到训练完成的图像处理模型。
123.在本公开实施例中，通过模型生成样本集合对待训练的图像处理模型进行模型训练，这样无需采集样本集合，简化了模型训练过程中获取样本集合的过程，提高了模型训练的效率。
124.图3是根据一示例性实施例示出的一种图像处理方法的流程图，如图3所示，图像处理方法包括以下步骤。
125.在步骤s31中，获取待更改面部表情的图像和目标表情图像。
126.在步骤s32中，将该目标表情图像输入至三维重建网络，得到目标表情参数，该目标表情参数为该目标表情图像的表情参数。
127.在步骤s33中，将该待更改面部表情的图像和该目标表情参数输入至图像处理模型，得到更改面部表情后的图像，该更改面部表情后的图像的面部表情与该目标表情图像的面部表情相同。
128.在本公开实施中，通过图像处理模型对待更改面部表情的图像进行图像处理，使得该待更改面部表情的图像的表情的目标表情，从而实现对图像中面部表情的控制，简化了更改图像中面部表情的过程，提高了更改面部表情的精准度。
129.在本公开实施例提供的方法中，通过目标表情参数对第一隐变量进行调整的过程一般通过编码器和解码器实现。因此，在通过编码器和解码器对第一隐变量进行调整之前，需要对待训练的编码器和待训练的解码器进行训练，得到该编码器和解码器。参见图4，图4是根据一示例性实施例示出的一种编码器和解码器的训练方法的流程图，如图4所示，该方法包括以下步骤。
130.在步骤s41中，获取待训练的编码器、待训练的解码器、样本图像和第一样本隐变量。
131.其中，该待训练的编码器和待训练的解码器为开发人员设计的编码器和解码器。该待训练的编码器用于对输入数据进行编码，降低输入数据的维度。该待训练的解码器用于对编码器输出的数据进行解码。一般该待训练的编码器和待训练的解码器为以循环神经网络作为基础结构的神经网络。
132.该样本图像为包括面部特征的图像。面部特征为人、动物等能够产生表情的面部特征。该第一样本隐变量为待生成的面部图像的面部参数，用于指示表情对应的面部特征。
133.该第一样本隐变量与用于生成图像的图像生成模型要求的参数格式匹配，使得图像生成模型能够基于该第一样本隐变量生成图像。在一些实施例中，电子设备直接获取该第一样本隐变量。例如，接收用户输入的第一样本隐变量。在一些实施例中，电子设备获取样本图像参数，从该样本图像参数中，获取第一样本隐变量。其中，该样本图像参数包括第一样本隐变量和其他图像参数。例如，该其他图像参数包括图像背景参数、图像亮度参数、形状参数、纹理参数、目标对象的位置参数、目标对象的姿态参数中的至少一种。
134.需要说明的一点是，在本公开实施例中，对获取待训练的编码器和待训练的解码器的过程，以及获取样本图像和第一样本隐变量的过程的顺序不作具体限定。
135.在步骤s42中，通过该待训练的编码器和该待训练的解码器，将该第一样本隐变量对应的表情参数调整为该样本图像对应的表情参数，得到第二样本隐变量。
136.其中，第一样本隐变量对应的表情参数为第一样本隐变量中用于体现生成的图像的表情的参数。样本图像对应的表情参数为给样本图像中目标对象的表情所对应的参数。
137.在本步骤中，参见图5，提取样本图像对应的表情参数，基于该样本图像对应的表情参数对第一样本隐变量对应的表情参数进行调整，该过程通过以下步骤(1)
‑
(3)实现，包括：
138.(1)将该样本图像输入至三维重建网络，得到该样本图像对应的表情参数。
139.该三维重建网络能够提取样本图像的图像参数。在一些实施例中，该三维重建网络为用于提取图像中的表情参数的三维重建网络。相应的，将该样本图像输入至三维重建网络中，通过该三维重建网络提取样本图像的表情特征，基于该表情特征确定该样本表情参数。在一些实施例中，参见6，该三维重建网络为用于提取图像参数的三维重建网络。相应的，将样本图像输入至三维重建网络中，通过该三维重建网络提取样本图像的图像特征，基于该样本图像特征生成该样本图像的图像参数，从该样本图像的图像参数中提取样本表情参数。其中，该样本图像的图像参数至少包括样本表情参数，还包括图像背景参数、图像亮度参数、形状参数、纹理参数、目标对象的位置参数、目标对象的姿态参数中的至少一种。这些图像参数用于通过渲染器进行渲染，得到该样本图形对应的三维图像。
140.其中，该三维重建网络为任一能够提取图像参数的模型。例如，该三维重建网络为
3dmm(3d morphable model，三维人脸形变统计模型)。3dmm常用于将二维图像转换成三维图像的过程中，用于统计二维图像中的形状和纹理等特征。
141.(2)将该第一样本隐变量输入至该待训练的编码器中，得到该第一样本隐变量的面部特征。
142.继续参见图5，在本步骤中，将第一样本隐变量输入至待训练的编码器中，通过编码器对第一样本隐变量进行特征提取，得到该第一样本隐变量的面部特征。
143.(3)将该第一样本隐变量的面部特征和该样本图像对应的表情参数输入至解码器中，通过该解码器将该第一样本隐变量对应的表情参数调整为该样本图像对应的表情参数，得到该第二样本隐变量。
144.继续参见图5，在本步骤中，编码器输出第一样本隐变量的编码结果，将该编码结果与样本图像对应的表情参数输入至解码器中。该解码器用于基于该样本图像对应的表情参数，调整该第一样本隐变量的面部特征中的表情特征，将调整后的面部特征进行解码，得到第二样本隐变量。
145.在本实现方式中，基于样本图像对应的表情参数，通过待训练的编码器和待训练的解码器对第一样本隐变量进行调整，得到第二样本隐变量，保证了通过待训练的编码器和待训练的解码器能够根据获取到的第二样本隐变量进行参数调整，提高了模型训练的准确性。
146.在步骤s43中，根据第一虚拟人脸图像对应的表情参数和该样本图像对应的表情参数之间的差值，确定表情信息损失参数。
147.其中，该第一虚拟人脸图像为根据该第二样本隐变量生成的虚拟人脸图像。
148.该表情信息损失参数为基于样本图像的表情参数与基于第一样本隐变量生成的虚拟表情图像的表情参数之间的差异确定的。继续参见图5，在本步骤中，基于的第二样本隐变量生成第一虚拟人脸图像，从该第一虚拟人脸图像中提取该第一虚拟人脸图像对应的表情参数，将该第一虚拟人脸图像对应的表情参数与样本图像对应的表情参数进行对比，得到表情信息损失参数。该过程通过以下步骤(1)
‑
(3)实现，包括：
149.(1)将该第二样本隐变量输入至图像生成模型，得到第一虚拟人脸图像。
150.该图像生成模型为具有生成虚拟高清图像的能力的模型。例如，该图像生成模型为生成风格式对抗网络(stylegan，stylegenerative adversarial networks)模型。参见图7，该stylegan能够基于输入的隐变量生成图像。其中，隐变量为生成的图像的图像参数。
151.(2)将该第一虚拟人脸图像输入至该三维重建网络，得到该第一虚拟人脸图像对应的表情参数。
152.本步骤与步骤s22中的步骤(1)相似，在此不再赘述。
153.(3)根据该第一虚拟人脸图像对应的表情参数和该样本图像对应的表情参数之间的差值，确定该表情信息损失参数。
154.在本步骤中，基于第一虚拟人脸图像对应的表情参数和样本图像对应的表情参数之间的相似度，确定该面部信息损失参数。在一些实施例中，通过表情信息损失函数确定该表情信息损失参数。相应的，分别将该第一虚拟人脸图像对应的表情参数和该样本图像对应的表情参数作为该表情信息损失函数的中变量的值，确定该表情信息损失函数中的变量为该第一虚拟人脸图像对应的表情参数和该样图像对应的本表情参数时，该表情信息损失
函数的函数值，将该函数值确定为该表情信息损失参数。
155.在本实现方式中，通过第二样本隐变量生成第一虚拟人脸图像，再提取第一虚拟人脸图像的表情参数，基于样本图像对应的表情参数和从第一虚拟人脸图像提取的表情参数确定表情信息损失参数，这样通过对比第一虚拟人脸图像对应的表情参数和样本图像对应的表情参数的相似度，确定该表情信息损失参数，保证了表情信息损失参数只对表情参数进行对比，提高了表情信息损失参数的准确度。
156.另外，在本实现方式中，基于样本图像对应的表情参数，通过待训练的编码器和待训练的解码器对第一样本隐变量进行调整，通过确定调整后的第二样本隐变量生成的第一虚拟人脸图像对应的表情参数与样本图像对应的表情参数的差异，确定表情信息损失参数，以便通过该表情信息损失参数对待训练的编码器和待训练的解码器进行模型参数调整，从而保证了训练得到的编码器和解码器能够通过表情参数控制面部参数中的表情参数。
157.在步骤s44中，通过该待训练的编码器和该待训练的解码器，将该第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量。
158.其中，该第二虚拟人脸图像为根据该第一样本隐变量生成的虚拟人脸图像。继续参见图5，在本步骤中，根据第一样本隐变量生成第二虚拟人脸图像，第二虚拟人脸图像的表情参数对第二样本隐变量的表情参数进调整，得到第三样本隐变量。该过程通过以下步骤(1)
‑
(3)实现，包括：
159.(1)将该第一样本隐变量输入至图像生成网络，得到该第二虚拟人脸图像。
160.本步骤与步骤s43中的步骤(1)相似，在此不再赘述。
161.(2)将该第二虚拟人脸图像输入至三维重建网络，得到该第二虚拟人脸图像的表情参数。
162.本步骤与步骤s42中的步骤(1)相似，在此不再赘述。
163.(3)通过该待训练的编码器和该待训练的解码器，将该第二样本隐变量对应的表情参数调整为该第二虚拟人脸图像对应的表情参数，得到该第三样本隐变量。
164.本步骤与步骤s42中的步骤(3)相似，在此不再赘述。
165.在本实现方式中，基于第二虚拟人脸图像对应的表情参数，通过待训练的编码器和待训练的解码器对第二样本隐变量进行调整，得到第三样本隐变量，保证了通过待训练的编码器和待训练的解码器能够根据获取到的第三样本隐变量进行参数调整，提高了模型训练的准确性。
166.在步骤s45中，根据该第二虚拟人脸图像和第三虚拟人脸图像之间的差值，确定面部信息损失参数。
167.其中，该第三虚拟人脸图像为根据该第三样本隐变量生成的虚拟人脸图像。
168.在本步骤中，根据第三样本隐变量生成第三虚拟人脸图像，根据该第三虚拟人脸图像和第二虚拟人脸图像之间的差值，确定该面部信息损失参数。其中，根据第三样本隐变量生成第三虚拟人脸图像的过程，与步骤s23中的步骤(1)相似，在此不再赘述。
169.在一些实现方式中，分别提取第三虚拟人脸图像和第二虚拟人脸图像的图像特征，基于该两个图像的图像特征之间的相似度，确定该面部信息损失参数。在一些实施例中，通过面部信息损失函数确定该面部信息损失参数。相应的，分别将该第三虚拟人脸图像
和第二虚拟人脸图像的图像特征作为该面部信息损失函数的中变量的值，确定该面部信息损失函数中的变量为该第三虚拟人脸图像和第二虚拟人脸图像的图像特征时，该面部信息损失函数的函数值，将该函数值确定为该面部信息损失参数。
170.在本实现方式中，通过确定该第三虚拟人脸图像和第二虚拟人脸图像之间的图像差异，确定该面部信息损失参数，以便通过该面部信息损失参数对待训练的编码器和待训练的解码器进行模型参数调整，从而保证了训练得到的编码器和解码器能够通过表情参数控制面部参数中的表情参数，而不对面部参数生成的图像产生影响，提高了编码器和解码器的准确性。
171.在步骤s46中，基于该表情信息损失参数和该面部信息损失参数，对该待训练的编码器和该待训练的解码器进行模型训练，得到训练完成的编码器和解码器。
172.表情信息损失参数和面部信息损失参数收敛指表情信息损失参数小于第一预设阈值，和/或，面部信息损失参数小于第二预设阈值，确定完成训练。其中，第一预设阈值和第二预设阈值根据需要进行设置，且第一预设阈值和第二预设阈值相同或者不同，在本公开实施例中，对此均不作具体限定。
173.在本步骤中，响应于表情信息损失参数和面部信息损失参数中存在至少一个损失参数不小于其对应的预设阈值，则通过该编码器和该解码器确定的表情信息损失参数和面部信息损失参数不收敛，继续执行步骤s43
‑
s45，对编码器和解码器的参数进行调整，直到通过该编码器和该解码器确定的表情信息损失参数和面部信息损失参数收敛，得到训练完成的编码器和解码器。
174.在本公开实施例中，通过表情信息损失参数和面部信息损失参数对编码器和解码器进行训练，使得训练得到的编码器和解码器能够基于表情参数调整面部参数，生成调整后的面部参数，这样在生成面部表情图像的过程中，能够基于调整后的面部参数，生成该表情参数对应的准确定的面部表情图像，提高了获取面部表情图像的精确度，降低了获取面部表情图像的难度。
175.在完成编码器和解码器的训练后，能够基于编码器和解码器对第一隐变量进行调整，再基于调整后的第二隐变量生成图像。参见图8，将第一隐变量输入至编码器中，通过将编码器输出的面部特征与表情参数输入解码器中，通过解码器进行解码，得到第二隐变量，将该第二隐变量输入至图像生成模型，得到面部表情图像。在本公开实施例提供的方法中，通过编码器和解码器，实现对第一隐变量中表情参数的控制，从而生成目标表情参数的面部表情图像。参见图9，图9是根据一示例性实施例示出的一种图像生成方法的流程图，如图9所示，该方法包括以下步骤。
176.在步骤s91中，确定用于生成人脸图像的第一隐变量。
177.在一些实施例中，事先存储不同面部图像对应的第一隐变量，在本步骤中直接调用事先存储的任一第一隐变量。在一些实施例中，接收用户输入的第一隐变量。其中，该第一隐变量为与图像生成模型匹配的面部参数，以便图像生成模型能够基于该第一隐变量生成面部图像。
178.需要说明的一点是，该第一隐变量与第一样本隐变量相同或者不同，在本公开实施例中，对此不作具体限定。
179.在步骤s92中，将该第一隐变量输入至编码器，得到该第一隐变量的面部特征。
180.本步骤与步骤s42中的步骤(2)相似，在此不再赘述。
181.在步骤s93中，确定目标表情参数。
182.在一些实施例中，事先存储多种表情参数，在本步骤中，从事先存储的多种表情参数中确定该目标表情参数。其中，该事先存储的多种表情参数为用户输入的表情参数，或者，为模型训练过程中存储的样本图像的表情参数。相应的，在训练编码器和解码器的过程中，将提取的样本图像的表情参数进行存储。
183.在一些实施例中，从目标图像中提取该目标表情参数。该过程通过步骤(1)
‑
(2)实现，包括：
184.(1)获取第一目标图像。
185.该第一目标图像为用于确认的具有目标面部表情的图像。在一些实施例中，接收用户输入的第一目标图像。
186.(2)将该第一目标图像输入至三维重建网络，得到该目标表情参数。
187.本步骤与步骤s42中的步骤(1)相似，在此不再赘述。
188.在本实现方式中，通过提取第一目标图像中的表情参数确定该表情参数，使表情参数可视化，提高了确定的表情参数的准确性。
189.在步骤s94中，将该第一隐变量的面部特征和该目标表情参数输入至解码器中，得到该调整后的面部特征。
190.该解码器用于基于该表情参数，调整该面部特征中的表情特征。
191.在步骤s95中，通过解码器对该调整后的面部特征进行解码，得到第二隐变量。
192.在步骤s96中，基于该第二隐变量，生成该目标表情参数面部表情图像。
193.该过程与步骤s43中的步骤(1)相似，在此不再赘述。
194.在本公开实施例中，基于目标表情参数对第一隐变量进行调整，基于调整后的第二隐变量生成面部表情图像，由于在参数调整的过程中，只调整了第一隐变量中的表情参数，而对于第一隐变量中的其他参数并未进行调整，这样实现了通过表情参数控制面部图像中的表情，而不对面部表情图像中的其他因素产生影响，从而提高了获取的面部表情图像的准确率，进而降低了获取面部表情图像的难度。
195.需要说明的一点是，在执行完步骤s91
‑
s96后，能够重新调整目标表情参数或者调整第一隐变量再重复执行步骤s91
‑
s96，实现得到多张图像。相应的，在一些实施例中，更改表情参数，得到新的表情参数；基于该第一隐变量和该新的表情参数，生成新的面部表情图像。在一些实施例中，更改第一隐变量，得到新的第一隐变量；基于该新的第一隐变量和该表情参数生成新的面部表情图像。
196.在本实现方式中，通过更改表情参数得到同一目标对象的不同面部表情图像，或者，通过更改第一隐变量得到相同表情的不同目标对象的面部表情图像，从而实现在对面部表情处理模型进行模型训练的过程中，能够基于不同的面部表情处理模型的要求，对面部表情图像进行标注，得到不同的训练样本，实现对面部表情处理模型进行模型训练，从而降低了获取模型训练的训练样本的难度。
197.在一些实施例中，通过步骤s91
‑
s96生成多组样本图像，根据该多组样本图像训练图像处理模型，基于训练的图像处理模型对待处理的图像进行图像处理。参见图10，图10是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图，如图10所示，该方法
包括以下步骤。
198.在步骤s101中，获取第二目标图像。
199.本步骤与步骤s93中的步骤(1)相似，再次不再赘述。
200.在步骤s102中，基于该第二目标图像生成多个面部图像。
201.其中，该多个面部图像的面部表情与该第二目标图像的面部表情相同，该多个面部图像基于上述图像生成方法生成。相应的，在本步骤中，将第二目标图像的表情参数作为目标表情参数，通过步骤s91
‑
s96生成多个面部图像。
202.在步骤s103中，将该第二目标图像和该多个面部图像确定为样本集合。
203.在本步骤中，将同一第二目标图像对应的多个面部图像确定为一个样本集合。
204.在步骤s104中，将第三目标图像输入至待训练的图像处理模型，通过该待训练的图像处理模型对该第三目标图像的面部特征进行更改，得到第四目标图像。
205.该第三目标图像为该样本集合中的任一图像。
206.在本步骤中，从样本集合中随机确定第三目标图像，将该第三目标图像输入至待训练的图像处理模型，得到第四目标图像。
207.在步骤s105中，根据该第四目标图像与该第三图像的差值，确定该图像处理模型的模型损失参数。
208.在本步骤中，确定第三目标图像和第四目标图像的图像特征，根据第三目标图像和第四目标图像的图像特征，确定第三目标图像和第四目标图像之间的差值，进而确定该模型损失参数。其中，该模型损失参数与第三图像和第四图像之间的差值正相关。
209.在步骤s106中，根据该模型损失参数对该待处理的图像处理模型进行参数调整，得到训练完成的图像处理模型。
210.响应于该模型损失参数小于第三预设阈值，确定该图像处理模型训练完成。响应于该模型损失参数不小于第三预设阈值，调整该图像处理模型的模型参数，重新执行步骤s101
‑
106，直到该模型损失参数小于第三预设阈值。
211.在本公开实施例中，通过模型生成样本集合对待训练的图像处理模型进行模型训练，这样无需采集样本集合，简化了模型训练过程中获取样本集合的过程，提高了模型训练的效率。
212.在训练完图像处理模型后，能够通过该图像处理模型队待更改面部表情的图像进行面部表情更改。参见图11，图11是根据一示例性实施例示出的一种图像处理方法的流程图，如图11所示，该方法包括以下步骤。
213.在步骤s111中，获取待更改面部表情的图像和目标表情图像。
214.在步骤s112中，将该目标表情图像输入至三维重建网络，得到目标表情参数。
215.该目标表情参数为该目标表情图像的表情参数。
216.本步骤与步骤s22中的步骤(1)相似，再次不再赘述。
217.在步骤s113中，将该待更改面部表情的图像和该目标表情参数输入至图像处理模型，得到更改面部表情后的图像。
218.该更改面部表情后的图像的面部表情与该目标表情图像的面部表情相同。
219.在本公开实施中，通过图像处理模型对待更改面部表情的图像进行图像处理，使得该待更改面部表情的图像的表情的目标表情，从而实现对图像中面部表情的控制，简化
了更改图像中面部表情的过程，提高了更改面部表情的精准度。
220.图12是根据一示例性实施例示出的一种图像生成装置框图。参照图12，该装置包括第一确定单元1201，编码单元1202，第一获取单元1203，解码单元1204和第一生成单元1205。
221.第一确定单元1201，被配置为执行确定用于生成人脸图像的第一隐变量；
222.编码单元1202，被配置为执行将该第一隐变量输入至编码器，得到该第一隐变量的面部特征；
223.第一获取单元1203，被配置为执行获取目标表情参数；
224.解码单元1204，被配置为执行将该第一隐变量的面部特征和该目标表情参数输入至解码器中，通过该解码器将该第一隐变量对应的表情参数调整为该目标表情参数，得到第二隐变量；
225.第一生成单元1205，被配置执行基于该第二隐变量，生成该目标表情参数对应的面部表情图像。
226.在一些实施例中，该编码器和该解码器的训练装置包括：
227.第二获取单元，被配置为执行获取待训练的编码器、待训练的解码器、样本图像和第一样本隐变量；
228.第一参数调整单元，被配置为执行通过该待训练的编码器和该待训练的解码器，将该第一样本隐变量对应的表情参数调整为该样本图像对应的表情参数，得到第二样本隐变量；
229.第二确定单元，被配置为执行根据第一虚拟人脸图像对应的表情参数和该样本图像对应的表情参数之间的差值，确定表情信息损失参数，该第一虚拟人脸图像为根据该第二样本隐变量生成的虚拟人脸图像；
230.第二参数调整单元，被配置为执行通过该待训练的编码器和该待训练的解码器，将该第二样本隐变量对应的表情参数调整为第二虚拟人脸图像对应的表情参数，得到第三样本隐变量，该第二虚拟人脸图像为根据该第一样本隐变量生成的虚拟人脸图像；
231.第三确定单元，被配置为执行根据该第二虚拟人脸图像和第三虚拟人脸图像之间的差值，确定面部信息损失参数，该第三虚拟人脸图像为根据该第三样本隐变量生成的虚拟人脸图像；
232.第一模型训练单元，被配置为执行基于该表情信息损失参数和该面部信息损失参数，对该待训练的编码器和该待训练的解码器进行模型训练，得到训练完成的编码器和解码器。
233.在一些实施例中，该第一参数调整单元包括：
234.第一参数提取子单元，被配置为执行将该样本图像输入至三维重建网络，得到该样本图像对应的表情参数；
235.编码子单元，被配置为执行将该第一样本隐变量输入至该待训练的编码器中，得到该第一样本隐变量的面部特征；
236.解码子单元，被配置为执行将该第一样本隐变量的面部特征和该样本图像对应的表情参数输入至解码器中，通过该解码器将该第一样本隐变量对应的表情参数调整为该样本图像对应的表情参数，得到该第二样本隐变量。
237.在一些实施例中，该第二参数调整单元包括：
238.图像生成子单元，被配置为执行将该第一样本隐变量输入至图像生成网络，得到该第二虚拟人脸图像；
239.第二参数提取子单元，被配置为执行将该第二虚拟人脸图像输入至三维重建网络，得到该第二虚拟人脸图像的表情参数；
240.参数调整子单元，被配置为执行通过该待训练的编码器和该待训练的解码器，将该第二样本隐变量对应的表情参数调整为该第二虚拟人脸图像对应的表情参数，得到该第三样本隐变量。
241.在一些实施例中，该第一获取单元1203被配置为执行获取第一目标图像；将该第一目标图像输入至三维重建网络，得到该目标表情参数。
242.在本公开实施例中，基于目标表情参数对第一隐变量进行调整，基于调整后的第二隐变量生成面部表情图像，由于在参数调整的过程中，只调整了第一隐变量中的表情参数，而对于第一隐变量中的其他参数并未进行调整，这样实现了通过表情参数控制面部图像中的表情，而不对面部表情图像中的其他因素产生影响，从而提高了获取的面部表情图像的准确率，进而降低了获取面部表情图像的难度。
243.图13是根据一示例性实施例示出的一种图像处理模型的训练装置框图。参照图13，该装置包括第三获取单元1301，第二生成单元1302，第四确定单元1303，第一获取单元1203，第一特征更改单元1304，第五确定单元1305和第二模型训练单元1306。
244.第三获取单元1301，被配置为执行获取第二目标图像；
245.第二生成单元1302，被配置执行基于该第二目标图像生成多个面部图像，该多个面部图像的面部表情与该第二目标图像的面部表情相同，该多个面部图像基于本公开实施例第四方面任一项该的图像生成装置生成；
246.第四确定单元1303，被配置为执行将该第二目标图像和该多个面部图像确定为样本集合；
247.第一特征更改单元1304，被配置为执行将第三目标图像输入至待训练的图像处理模型，通过该待训练的图像处理模型对该第三目标图像的面部特征进行更改，得到第四目标图像，该第三目标图像为该样本集合中的任一图像；
248.第五确定单元1305，被配置为执行根据该第四目标图像与该第三图像的差值，确定该图像处理模型的模型损失参数；
249.第二模型训练单元1306，被配置为执行根据该模型损失参数对该待处理的图像处理模型进行参数调整，得到训练完成的图像处理模型。
250.在本公开实施例中，通过模型生成样本集合对待训练的图像处理模型进行模型训练，这样无需采集样本集合，简化了模型训练过程中获取样本集合的过程，提高了模型训练的效率。
251.图14是根据一示例性实施例示出的一种图像处理装置框图。参照图14，该装置包括第四获取单元1401，参数提取单元1402和第二特征更改单元1403。
252.第四获取单元1401，被配置为执行获取待更改面部表情的图像和目标表情图像；
253.参数提取单元1402，被配置为执行将该目标表情图像输入至三维重建网络，得到目标表情参数，该目标表情参数为该目标表情图像的表情参数；
254.第二特征更改单元1403，被配置为执行将该待更改面部表情的图像和该目标表情参数输入至图像处理模型，得到更改面部表情后的图像，该更改面部表情后的图像的面部表情与该目标表情图像的面部表情相同。
255.在本公开实施中，通过图像处理模型对待更改面部表情的图像进行图像处理，使得该待更改面部表情的图像的表情的目标表情，从而实现对图像中面部表情的控制，简化了更改图像中面部表情的过程，提高了更改面部表情的精准度。
256.电子设备为终端或服务器。在一些实施例中，电子设备为用于提供本公开所提供的图像生成方法的终端。图15示出了本公开一个示例性实施例提供的终端1500的结构框图。在一些实施例中，该终端1500是便携式移动终端，比如：智能手机、平板电脑、mp3(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)播放器、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
257.通常，终端1500包括有：处理器1501和存储器1502。
258.在一些实施例中，处理器1501包括一个或多个处理核心，比如4核心处理器、8核心处理器等。在一些实施例中，处理器1501采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中，处理器1501也包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
259.在一些实施例中，存储器1502包括一个或多个计算机可读存储介质，该计算机可读存储介质是非暂态的。存储器1502还包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1501所执行以实现本公开中方法实施例提供的图像生成方法。
260.在一些实施例中，终端1500还可选包括有：外围设备接口1503和至少一个外围设备。在一些实施例中，处理器1501、存储器1502和外围设备接口1503之间通过总线或信号线相连。各个外围设备通过总线、信号线或电路板与外围设备接口1503相连。可选地，外围设备包括：射频电路1504、显示屏1505、摄像头组件1506、音频电路1507、定位组件1508和电源1509中的至少一种。
261.外围设备接口1503可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个在单独的芯片或电路板上实现，本实施例对此不加以限定。
262.射频电路1504用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1504包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。在一些实施例中，射频电路1504通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路1504还包括nfc(near field communication，近距离无线通信)有关的电路，本公开对此不加以限定。
263.显示屏1505用于显示ui(user interface，用户界面)。在一些实施例中，该ui包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。在一些实施例中，该触摸信号作为控制信号输入至处理器1501进行处理。此时，显示屏1505还用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505为一个，设置在终端1500的前面板；在另一些实施例中，显示屏1505为至少两个，分别设置在终端1500的不同表面或呈折叠设计；在另一些实施例中，显示屏1505是柔性显示屏，设置在终端1500的弯曲表面上或折叠面上。甚至，显示屏1505还设置成非矩形的不规则图形，也即异形屏。在一些实施例中显示屏1505采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode，有机发光二极管)等材质制备。
264.摄像头组件1506用于采集图像或视频。可选地，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还包括闪光灯。闪光灯是单色温闪光灯，或者，是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，用于不同色温下的光线补偿。
265.在一些实施例中，音频电路1507包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。在一些实施例中，出于立体声采集或降噪的目的，麦克风为多个，分别设置在终端1500的不同部位。在一些实施例中，麦克风还是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。在一些实施例中，扬声器是传统的薄膜扬声器，或者，是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅能够将电信号转换为人类可听见的声波，也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还包括耳机插孔。
266.定位组件1508用于定位终端1500的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。在一些实施例中，定位组件1508是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
267.电源1509用于为终端1500中的各个组件进行供电。在一些实施例中，电源1509是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时，该可充电电池是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还用于支持快充技术。
268.在一些实施例中，终端1500还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于：加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
269.在一些实施例中，加速度传感器1511检测以终端1500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1511用于检测重力加速度在三个坐标轴上的分量。在一些实施例中，处理器1501根据加速度传感器1511采集的重力加速度信号，控制显示屏1505以横向视图或纵向视图进行用户界面的显示。在一些实施例中，加速度传感器1511还用于游戏或者用户的运动数据的采集。
270.在一些实施例中，陀螺仪传感器1512检测终端1500的机体方向及转动角度，陀螺仪传感器1512与加速度传感器1511协同采集用户对终端1500的3d动作。处理器1501根据陀螺仪传感器1512采集的数据，能够实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
271.在一些实施例中，压力传感器1513设置在终端1500的侧边框和/或显示屏1505的下层。当压力传感器1513设置在终端1500的侧边框时，能够检测用户对终端1500的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在显示屏1505的下层时，由处理器1501根据用户对显示屏1505的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
272.指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。在一些实施例中，指纹传感器1514被设置在终端1500的正面、背面或侧面。在一些实施例中，当终端1500上设置有物理按键或厂商logo时，指纹传感器1514与物理按键或厂商logo集成在一起。
273.光学传感器1515用于采集环境光强度。在一个实施例中，处理器1501根据光学传感器1515采集的环境光强度，控制显示屏1505的显示亮度。具体地，当环境光强度较高时，调高显示屏1505的显示亮度；当环境光强度较低时，调低显示屏1505的显示亮度。在另一个实施例中，处理器1501还根据光学传感器1515采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
274.接近传感器1516，也称距离传感器，通常设置在终端1500的前面板。接近传感器1516用于采集用户与终端1500的正面之间的距离。在一个实施例中，当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变小时，由处理器1501控制显示屏1505从亮屏状态切换为息屏状态；当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变大时，由处理器1501控制显示屏1505从息屏状态切换为亮屏状态。
275.本领域技术人员能够理解，图15中示出的结构并不构成对终端1500的限定，能够
包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
276.在一些实施例中，电子设备为用于提供本公开所提供的图像生成方法的服务器。图16示出了本公开一个示例性实施例提供的服务器1600的结构框图。在一些实施例中，该服务器1600可因配置或性能不同而产生比较大的差异，包括一个或一个以上处理器(central processing units，cpu)1601和一个或一个以上的存储器1602，其中，所述存储器801中存储有至少一条指令，所述至少一条指令由所述处理器1601加载并执行以实现上述各个方法实施例提供的目标对象的检索方法。当然，在一些实施例中，该服务器1600还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1600还包括其他用于实现设备功能的部件，在此不做赘述。
277.本公开实施例还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1
‑
7中任一项该的图像生成方法。
278.本公开实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行时实现如本公开实施例第一方面中任一项所述的图像生成方法；或者，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行时实现如本公开实施例第二方面所述的图像处理模型的训练方法；或者，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行时实现如本公开实施例第三方面所述的图像处理方法。
279.本公开实施例还提供了一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行如本公开实施例第一方面中任一项所述的图像生成方法；或者，所述计算机指令被处理器执行如本公开实施例第二方面所述的图像处理模型的训练方法；或者，所述计算机指令被处理器执行时实现如本公开实施例第三方面所述的图像处理方法。
280.本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，程序能存储于一种计算机可读存储介质中，上述提到的存储介质是只读存储器、磁盘或光盘等。
281.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中执行了详细描述，此处将不做详细阐述说明。
282.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且能够在不脱离其范围执行各种修改和改变。本公开的范围仅由所附的权利要求来限制。