图像生成模型的训练方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，具体涉及深度学习、计算机视觉等人工智能技术领域，尤其涉及图像生成模型的训练方法、装置、电子设备及存储介质。


背景技术：

2.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
3.相关技术中的图像生成模型，所生成的图像的特征表现维度较为单一，导致图像生成质量不高，图像生成效果不佳。


技术实现要素：

4.本公开提供了一种图像生成模型的训练方法、图像生成方法、装置、电子设备、存储介质及计算机程序产品。
5.根据本公开的第一方面，提供了一种图像生成模型的训练方法，包括：获取多个样本角色图像，所述样本角色图像具有对应的样本角色标签；确定样本属性标签；获取与所述样本属性标签对应的多个样本属性图像；以及根据所述多个样本角色图像、所述多个样本属性图像、所述样本角色标签，以及所述样本属性标签训练初始图像生成模型，以得到目标图像生成模型。
6.根据本公开的第二方面，提供了一种图像生成方法，包括：获取待处理角色特征和待处理属性特征；将所述待处理角色特征和待处理属性特征输入至如本公开第一方面的图像生成模型的训练方法训练得到的目标图像生成模型之中，以得到所述目标图像生成模型输出的目标图像。
7.根据本公开的第三方面，提供了一种图像生成模型的训练装置，包括：第一获取模块，用于获取多个样本角色图像，所述样本角色图像具有对应的样本角色标签；确定模块，用于确定样本属性标签；第二获取模块，用于获取与所述样本属性标签对应的多个样本属性图像；以及训练模块，用于根据所述多个样本角色图像、所述多个样本属性图像、所述样本角色标签，以及所述样本属性标签训练初始图像生成模型，以得到目标图像生成模型。
8.根据本公开的第四方面，提供了一种图像生成装置，包括：第三获取模块，用于获取待处理角色特征和待处理属性特征；生成模块，用于将所述待处理角色特征和待处理属性特征输入至如本公开第三方面的图像生成模型的训练装置训练得到的目标图像生成模型之中，以得到所述目标图像生成模型输出的目标图像。
9.根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指
令被至少一个处理器执行，以使至少一个处理器能够执行如本公开第一方面所述的图像生成模型的训练方法，或者执行如本公开第二方面所述的图像生成方法。
10.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如本公开第一方面所述的图像生成模型的训练方法，或者执行如本公开第二方面所述的图像生成方法。
11.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开第一方面所述的图像生成模型的训练方法的步骤，或者执行如本公开第二方面所述的图像生成方法的步骤。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1是根据本公开第一实施例的示意图；
15.图2是根据本公开第二实施例的示意图；
16.图3是根据本公开第三实施例的示意图；
17.图4是根据本公开第四实施例的示意图；
18.图5是根据本公开第五实施例的示意图；
19.图6是根据本公开第六实施例的示意图；
20.图7是根据本公开第七实施例的示意图；
21.图8示出了可以用来实施本公开实施例的图像生成模型的训练方法的示例电子设备的示意性框图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.图1是根据本公开第一实施例的示意图。
24.其中，需要说明的是，本实施例的图像生成模型的训练方法的执行主体为图像生成模型的训练装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
25.本公开实施例涉及计算机技术领域，具体涉及深度学习、计算机视觉等人工智能技术领域。
26.其中，人工智能(artificial intelligence)，英文缩写为ai。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
27.深度学习，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
28.计算机视觉，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
29.如图1所示，该图像生成模型的训练方法，包括：
30.s101：获取多个样本角色图像，样本角色图像具有对应的样本角色标签。
31.其中，用于训练图像生成模型的角色图像，即可以被称为样本角色图像，而角色图像可以具体例如为描述角色(其中，角色例如人物角色、动物角色等)的图像，具体，可以例如为描述动漫人物角色的图像、描述网游人物角色的图像，或者是描述手游人物角色的图像等，对此不做限制。
32.本公开实施例中，可以是从高质量的图像库中，获取多个样本角色图像，即可以获取游戏网站中，专业原画设计师的高质量人物角色设计图，并将该人物角色设计图作为多个样本角色图像，对此不做限制。
33.其中，用于描述样本角色的特征标签，即可以被称为样本角色标签，样本角色标签可以具体例如为样本形象特征标签、样本性格标签等，对此不做限制。
34.其中，样本形象特征标签可以具体例如为黑色头发，棕色眼睛等，样本性格特征标签可以具体例如为冲动，乐观等，对此不做限制。
35.本公开实施例中，在获取多个样本角色图像后，可以将多个样本角色图像输入预先训练好的卷积神经网络(convolutional neural network，cnn)中，以得到cnn输出的多个样本形象特征标签。
36.本公开实施例中，在获取多个样本角色图像后，可以将多个样本角色图像输入预先训练好的计算机视觉神经网络(computer vision neural network，nncv)，和人格诊断神经网络(personality diagnostics neural network，nnpd)中，以得到nncv和nnpd输出的多个样本性格特征标签。
37.上述在得到多个样本形象特征标签和样本性格特征标签后，可以将多个样本形象特征标签和样本属性特征标签共同作为样本角色标签。
38.需要说明的是，本公开实施例中，关于样本角色图像的获取，其获取过程均符合相关法律法规，且不违背公序良俗。
39.s102：确定样本属性标签。
40.其中，用于描述一些属性的特征标签，即可以被称为样本属性标签，样本属性标签可以具体例如为样本场景标签，样本服装标签，样本道具标签等，对此不做限制。
41.其中，该属性，可以是与上述的角色相关的，能够体现出该角色所处场景、所穿戴服装、所持道具类型和特征的一些属性，对此不做限制。
42.举例而言，确定样本属性标签，可以是确定纯白雪景、暗黑森林等样本场景标签，金色铠甲、黑色披风等样本服装标签，银色斧头、长剑等样本道具标签等样本属性标签，对此不做限制。
43.本公开实施例中，多个样本角色图像可以具有场景，服装，道具等多种属性，由此可以根据样本角色图像的多种属性，确定相应的样本属性标签。
44.举例而言，确定样本属性标签可以是将具有多种属性的样本角色图像输入预先训练好的卷积神经网络(convolutional neural network，cnn)模型中，以得到cnn模型输出的多个样本属性标签，对此不做限制。
45.s103：获取与样本属性标签对应的多个样本属性图像。
46.其中，用于训练图像生成模型的属性图像，即可以被称为样本属性图像，样本属性图像可以用于描述样本的场景，服装以及道具等属性，样本属性图像和样本角色图像可以共同构成多个样本图像。
47.也即是说，本公开实施例中，可以将样本图像划分为人物角色区域和属性区域，而后可以将人物角色区域对应的样本图像作为样本角色图像，将属性区域对应的图像作为样本属性图像。
48.上述在确定样本属性标签后，可以获取与样本属性标签对应的多个样本属性图像，当样本属性标签是样本场景标签，样本服装标签以及样本道具标签时，样本属性图像可以具体例如为样本道具图像，样本服装图像以及样本场景图像等，对此不做限制。
49.一些实施例中，获取与样本属性标签对应的多个样本属性图像，可以是根据样本属性标签，在多个样本属性图像中进行查找，以确定与样本属性标签对应的样本属性图像，对此不做限制，或者，也可以采用其他任意可能的方式，获取与样本属性标签对应的多个样本属性图像，例如，特征匹配的方式，模型预测的方式等，对此不做限制。
50.举例而言，当样本属性标签是样本场景标签时，获取与样本属性标签对应的多个样本属性图像，可以是从多个样本属性图像中，获取与样本场景标签对应的样本场景图像。
51.可选地，另一些实施例中，获取与样本属性标签对应的多个样本属性图像，可以是分别从多个样本图像中解析得到与样本属性标签对应的多个样本属性图像，由于是从多个样本图像中解析得到与样本属性标签对应的多个样本属性图像，从而有效地提升了样本属性图像的获取效率，且样本图像可以是高质量的图像库中已经形成的一些原画图像，从而在保障样本属性图像的获取效率的同时，能够有效地保障样本属性图像的质量，并使得样本属性图像与样本属性标签具备较好的适配性，从而能够有效地保障样本属性图像的可靠性。
52.也即是说，本公开实施例中，在获取样本属性标签后，可以根据样本属性标签对多个样本图像进行解析，以得到与样本属性标签对应的多个样本属性图像。
53.s104：根据多个样本角色图像、多个样本属性图像、样本角色标签，以及样本属性标签训练初始图像生成模型，以得到目标图像生成模型。
54.其中，在训练初始阶段获取得到的图像生成模型，即可以被称为初始图像生成模型，该初始图像生成模型可以是人工智能模型，具体可以例如为神经网络模型或者是机器学习模型，当然，也可以采用其他任意可能的能够执行图像生成任务的人工智能模型，对此不做限制。
55.本公开实施例中，初始图像生成模型可以具体例如为条件生成式对抗网络(conditional adversarial networks，cgan)模型，即可以根据多个样本角色图像、多个样本属性图像、样本角色标签，以及样本属性标签训练cgan模型，并将训练得到的cgan模型作为目标图像生成模型，对此不做限制。
56.上述在获取与样本属性标签对应的多个样本属性图像后，可以根据多个样本角色，多个样本属性图像，样本角色标签，以及样本属性标签训练初始图像生成模型，以得到训练好的图像生成模型，该模型即可以被称为目标图像生成模型。
57.一些实施例中，可以将多个样本角色，多个样本属性图像，样本角色标签，以及样
本属性标签输入至初始图像生成模型，以对初始图像生成模型进行迭代训练，直至训练好的图像生成模型满足一定收敛条件，将满足收敛条件的图像生成模型作为目标图像生成模型。
58.举例而言，可以针对初始图像生成模型预先配置损失函数，在训练初始图像生成模型的过程中，将多个样本角色，多个样本属性图像，样本角色标签，以及样本属性标签输入至初始图像生成模型，以得到图像生成模型的输出的预测处理结果，而后可以将预测处理结果和标注处理结果(标注处理结果可以用于辅助判定模型是否收敛)，作为损失函数的输入参数，并确定损失函数输出的损失值，而后将该损失值与设定的损失阈值进行比对，以确定是否满足收敛时机(如果满足收敛时机，则可以指示：模型收敛)，如果判定模型收敛，则可以将训练得到的图像生成模型作为目标图像生成模型。
59.本实施例中，通过获取多个样本角色图像，样本角色图像具有对应的样本角色标签，并确定样本属性标签，再获取与样本属性标签对应的多个样本属性图像，以及根据多个样本角色图像、多个样本属性图像、样本角色标签，以及样本属性标签训练初始图像生成模型，以得到目标图像生成模型，能够有效地辅助提升目标图像生成模型针对样本属性和样本角色的表达建模能力，当采用目标图像生成模型生成目标图像时，该目标图像能够表征出角色和属性维度的特征分布，有效地提升图像生成效果，提升目标图像生成模型所生成的目标图像的特征建模效果。
60.图2是根据本公开第二实施例的示意图。
61.如图2所示，该图像生成模型的训练方法，包括：
62.s201：获取多个样本角色图像，样本角色图像具有对应的样本角色标签。
63.s202：确定样本属性标签。
64.s203：获取与样本属性标签对应的多个样本属性图像。
65.s201-s203的描述说明可以具体参见上述实施例，在此不再赘述。
66.s204：根据样本角色标签，分别从多个样本角色图像中解析得到多个样本角色特征。
67.上述在确定与样本角色图像对应的样本角色标签后，可以根据样本角色标签，分别从多个样本角色图像中解析得到多个样本角色特征。
68.可选地，另一些实施例中，根据样本角色标签，分别从多个样本角色图像中解析得到多个样本角色特征，可以是根据样本角色标签，从样本角色图像中解析得到样本形象特征和样本性格特征，并将多个样本形象特征和多个样本性格特征共同作为多个样本角色特征，由于是将多个样本形象特征和多个样本性格特征共同作为多个样本角色特征，使得样本角色特征能够表征出形象维度和性格维度的特征，从而有效地拓展了样本角色特征的表征维度，避免样本角色特征的单一化，有效提升样本角色特征的多样性，且能够在有效地保障样本角色特征多样性同时，有效地提升样本角色特征的丰富性和表征能力，当基于多个样本角色特征辅助训练图像生成模型时，使得训练得到的目标图像生成模型能够生成表征形象特征和性格特征的目标图像，从而辅助提升目标图像的生成效果。
69.其中，用于描述样本角色形象的特征，即可以被称为样本形象特征，而样本形象特征可以具体例如为样本五官特征，样本脸型特征，样本头发特征等，对此不做限制。
70.其中，用于描述样本角色性格的特征，即可以被称为样本性格特征，而样本性格特
征可以具体例如为愉悦的性格特征，沮丧的性格特征，愤怒的性格特征等，对此不做限制。
71.本公开实施例中，在获取样本角色标签后，可以根据样本角色标签，从样本角色图像中解析得到样本形象特征和样本性格特征。
72.举例而言，如果获取得到的样本角色标签是黑色眼睛，小嘴巴，则可以根据样本角色标签从样本图像中解析得到样本五官特征，如果获取得到的样本角色标签是哭泣，低落，则可以根据样本角色标签从样本图像中解析得到沮丧的性格特征，对此不做限制。
73.s205：根据样本属性标签，分别从多个样本属性图像中解析得到多个样本属性特征。
74.上述在确定样本属性标签后，可以根据样本属性标签，分别从多个样本属性图像中解析得到多个样本属性特征。
75.可选地，另一些实施例中，根据样本属性标签，分别从多个样本属性图像中解析得到多个样本属性特征，可以是根据样本属性标签，从样本属性图像中解析得到样本场景特征、样本服装特征、样本道具特征，并将多个样本场景特征、多个样本服装特征，以及多个样本道具特征共同作为多个样本属性特征，由于是将样本服装特征，样本场景特征和样本道具特征共同作为多个样本属性特征，使得样本属性特征能够表征出场景维度，服装维度以及道具维度的特征，从而有效地拓展了样本属性特征的表征维度，避免样本属性特征的单一化，有效提升样本属性特征的多样性，且能够在有效地保障样本属性特征多样性同时，有效地提升样本属性特征的丰富性和表征能力，当基于多个样本属性特征辅助训练图像生成模型时，使得训练得到的目标图像生成模型能够生成表征场景维度，服装维度以及道具维度特征的目标图像，从而辅助提升目标图像的生成效果。
76.其中，用于描述样本场景的特征，即可以被称为样本场景特征，而样本场景特征可以例如为下雪的场景特征，森林的场景特征，对此不做限制。
77.其中，用于描述样本服装的特征，即可以被称为样本服装特征，而样本服装特征可以具体例如为裙装的服装特征，裤装的服装特征，对此不做限制。
78.其中，用于描述样本道具的特征，即可以被称为样本道具特征，而样本道具特征可以具体例如为持刀的道具特征，持剑的道具特征，对此不做限制。
79.本公开实施例中，在确定样本属性标签后，可以根据样本属性标签，分别从多个样本属性图像中解析得到多个样本属性特征。
80.举例而言，如果获取得到的样本属性标签是黑色森林，则可以根据样本属性标签从样本图像中解析得到森林场景的样本场景特征。
81.本公开实施例中，在获取得到多个样本属性特征后，可以剔除多个样本属性特征中，少数的样本属性特征(少数的样本属性特征是指由于样本属性分布不均匀，从而导致特征所属样本数量较少的特征)，而后可以将剔除后的其他属性特征，作为多个样本属性特征，由此能够有效地保障图像生成模型的图像生成质量。
82.s206：根据多个样本角色图像、多个样本属性图像、多个样本角色特征，以及多个样本属性特征训练初始图像生成模型，以得到目标图像生成模型。
83.上述在得到样本角色特征和样本属性特征后，可以根据样本角色特征，样本属性特征，多个样本角色图像以及多个样本属性图像训练初始图像生成模型，以得到目标图像生成模型，由此，实现将角色维度的图像和属性维度的图像均作为样本图像，来辅助训练图
像生成模型，从而有效地丰富了图像生成模型的训练数据集，保障所训练得到的目标图像生成模型对角色维度的图像和属性维度的图像的建模学习效果，从而提升了目标图像生成模型的训练效果，并且，辅助拓展了目标图像生成模型的应用场景，以及提升目标图像生成模型的应用价值。
84.可选地，一些实施例中，如图3所示，图3是根据本公开第三实施例的示意图，根据多个样本角色图像、多个样本属性图像、多个样本角色特征，以及多个样本属性特征训练初始图像生成模型，以得到目标图像生成模型，包括：
85.s301：将多个样本角色特征分别输入至初始的角色解析模型中，以得到角色解析模型输出的多个预测角色图像。
86.其中，初始的角色解析模型可以用于根据多个样本角色特征，生成相应的角色图像。
87.其中，初始的角色解析模型可以是人工智能模型，具体可以例如为神经网络模型或者是机器学习模型，对此不做限制。
88.也即是说，可以将多个样本角色特征输入至初始的角色解析模型中，以得到角色解析模型输出的多个角色图像，该角色图像即可以被称为预测角色图像。
89.s302：将多个样本属性特征分别输入至初始的预处理模型中，以得到预处理模型输出的多个预测属性图像。
90.其中，初始的预处理模型可以用于根据多个样本属性特征，生成相应的属性图像。
91.其中，初始的预处理模型可以是人工智能模型，具体可以例如为神经网络模型或者是机器学习模型，对此不做限制。
92.也即是说，可以将多个样本属性特征输入至初始的预处理模型中，以得到预处理模型输出的多个属性图像，该属性图像即可以被称为预测属性图像。
93.s303：根据多个样本角色图像、多个样本属性图像、多个预测属性图像，以及多个预测角色图像训练待训练的图像生成模型，以得到目标图像生成模型。
94.可选地，一些实施例中，根据多个样本角色图像、多个样本属性图像、多个预测属性图像，以及多个预测角色图像训练待训练的图像生成模型，以得到目标图像生成模型，可以是生成多个样本合成图像，样本合成图像由第一样本角色图像和第一样本属性图像合成得到，第一样本角色图像属于多个样本角色图像，第一样本属性图像属于多个样本属性图像，并确定与第一样本角色图像对应的第一预测角色特征，并确定与第一样本属性图像对应的第一预测属性特征，再将第一样本属性图像，以及第一预测属性特征输入至待训练的图像生成模型中，以得到图像生成模型输出的预测合成图像，以及在预测合成图像和样本合成图像之间的预测损失值满足设定条件时，则将训练得到的图像生成模型作为目标图像生成模型，由于是结合损失函数对初始图像生成模型进行训练，能够准确的判断出模型的收敛时机，从而避免其他因素对收敛时机判断准确性的影响，能够有效地提升收敛时机判定的准确性，有效地提升图像生成模型的训练效果。
95.其中，多个样本角色图像中的任一样本角色图像即可以被称为第一样本角色图像，相应地，与第一样本角色图像对应的角色特征，即可以被称为第一预测角色特征。
96.其中，多个样本属性图像中的任一样本属性图像即可以被称为第一样本属性图像，相应地，与第一样本属性图像对应的属性特征，即可以被称为第一预测属性特征。
97.本公开实施例中，可以对第一样本角色图像和第一样本属性图像进行合成处理，以得到合成处理后的图像，该图像即可以被称为样本合成图像，样本合成图像可以在图像生成模型的训练过程中，被用于辅助判定模型的收敛时机。
98.本公开实施例中，可以采用特征提取的方法，确定与第一样本角色图像对应的第一预测角色特征，并采用特征提取的方法，确定与第一样本属性图像对应的第一预测属性特征，对此不做限制。
99.本公开实施例中，在确定与第一样本角色图像对应的第一预测角色特征，并确定与第一样本属性图像对应的第一预测属性特征后，可以将第一样本属性图像，以及第一预测属性特征输入至待训练的图像生成模型中，以得到图像生成模型输出的图像，该图像即可以被称为预测合成图像。
100.其中，预测合成图像和样本合成图像，可以共同被用于判断图像生成模型是否收敛。
101.本公开实施例中，可以针对图像生成模型预先配置损失函数，在图像生成模型的训练过程中，可以将预测合成图像和样本合成图像作为损失函数的输入参数，并确定损失函数输出的预测合成图像和样本合成图像之间的预测损失值，如果预测合成图像和样本合成图像之间的预测损失值满足设定条件(设定条件可以根据实际业务场景自适应配置)，则将训练得到的图像生成模型作为目标图像生成模型。
102.当然，也可以采用其他任意可能的方式实现根据多个样本角色图像、多个样本属性图像、多个预测属性图像，以及多个预测角色图像训练待训练的图像生成模型，以得到目标图像生成模型，对此不做限制。
103.举例而言，可以将多个样本角色图像、多个样本属性图像、多个预测属性图像，以及多个预测角色图像输入待训练的图像生成模型，以得到图像生成模型的输出的预测处理结果，而后可以将预测处理结果和标注处理结果(标注处理结果可以用于辅助判定模型是否收敛)，作为损失函数的输入参数，并确定损失函数输出的损失值，而后将该损失值与设定的损失阈值进行比对，以确定是否满足收敛时机(如果满足收敛时机，则可以指示：模型收敛)，如果判定模型收敛，则可以将训练得到的图像生成模型作为目标图像生成模型。
104.本公开实施例中，通过将多个样本角色特征分别输入至初始的角色解析模型中，以得到角色解析模型输出的多个预测角色图像，并将多个样本属性特征分别输入至初始的预处理模型中，以得到预处理模型输出的多个预测属性图像，以及根据多个样本角色图像、多个样本属性图像、多个预测属性图像，以及多个预测角色图像训练待训练的图像生成模型，以得到目标图像生成模型，由于是根据多个样本角色图像、多个样本属性图像、多个预测属性图像，以及多个预测角色图像对模型进行训练，从而使得训练得到的目标图像生成模型能够自适应地生成角色维度的图像和属性维度的图像，并且能够有效地保障所生成的角色维度的图像和属性维度的图像的质量，能够有效地降低角色维度的图像和属性维度的图像的生成所需要的耗费的人力成本，较大程度地丰富了目标图像生成模型训练和应用的场景。
105.本实施例中，通过获取多个样本角色图像，样本角色图像具有对应的样本角色标签，并确定样本属性标签，再获取与样本属性标签对应的多个样本属性图像，以及根据样本角色标签，分别从多个样本角色图像中解析得到多个样本角色特征，并根据样本属性标签，
分别从多个样本属性图像中解析得到多个样本属性特征，在得到样本角色特征和样本属性特征后，可以根据样本角色特征，样本属性特征，多个样本角色图像以及多个样本属性图像训练初始图像生成模型，以得到目标图像生成模型，由此，实现将角色维度的图像和属性维度的图像均作为样本图像，来辅助训练图像生成模型，从而有效地丰富了图像生成模型的训练数据集，保障所训练得到的目标图像生成模型对角色维度的图像和属性维度的图像的建模学习效果，从而提升了目标图像生成模型的训练效果，并且，辅助拓展了目标图像生成模型的应用场景，以及提升目标图像生成模型的应用价值。
106.图4是根据本公开第四实施例的示意图。
107.其中，需要说明的是，本实施例的图像生成方法的执行主体为图像生成装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
108.如图4所示，该图像生成方法包括：
109.s401：获取待处理角色特征和待处理属性特征。
110.其中，当前待对其进行图像生成处理的角色特征，即可以被称为待处理角色特征，当前待对其进行图像生成处理的属性特征，即可以被称为待处理属性特征。
111.待处理角色特征可以例如，五官特征，脸型特征，愉悦的性格特征等，对此不做限制。
112.待处理属性特征可以例如，下雪的场景特征，裙装的服装特征，持刀的道具特征等，对此不做限制。
113.其中，该待处理角色特征和待处理属性特征，可以由原画设计师自适应输入，也即是说，可以针对图像生成装置配置特征输入接口，经由该接口接收原画设计师录入的待处理角色特征和待处理属性特征，或者，也可以采用其他任意可能的方式来实现获取待处理角色特征和待处理属性特征，对此不做限制。
114.s402：将待处理角色特征和待处理属性特征输入至如上述的图像生成模型的训练方法训练得到的目标图像生成模型之中，以得到目标图像生成模型输出的目标图像。
115.上述在获取待处理角色特征和待处理属性特征后，可以将待处理角色特征和待处理属性特征输入至如上述的图像生成模型的训练方法训练得到的目标图像生成模型之中，以得到目标图像生成模型输出的图像，该图像即可以被称为目标图像。
116.本实施例中，通过获取待处理角色特征和待处理属性特征，并将待处理角色特征和待处理属性特征输入至如上述的图像生成模型的训练方法训练得到的目标图像生成模型之中，以得到图像生成模型输出的目标图像，由于目标图像生成模型是根据样本属性标签和样本角色标签训练得到的，从而在采用训练得到的图像生成模型生成图像时，该图像能够表征出角色和属性维度的特征分布，从而能够有效地提升图像的生成质量，有效地提升图像生成模型的图像生成效果。
117.图5是根据本公开第五实施例的示意图。
118.如图5所示，该图像生成模型的训练装置50，包括：
119.第一获取模块501，用于获取多个样本角色图像，样本角色图像具有对应的样本角色标签；
120.确定模块502，用于确定样本属性标签；
121.第二获取模块503，用于获取与样本属性标签对应的多个样本属性图像；以及
122.训练模块504，用于根据多个样本角色图像、多个样本属性图像、样本角色标签，以及样本属性标签训练初始图像生成模型，以得到目标图像生成模型。
123.在本公开的一些实施例中，如图6所示，图6是根据本公开第六实施例的示意图，该图像生成模型的训练装置60，包括：第一获取模块601、确定模块602、第二获取模块603、训练模块604，其中，第二获取模块603，具体用于：
124.分别从多个样本图像中解析得到与样本属性标签对应的多个样本属性图像。
125.在本公开的一些实施例中，其中，训练模块604，包括：
126.第一解析子模块6041，用于根据样本角色标签，分别从多个样本角色图像中解析得到多个样本角色特征；
127.第二解析子模块6042，用于根据样本属性标签，分别从多个样本属性图像中解析得到多个样本属性特征；
128.训练子模块6043，用于根据多个样本角色图像、多个样本属性图像、多个样本角色特征，以及多个样本属性特征训练初始图像生成模型，以得到目标图像生成模型。
129.在本公开的一些实施例中，初始图像生成模型包括：初始的角色解析模型、初始的预处理模型，以及待训练的图像生成模型；
130.其中，训练子模块6043，包括：
131.第一生成单元60431，用于将多个样本角色特征分别输入至初始的角色解析模型中，以得到角色解析模型输出的多个预测角色图像；
132.第二生成单元60432，用于将多个样本属性特征分别输入至初始的预处理模型中，以得到预处理模型输出的多个预测属性图像；
133.训练单元60433，用于根据多个样本角色图像、多个样本属性图像、多个预测属性图像，以及多个预测角色图像训练待训练的图像生成模型，以得到目标图像生成模型。
134.在本公开的一些实施例中，其中，训练单元60433，具体用于：
135.生成多个样本合成图像，样本合成图像由第一样本角色图像和第一样本属性图像合成得到，第一样本角色图像属于多个样本角色图像，第一样本属性图像属于多个样本属性图像；
136.确定与第一样本角色图像对应的第一预测角色特征，并确定与第一样本属性图像对应的第一预测属性特征；
137.将第一样本属性图像，以及第一预测属性特征输入至待训练的图像生成模型中，以得到图像生成模型输出的预测合成图像；
138.如果预测合成图像和样本合成图像之间的预测损失值满足设定条件，则将训练得到的图像生成模型作为目标图像生成模型。
139.在本公开的一些实施例中，其中，第一解析子模块6041，具体用于：
140.根据样本角色标签，从样本角色图像中解析得到样本形象特征和样本性格特征；
141.将多个样本形象特征和多个样本性格特征共同作为多个样本角色特征。
142.在本公开的一些实施例中，其中，第二解析子模块6042，具体用于：
143.根据样本属性标签，从样本属性图像中解析得到样本场景特征、样本服装特征、样本道具特征；
144.将多个样本场景特征、多个样本服装特征，以及多个样本道具特征共同作为多个样本属性特征。
145.可以理解的是，本实施例附图6中的图像生成模型的训练装置60与上述实施例中的图像生成模型的训练装置50，第一获取模块601与上述实施例中的第一获取模块501，确定模块602与上述实施例中的确定模块502，第二获取模块603与上述实施例中的第二获取模块503，训练模块604与上述实施例中的训练模块504，可以具有相同的功能和结构。
146.需要说明的是，前述对图像生成模型的训练方法的解释说明也适用于本实施例图像生成模型的训练装置。
147.本实施例中，通过获取多个样本角色图像，样本角色图像具有对应的样本角色标签，并确定样本属性标签，再获取与样本属性标签对应的多个样本属性图像，以及根据多个样本角色图像、多个样本属性图像、样本角色标签，以及样本属性标签训练初始图像生成模型，以得到目标图像生成模型，能够有效地辅助提升目标图像生成模型针对样本属性和样本角色的表达建模能力，当采用目标图像生成模型生成目标图像时，该目标图像能够表征出角色和属性维度的特征分布，有效地提升图像生成效果，提升目标图像生成模型所生成的目标图像的特征建模效果。
148.图7是根据本公开第七实施例的示意图。
149.如图7所示，该图像生成装置70，包括：
150.第三获取模块701，用于获取待处理角色特征和待处理属性特征；
151.生成模块702，用于将待处理角色特征和待处理属性特征输入至如上述图像生成模型的训练装置训练得到的目标图像生成模型之中，以得到目标图像生成模型输出的目标图像。
152.需要说明的是，前述对图像生成方法的解释说明也适用于本实施例的图像生成装置，此处不再赘述。
153.本实施例中，通过获取待处理角色特征和待处理属性特征，并将待处理角色特征和待处理属性特征输入至如上述的图像生成模型的训练方法训练得到的目标图像生成模型之中，以得到图像生成模型输出的目标图像，由于目标图像生成模型是根据样本属性标签和样本角色标签训练得到的，从而在采用训练得到的图像生成模型生成图像时，该图像能够表征出角色和属性维度的特征分布，从而能够有效地提升图像的生成质量，有效地提升图像生成模型的图像生成效果。
154.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
155.图8示出了可以用来实施本公开实施例的图像生成模型的训练方法的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其他适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其他类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
156.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执
行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
157.设备800中的多个部件连接至i/o接口805，包括：生成单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
158.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如图像生成模型的训练方法，或者图像生成方法。例如，在一些实施例中，图像生成模型的训练方法，或者图像生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的图像生成模型的训练方法，或者图像生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像生成模型的训练方法，或者图像生成方法。
159.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
160.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
161.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
162.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其他种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
163.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网及区块链网络。
164.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
165.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
166.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。