图像风格迁移模型的训练方法、装置及电子设备与流程

1.本技术实施例涉及图像风格迁移模型的训练技术领域，尤其涉及一种图像风格迁移模型的训练方法及装置、风格化图像生成方法及装置、电子设备、计算机存储介质及计算机程序产品。


背景技术：

2.图像风格化任务能够提供给用户各种各样的风格化图像，如人像染发任务中，头发区域需要进行色彩转换，而其他区域可以保持原状不变。这类任务可以将不同区域进行分割，分别进行风格转换后再进行拼接，拼接位置的融合效果好坏影响到风格化图像的质量。
3.相关技术中，可以利用生成式对抗网络(gan，generative adversarial networks)模型中的生成器进行风格化处理，得到风格化图像，并在风格化图像中标注风格区域的边缘位置，之后利用gan模型的判别器识别风格化图像中风格区域的边缘融合效果，通过生成器和判别器之间的博弈式训练，达到提升生成器提供的风格化处理的效果。
4.但是，目前方案中，判别器需要处理整张图像，导致计算资源消耗过大。另外，由于整张图像中边缘位置所处区域占比太小，判别器难以捕捉边缘位置的差异，导致训练难度较大。


技术实现要素：

5.本技术实施例提供一种图像风格迁移模型的训练方法及装置、风格化图像生成方法及装置、电子设备、计算机存储介质及计算机程序产品，以解决相关技术中判别器需要处理整张图像，导致计算资源消耗过大。另外，由于整张图像中边缘位置所处区域占比太小，判别器难以捕捉边缘位置的差异，导致训练难度较大的问题。
6.第一方面，本技术实施例提供了一种图像风格迁移模型的训练方法，该方法包括：
7.获取原始图像和真实图像，所述原始图像和所述真实图像都包含目标对象，且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同；
8.将所述原始图像输入神经网络模型的生成器，得到风格化图像，所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像；所述神经网络模型还包括判别器；
9.提取所述风格化图像中所述目标对象的第一边缘区域，以及所述真实图像中所述目标对象的第二边缘区域；
10.根据所述第一边缘区域和所述第二边缘区域，训练所述生成器和所述判别器，并将训练后的生成器作为图像风格迁移模型。
11.在一种可选实施方式中，所述根据所述第一边缘区域和所述第二边缘区域，训练所述生成器和所述判别器，并将训练后的生成器作为图像风格迁移模型，包括：
12.对所述第一边缘区域进行图像分割，得到多个预设尺寸的第一图像块；
13.对所述第二边缘区域进行图像分割，得到多个所述预设尺寸的第二图像块；
14.根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器，并将训练后的生成器作为所述图像风格迁移模型。
15.在一种可选实施方式中，所述根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器，包括：
16.根据所述第一图像块和所述第二图像块，训练所述判别器；
17.根据所述第一图像块和所述判别器，训练所述生成器。
18.在一种可选实施方式中，所述根据所述第一图像块和所述第二图像块，训练所述判别器，包括：
19.将所述第一图像块和所述第二图像块分别输入所述判别器，得到对应所述第一图像块的第一判定结果，以及对应所述第二图像块的第二判定结果；
20.根据所述第一图像块的第一真实值与所述第一判定结果的差值，确定第一损失值，并根据所述第二图像块的真实值与所述第二判定结果的差值，确定第二损失值；所述第一真实值反映了所述判别器对输入对象的判别结果为假时的取值；所述第二图像块的真实值反映了所述判别器对输入对象的判别结果为真时的取值；
21.根据所述第一损失值和所述第二损失值，交替训练所述判别器。
22.在一种可选实施方式中，所述根据所述第一图像块和所述判别器，训练所述生成器，包括：
23.将所述第一图像块输入所述判别器，得到对应所述第一图像块的第三判定结果；
24.根据所述第一图像块的第二真实值与所述第三判定结果的差值，确定第三损失值；所述第二真实值反映了所述判别器对输入对象的判别结果为真时的取值；
25.根据所述第三损失值训练所述生成器。
26.在一种可选实施方式中，所述根据所述第一边缘区域和所述第二边缘区域，训练所述生成器和所述判别器，并将训练后的生成器作为图像风格迁移模型，包括：
27.在对所述生成器和所述判别器进行了预设次数的迭代训练操作后，终止训练，并将训练后的生成器作为图像风格迁移模型，一次迭代训练操作包括训练一次所述生成器和训练一次所述判别器。
28.第二方面，本技术实施例提供了一种风格化图像生成方法，该方法包括：
29.将待处理图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；
30.其中，所述图像风格迁移模型是根据图像风格迁移模型的训练方法进行训练所得到的。
31.第三方面，本技术实施例提供了一种图像风格迁移模型的训练装置，该装置包括：
32.获取模块，被配置为获取原始图像和真实图像，所述原始图像和所述真实图像都包含目标对象，且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同；
33.第一风格模块，被配置为将所述原始图像输入神经网络模型的生成器，得到风格化图像，所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像；所述神经网络模型还包括判别器；
34.分割模块，被配置为提取所述风格化图像中所述目标对象的第一边缘区域，以及所述真实图像中所述目标对象的第二边缘区域；
35.训练模块，被配置为根据所述第一边缘区域和所述第二边缘区域，训练所述生成器和所述判别器，并将训练后的生成器作为图像风格迁移模型。
36.在一种可选实施方式中，所述训练模块包括：
37.第一分割子模块，被配置为对所述第一边缘区域进行图像分割，得到多个预设尺寸的第一图像块；
38.第二分割子模块，被配置为对所述第二边缘区域进行图像分割，得到多个所述预设尺寸的第二图像块；
39.训练子模块，被配置为根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器，并将训练后的生成器作为所述图像风格迁移模型。
40.在一种可选实施方式中，所述训练子模块，包括：
41.第一训练单元，被配置为根据所述第一图像块和所述第二图像块，训练所述判别器；
42.第二训练单元，被配置为根据所述第一图像块和所述判别器，训练所述生成器。
43.在一种可选实施方式中，所述第一训练单元，包括：
44.第一训练子单元，被配置为将所述第一图像块和所述第二图像块分别输入所述判别器，得到对应所述第一图像块的第一判定结果，以及对应所述第二图像块的第二判定结果；
45.第二训练子单元，被配置为根据所述第一图像块的第一真实值与所述第一判定结果的差值，确定第一损失值，并根据所述第二图像块的真实值与所述第二判定结果的差值，确定第二损失值；所述第一真实值反映了所述判别器对输入对象的判别结果为假时的取值；所述第二图像块的真实值反映了所述判别器对输入对象的判别结果为真时的取值；
46.交替训练子单元，被配置为根据所述第一损失值和所述第二损失值，交替训练所述判别器。
47.在一种可选实施方式中，所述第二训练单元，包括：
48.第三训练子单元，被配置为将所述第一图像块输入所述判别器，得到对应所述第一图像块的第三判定结果；
49.第四训练子单元，被配置为根据所述第一图像块的第二真实值与所述第三判定结果的差值，确定第三损失值；所述第二真实值反映了所述判别器对输入对象的判别结果为真时的取值；
50.训练子单元，被配置为根据所述第三损失值训练所述生成器。
51.在一种可选实施方式中，所述训练模块，包括：
52.迭代训练子模块，被配置为在对所述生成器和所述判别器进行了预设次数的迭代训练操作后，终止训练，并将训练后的生成器作为图像风格迁移模型，一次迭代训练操作包括训练一次所述生成器和训练一次所述判别器。
53.第四方面，本技术实施例提供了一种风格化图像生成装置，该装置包括：
54.风格处理模块，被配置为将待处理图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；
55.其中，所述图像风格迁移模型是根据图像风格迁移模型的训练装置所得到的。
56.第五方面，本技术实施例还提供了一种电子设备，包括用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现所述的图像风格迁移模型的训练及风格化图像生成方法。
57.第六方面，本技术实施例还提供了一种计算机存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行所述的图像风格迁移模型的训练及风格化图像生成方法。
58.第七方面，本技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的图像风格迁移模型的训练及风格化图像生成方法。
59.在本技术实施例中，可以提取风格化图像中目标对象的第一边缘区域，以及真实图像中目标对象的第二边缘区域。使得后续训练过程可以仅以边缘区域为输入，这样在训练过程中，模型的训练过程可以仅以边缘区域为输入，使得模型可以仅处理边缘区域的特征，降低了计算量。另外，训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合，使得边缘区域的细节纹理的变化可以轻易的被捕捉，提高了图像风格化结果的边缘区域修复效果。
60.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
61.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
62.图1是本技术实施例提供的一种图像风格迁移模型的训练方法的步骤流程图；
63.图2是本技术实施例提供的一种生成式对抗网络模型的架构图；
64.图3是本技术实施例提供的一种风格化图像；
65.图4是本技术实施例提供的一种风格化图像生成方法的步骤流程图；
66.图5是本技术实施例提供的另一种图像风格迁移模型的训练方法的步骤流程图；
67.图6是本技术实施例提供的一种边缘区域分块示意图；
68.图7是本技术实施例提供的一种图像风格迁移模型的训练装置的框图；
69.图8是本技术实施例提供的一种风格化图像生成装置的框图；
70.图9是本技术一个实施例的电子设备的逻辑框图；
71.图10是本技术另一个实施例的电子设备的逻辑框图。
具体实施方式
72.下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
73.图1是本技术实施例提供的一种图像风格迁移模型的训练方法的步骤流程图，如图1所示，该方法包括：
74.步骤101，获取原始图像和真实图像。
75.所述原始图像和所述真实图像都包含目标对象，且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同。
76.本技术实施例提供的一种图像风格迁移模型的训练方法，具体可以参照对生成式对抗网络模型(gan模型)的训练，参照图2，其示出了本技术实施例提供的一种生成式对抗网络模型的架构图，gan模型包括生成器和判别器，gan模型是一种神经网络模型，可以通过生成器和判别器的互相博弈学习产生优选的输出。
77.具体的，用于图像风格迁移模型的训练的训练数据可以包括若干张真实图像和原始图像，其中，原始图像和真实图像都包含目标对象，且原始图像包含的目标对象的风格属性与真实图像包含的目标对象的风格属性不同。
78.例如，针对将头发颜色变更为浅黄色发色的风格化处理，可以准备多张黑色头发的人像图作为原始图像，并准备多张天生浅黄色头发发色的人像图作为真实图像。
79.步骤102、将所述原始图像输入神经网络模型的生成器，得到风格化图像，所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像；所述神经网络模型还包括判别器。
80.进一步的，在准备完训练数据后，可以首先将原始图像经过gan架构中的生成器进行风格化处理，得到风格化图像。如，假设生成器为提供将头发颜色变更为浅黄色发色的风格化处理的模型，则风格化处理后得到的风格化图像中的头发区域添加了浅黄发色风格特征。
81.步骤103、提取所述风格化图像中所述目标对象的第一边缘区域，以及所述真实图像中所述目标对象的第二边缘区域。
82.为了进一步提高对风格化图像中风格区域与其他区域的融合效果，可以在训练gan架构下的生成器和判别器的过程中，更加聚焦于风格区域与其他区域之间的边缘区域，降低边缘区域之外区域的干扰，参照图1，本技术实施例可以提取风格化图像中目标对象的第一边缘区域，以及真实图像中目标对象的第二边缘区域。使得后续训练过程可以仅以边缘区域为输入，这样在训练过程中，模型的训练过程可以仅以边缘区域为输入，使得模型可以仅处理边缘区域的特征，降低了计算量。另外，训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合，使得边缘区域的细节纹理的变化可以轻易的被捕捉，提高了图像风格化结果的边缘区域修复效果。
83.例如，参照图3，其示出了本技术实施例提供的一种风格化图像，假设该风格化图像中，区域10进行了风格化处理，则区域10可以作为目标对象的风格区域，提取区域10与相邻的区域20之间的交界处的第一边缘区域30(虚线涵盖区域)。对于真实图像的第二边缘区域的提取同理，其中，若目标对象的风格区域为头发区域，则真实图像中目标对象的目标区域也为头发区域。
84.步骤104、根据所述第一边缘区域和所述第二边缘区域，训练所述生成器和所述判别器，并将训练后的生成器作为图像风格迁移模型。
85.在本技术实施例中，由于在训练初期，生成器的参数还不完善，使得生成器处理得
到的风格化图像的效果和质量较差，也就使得风格化图像中第一边缘区域的融合效果较差，而真实图像是预先收集的符合生成器输出的理想效果的图像，所以真实图像中与风格区域对应的目标区域的风格化效果较为理想，其中的第二边缘区域的融合效果较佳。
86.因此，在一种训练实现方式中，参照图1，在一次迭代操作中，可以先以第一边缘区域和第二边缘区域为输入，以判别器能够识别到第一边缘区域为“假”，第二边缘区域为“真”为训练目的，进行判别器的参数的训练，具体的，判别器的输出结果包括“真”和“假”两种结果，“真”的情况是指该边缘区域与理想下的边缘区域高度相似，“假”的情况是指该边缘区域与理想下的边缘区域高度不相似。在训练判别器的过程中，可以认为生成器输出的风格化图像中的第一边缘区域为融合质量较差的虚拟假区域，并认为真实图像中的第二边缘区域为真实的具有自然融合效果的真实区域。
87.在训练了判别器的参数后，判别器判别边缘区域真假的能力可能得到了提升，后续需进一步训练生成器，在训练生成器的过程中，生成器输出的风格化图像中的第一边缘区域需要能够骗过判别器，具体为被判别器认定为具有自然融合效果的真实区域，这使得生成器的训练目标为：生成器输出的风格化图像中的第一边缘区域，能够被判别器判别为“真”，则可以将生成器对原始图像处理得到的风格化图像中的第一边缘区域输入判别器，并利用判别器的输出值与真实值(此时真实值为判别器能够识别第一边缘区域为“真”)计算损失值，再利用损失值、损失函数，对生成器的参数进行训练，训练后，生成器生成的风格化图像中第一边缘区域的融合质量可能提升。
88.在下一轮迭代操作开始时，生成器和判别器的参数都得到优化，则在完成下一轮迭代操作后，生成器和判别器的参数得到了进一步优化，直至达到预设迭代次数后，终止迭代，将最终的生成器作为图像风格迁移模型进行使用。
89.需要说明的是，本技术实施例的另一种训练实现方式中，也可以先训练生成器，再训练判别器，本技术实施例对实际训练顺序不作限定。
90.本技术实施例利用gan架构中生成器和判别器之间的相互博弈学习，完善二者的模型参数，产生高质量的输出。当建立了图像风格迁移模型之后，可以将图像风格迁移模型嵌入图像处理流程，如移动终端、服务器、云端等，以提供高质量的风格化处理功能，使得用户可以以待处理图像为图像风格迁移模型的输入，为待处理图像添加风格化特征，得到风格化质量和融合质量较高的风格化图像。
91.可选的，步骤104具体可以包括：
92.子步骤1041、在对所述生成器和所述判别器进行了预设次数的迭代训练操作后，终止训练，并将训练后的生成器作为图像风格迁移模型，一次迭代训练操作包括训练一次所述生成器和训练一次所述判别器。
93.在本技术实施例中，每一次迭代训练操作中，都包括对生成器和判别器各自训练一次的操作，使得生成器和判别器的参数都得到优化，为了达到训练得到更优的模型参数的目的，需要进行多轮迭代训练操作，来使得模型参数达到预期，直至达到预设次数的迭代训练操作后，可以认为模型参数达到预期，并终止迭代，将最终的生成器作为图像风格迁移模型进行使用。
94.另外，迭代训练操作的次数最终达到的预设次数可以根据实际需求进行设定。一种方式中，可以在达到预设次数后，将生成器输出的风格化图像与标准风格图像计算相似
度，在相似度大于设定的相似度阈值(如，90％)的情况下，认为完成训练指标，从而获得目标生成器；在相似度小于设定的相似度阈值的情况下，认为未完成训练指标，此时可以增加额外的迭代训练操作，直至相似度符合指标要求。另一种方式中，也可以在达到预设次数后，通过确定生成器和判别器的损失值是否处于预设范围，来判断是否完成训练指标。
95.综上所述，本技术实施例提供的一种图像风格迁移模型的训练方法，本技术可以提取风格化图像中目标对象的第一边缘区域，以及真实图像中目标对象的第二边缘区域。使得后续训练过程可以仅以边缘区域为输入，这样在训练过程中，模型的训练过程可以仅以边缘区域为输入，使得模型可以仅处理边缘区域的特征，降低了计算量。另外，训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合，使得边缘区域的细节纹理的变化可以轻易的被捕捉，提高了图像风格化结果的边缘区域修复效果。
96.图4是本技术实施例提供的一种风格化图像生成方法的步骤流程图，如图4所示，该方法可以包括：
97.步骤201，将待处理图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像。
98.其中，所述图像风格迁移模型是根据图1提供的图像风格迁移模型的训练方法所得到的。
99.在本技术实施例中，当建立了图像风格迁移模型之后，可以将图像风格迁移模型嵌入图像处理流程，如移动终端、服务器、云端等，以提供高质量的风格化处理功能，使得用户可以以待处理图像作为图像风格迁移模型的输入，为待处理图像添加风格化特征，得到风格化质量和融合质量较高的风格化图像。
100.综上所述，本技术实施例提供的一种图像风格迁移模型的训练方法，本技术可以提取风格化图像中目标对象的第一边缘区域，以及真实图像中目标对象的第二边缘区域。使得后续训练过程可以仅以边缘区域为输入，这样在训练过程中，模型的训练过程可以仅以边缘区域为输入，使得模型可以仅处理边缘区域的特征，降低了计算量。另外，训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合，使得边缘区域的细节纹理的变化可以轻易的被捕捉，提高了图像风格化结果的边缘区域修复效果。
101.图5是本技术实施例提供的另一种图像风格迁移模型的训练方法的步骤流程图，如图5所示，包括：
102.步骤301、获取原始图像和真实图像。
103.所述原始图像和所述真实图像都包含目标对象，且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同；
104.本步骤的实现方式与上述步骤101的实现过程类似，本技术实施例在此不再详述。
105.步骤302、将所述原始图像输入神经网络模型的生成器，得到风格化图像，所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像；所述神经网络模型还包括判别器。
106.本步骤的实现方式与上述步骤102的实现过程类似，本技术实施例在此不再详述。
107.步骤303、提取所述风格化图像中所述目标对象的第一边缘区域，以及所述真实图像中所述目标对象的第二边缘区域。
108.本步骤的实现方式与上述步骤103的实现过程类似，本技术实施例在此不再详述。
109.可选的，步骤303具体可以包括：
110.子步骤3031、确定所述风格化图像中目标对象的风格区域和相邻的区域交界处的第一分界线，以及所述真实图像中目标对象的目标区域和相邻的区域交界处的第二分界线。
111.在本技术实施例中，提取图像中的边缘区域之前，可以先确定风格化图像中风格区域和相邻的区域交界处的第一分界线，以及真实图像中目标区域和相邻的区域交界处的第二分界线。例如，参照图3，风格化图像中的第一分界线，即为作为风格区域的区域10与相邻的区域20之间的交界线。
112.子步骤3032、在所述风格化图像中，将所述第一分界线作为所述第一边缘区域的中心线，划分得到预设宽度的第一边缘区域。
113.在本技术实施例中，确定了第一分界线后，可以以第一分界线为第一边缘区域的中心线，向背离第一分界线的两个方向分别延伸预设像素距离，将延伸的区域划分为第一边缘区域。
114.子步骤3033、在所述真实图像中，将所述第二分界线作为所述第二边缘区域的中心线，划分得到所述预设宽度的第二边缘区域。
115.在本技术实施例中，确定了第二分界线后，可以以第二分界线为第二边缘区域的中心线，向背离第二分界线的两个方向分别延伸预设像素距离，将延伸的区域划分为第二边缘区域。其中，预设像素距离的具体值可以根据实际需求进行设定，本技术实施例对此不作限定。
116.步骤304、对所述第一边缘区域进行图像分割，得到多个预设尺寸的第一图像块。
117.步骤305、对所述第二边缘区域进行图像分割，得到多个所述预设尺寸的第二图像块。
118.在本技术实施例中，由于第一边缘区域和第二边缘区域较为分散、狭长且不规则，而且判别器对矩形图像的处理效果较佳，则可以对第一边缘区域和第二边缘区域进一步进行图像分割，将其分割为多个像素为m
×
n的第一图像块和第二图像块，每个图像块则可以构成一个矩形图像，使得后续可以将第一图像块和第二图像块作为判别器的训练输入，从而满足判别器处理矩形图像的目的。其中，第一图像块和第二图像块的像素尺寸m
×
n的具体值可以根据实际需求进行设定，本技术实施例对此不作限定。
119.例如，参照图6，其示出了本技术实施例提供的一种边缘区域分块示意图，针对图3示出的风格化图像中的第一边缘区域30，可以通过图像分割操作，将其分割成为多个矩形的第一图像块31，每个第一图像块31的像素尺寸相同。
120.进一步的，在第一边缘区域和第二边缘区域被分割为更小的图像块后，后续判别器和生成器的训练过程可以更加聚焦于识别更细粒度的图像块中的融合质量，进一步提升了判别器和生成器的训练精度。
121.步骤306、根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器，并将训练后的生成器作为所述图像风格迁移模型。
122.在本技术实施例中，可以具体通过第一边缘区域包括的第一图像块和第二边缘区域包括的第二图像块为输入，对判别器的参数进行训练，之后再以第一图像块为判别器的输入，并利用判别器的输出值与真实值(此时真实值为判别器能够识别第一边缘区域为
“
真”)计算损失值，再利用损失值、损失函数，对生成器的参数进行训练。将边缘区域划分为图像块后进行训练，由于每个图像块可以反映边缘区域中的一部分融合细节，则可以进一步提升图像风格迁移模型的训练过程中对边缘区域的融合细节的捕捉，从而进一步提升训练效果。
123.可选的，一种实现方式中，步骤306可以包括：
124.子步骤3061、根据所述第一图像块和所述第二图像块，训练所述判别器。
125.子步骤3062、根据所述第一图像块和所述判别器，训练所述生成器。
126.在一种实现方式中，针对一次迭代操作，可以先以判别器能够识别到第一图像块为“假”，第二图像块为“真”为训练目的，利用第一图像块和第二图像块进行判别器的参数的训练，之后再将第一分块输入训练后能力得到提升的判别器，以第一分块能够被判别器判别为“真”为训练目的，利用训练后能力得到提升的判别器的输出值、真实值、损失函数，对生成器的参数进行训练，训练后，生成器生成的风格化图像中第一边缘区域的融合质量可能提升。
127.多轮迭代后，生成器和判别器都可以进一步接近训练指标。
128.可选的，另一种实现方式中，步骤306可以包括：
129.子步骤3063、根据所述第一图像块和所述判别器，训练所述生成器。
130.子步骤3064、根据所述第一图像块和所述第二图像块，训练所述判别器。
131.在另一种实现方式中，针对一次迭代操作，可以先将第一分块输入判别器，以第一分块能够被判别器判别为“真”为训练目的，利用判别器的输出值、真实值、损失函数，对生成器的参数进行训练，训练后，生成器生成的风格化图像中第一边缘区域的融合质量可能提升。之后再以判别器能够识别到第一图像块为“假”，第二图像块为“真”为训练目的，利用第一图像块和第二图像块进判别器的参数的训练，从而提升判别器判别边缘区域真假的能力。
132.多轮迭代后，生成器和判别器都可以进一步接近训练指标。
133.可选的，所述根据所述第一图像块和所述第二图像块，训练所述判别器具体可以通过以下子步骤进行实现：
134.子步骤a1、将所述第一图像块和所述第二图像块分别输入所述判别器，得到对应所述第一图像块的第一判定结果，以及对应所述第二图像块的第二判定结果。
135.子步骤a2、根据所述第一图像块的第一真实值与所述第一判定结果的差值，确定第一损失值，并根据所述第二图像块的真实值与所述第二判定结果的差值，确定第二损失值；所述第一真实值反映了所述判别器对输入对象的判别结果为假时的取值；所述第二图像块的真实值反映了所述判别器对输入对象的判别结果为真时的取值。
136.子步骤a3、根据所述第一损失值和所述第二损失值，交替训练所述判别器。
137.具体的，判别器输出的结果为0至1范围内的实数，判别器的输出值为0.5
‑
1，则说明此时判别为真；判别器的输出值为0
‑
0.5，则说明此时判别为假。
138.由于训练判别器的过程中，针对第一图像块的训练目标为判别器能够识别第一图像块的结果为“假”，针对第二图像块的训练目标为判别器能够识别第二图像块的结果为“真”，则第一图像块对应的第一真实值为0，第二图像块对应的真实值为1，这使得第一图像块的第一损失值为第一真实值0与第一图像块对应的第一结果的差值，第二图像块的第二
损失值为真实值1与第二图像块对应的第二结果的差值。利用第一损失值、所述第二损失值交替训练所述判别器的参数，经过多轮迭代操作后，判别器识别图像块真假的能力得到提升。其中，交替训练即指一次用第一损失值进行判别器的参数训练，另一次用第二损失值进行判别器的参数训练。
139.损失函数(loss function)是将随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。训练模型的过程中，可以根据实际需求，选取适合的损失函数，本技术实施例对具体所选取的第一损失函数不作限定。
140.在训练的过程中，也可以采用随机梯度下降算法优化训练过程，随机梯度下降算法是在多次迭代操作中，从训练数据中中随机抽出一组数据，训练后按梯度更新一次，然后再抽取一组数据，再更新一次，在训练数据量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型，其中，随机是指每次迭代过程中，输入的数据都要被随机打乱，其目的是有效减小输入数据之间造成的参数更新抵消问题。每经过依次迭代操作，判别器的输出结果与真实值之间的损失值都会梯度下降，当损失值处于预设范围内的情况下，可以认为图像风格迁移模型的训练完毕。
141.可选的，所述根据所述第一图像块和所述判别器，训练所述生成器具体可以通过以下子步骤进行实现：
142.子步骤b1、将所述第一图像块输入所述判别器，得到对应所述第一图像块的第三判定结果。
143.子步骤b2、根据所述第一图像块的第二真实值与所述第三判定结果的差值，确定第三损失值；所述第二真实值反映了所述判别器对输入对象的判别结果为真时的取值。
144.子步骤b3、根据所述第三损失值训练所述生成器。
145.在训练生成器的过程中，训练目标为判别器能够识别生成器输出的风格化图像中的第一图像块的结果为“真”，则此时第一图像块对应的第二真实值为1，这使得第一图像块的第三损失值为第二真实值1与第一图像块对应的第三结果的差值，利用第三损失值、第二损失函数训练所述生成器的参数，经过多轮迭代操作后，生成器输出具有高融合质量边缘区域的风格化图像的能力提升，达到预设迭代次数后，图像风格迁移模型的训练完毕，得到目标生成器。
146.综上所述，本技术实施例提供的一种图像风格迁移模型的训练方法，本技术可以提取风格化图像中目标对象的第一边缘区域，以及真实图像中目标对象的第二边缘区域。使得后续训练过程可以仅以边缘区域为输入，这样在训练过程中，模型的训练过程可以仅以边缘区域为输入，使得模型可以仅处理边缘区域的特征，降低了计算量。另外，训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合，使得边缘区域的细节纹理的变化可以轻易的被捕捉，提高了图像风格化结果的边缘区域修复效果。
147.图7是本技术实施例提供的一种图像风格迁移模型的训练装置的框图，如图7所示，包括：获取模块401、第一风格模块402、分割模块403、训练模块404。
148.获取模块401，被配置为获取原始图像和真实图像，所述原始图像和所述真实图像都包含目标对象，且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同；
149.第一风格模块402，被配置为将所述原始图像输入神经网络模型的生成器，得到风格化图像，所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像；所述神经网络模型还包括判别器；
150.分割模块403，被配置为提取所述风格化图像中所述目标对象的第一边缘区域，以及所述真实图像中所述目标对象的第二边缘区域；
151.训练模块404，被配置为根据所述第一边缘区域和所述第二边缘区域，训练所述生成器和所述判别器，并将训练后的生成器作为图像风格迁移模型。
152.所述训练模块包括：
153.第一分割子模块，被配置为对所述第一边缘区域进行图像分割，得到多个预设尺寸的第一图像块；
154.第二分割子模块，被配置为对所述第二边缘区域进行图像分割，得到多个所述预设尺寸的第二图像块；
155.训练子模块，被配置为根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器，并将训练后的生成器作为所述图像风格迁移模型。
156.在一种可实现方式中，所述训练子模块，包括：
157.第一训练单元，被配置为根据所述第一图像块和所述第二图像块，训练所述判别器；
158.第二训练单元，被配置为根据所述第一图像块和所述判别器，训练所述生成器。
159.在一种可实现方式中，所述第一训练单元，包括：
160.第一训练子单元，被配置为将所述第一图像块和所述第二图像块分别输入所述判别器，得到对应所述第一图像块的第一判定结果，以及对应所述第二图像块的第二判定结果；
161.第二训练子单元，被配置为根据所述第一图像块的第一真实值与所述第一判定结果的差值，确定第一损失值，并根据所述第二图像块的真实值与所述第二判定结果的差值，确定第二损失值；所述第一真实值反映了所述判别器对输入对象的判别结果为假时的取值；所述第二图像块的真实值反映了所述判别器对输入对象的判别结果为真时的取值；
162.交替训练子单元，被配置为根据所述第一损失值和所述第二损失值，交替训练所述判别器。
163.在一种可实现方式中，所述第二训练单元，包括：
164.第三训练子单元，被配置为将所述第一图像块输入所述判别器，得到对应所述第一图像块的第三判定结果；
165.第四训练子单元，被配置为根据所述第一图像块的第二真实值与所述第三判定结果的差值，确定第三损失值；所述第二真实值反映了所述判别器对输入对象的判别结果为真时的取值；
166.训练子单元，被配置为根据所述第三损失值训练所述生成器。
167.在一种可实现方式中，所述训练模块，包括：
168.迭代训练子模块，被配置为在对所述生成器和所述判别器进行了预设次数的迭代训练操作后，终止训练，并将训练后的生成器作为图像风格迁移模型，一次迭代训练操作包括训练一次所述生成器和训练一次所述判别器。
169.综上所述，本技术实施例提供的一种图像风格迁移模型的训练装置，本技术可以提取风格化图像中目标对象的第一边缘区域，以及真实图像中目标对象的第二边缘区域。使得后续训练过程可以仅以边缘区域为输入，这样在训练过程中，模型的训练过程可以仅以边缘区域为输入，使得模型可以仅处理边缘区域的特征，降低了计算量。另外，训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合，使得边缘区域的细节纹理的变化可以轻易的被捕捉，提高了图像风格化结果的边缘区域修复效果。
170.图8是本技术实施例提供的一种风格化图像生成装置的框图，如图8所示，包括：风格处理模块501。
171.风格处理模块501，被配置为将待处理图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；
172.其中，所述图像风格迁移模型是根据图7所示的图像风格迁移模型的训练装置所得到的。
173.综上所述，本技术实施例提供的一种风格化图像生成装置，本技术可以提取风格化图像中目标对象的第一边缘区域，以及真实图像中目标对象的第二边缘区域。使得后续训练过程可以仅以边缘区域为输入，这样在训练过程中，模型的训练过程可以仅以边缘区域为输入，使得模型可以仅处理边缘区域的特征，降低了计算量。另外，训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合，使得边缘区域的细节纹理的变化可以轻易的被捕捉，提高了图像风格化结果的边缘区域修复效果。
174.图9是根据一示例性实施例示出的一种电子设备600的框图。例如，电子设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
175.参照图9，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(i/o)的接口612，传感器组件614，以及通信组件616。
176.处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
177.存储器604用于存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
178.电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
179.多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面
板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的分界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
180.音频组件610用于输出和/或输入音频信号。例如，音频组件610包括一个麦克风(mic)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
181.i/o接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
182.传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
183.通信组件616用于便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
184.在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于实现本技术实施例提供的一种图像风格迁移模型的训练方法。
185.在示例性实施例中，还提供了一种包括指令的非临时性计算机存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，所述非临时性存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
186.图10是根据一示例性实施例示出的一种电子设备700的框图。例如，电子设备700可以被提供为一服务器。参照图10，电子设备700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于
一组指令的模块。此外，处理组件722被配置为执行指令，以执行本技术实施例提供的一种图像风格迁移模型的训练方法。
187.电子设备700还可以包括一个电源组件726被配置为执行电子设备700的电源管理，一个有线或无线网络接口750被配置为将电子设备700连接到网络，和一个输入输出(i/o)接口758。电子设备700可以操作基于存储在存储器732的操作系统，例如windows servertm，mac os xtm，unixtm，linuxtm，freebsdtm或类似。
188.本技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的图像风格迁移模型的训练方法。
189.本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
190.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。