虚拟图像生成模型的训练方法、装置、设备及介质

1.本发明涉及图像生成技术领域，尤其涉及一种虚拟图像生成模型的训练方法、装置、设备及介质。


背景技术：

2.随着图像生成技术发展越来越成熟，在各种图像识别技术的数据增强过程、生活娱乐、艺术创作中都能发现相关技术的应用。尤其是在基于深度学习的人工智能感知模型训练过程中，其数据驱动的特性不可避免得对数据的多样性和规模提出了更大的要求。往往为了进一步提升感知模型的精确度，需要通过数据增强的方法生成大量的多样化的虚拟数据，以扩充样本库。
3.但是，现有的一些图像生成方法存在生成图像多样性不足，或者不够逼真的问题，这大大限制了后续图像感知模型精度的提高。


技术实现要素：

4.本发明提供一种虚拟图像生成模型的训练方法、装置、设备及介质，用以解决现有技术中存在生成图像多样性不足，或者不够逼真的问题。
5.本发明提供一种虚拟图像生成模型的训练方法，包括：
6.从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像；
7.基于所述真实图像，生成所述真实图像对应的第一噪声图；其中，所述第一噪声图用于表征所述真实图像与所述标准模板图之间的差异；
8.合并所述标准模板图和所述第一噪声图，得到合并图像；
9.将所述合并图像输入至预先设置的生成器网络中，得到所述生成器网络输出的候选图像；其中，所述生成器网络用于基于所述合并图像生成虚拟的图像作为候选图像；
10.将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型；其中，所述第一图像对包括所述合并图像和所述真实图像，所述第二图像对包括所述合并图像和所述候选图像。
11.根据本发明提供的一种虚拟图像生成模型的训练方法，在所述将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型之后，所述方法还包括：
12.将所述标准模板图和随机生成的第二噪声图合并后，输入至所述虚拟图像生成模型中，得到所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像。
13.根据本发明提供的一种虚拟图像生成模型的训练方法，在所述将所述标准模板图和随机生成的第二噪声图合并后，输入至所述虚拟图像生成模型中，得到所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像之后，所述方法还包括：
14.基于所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像，训练图像感知模型。
15.根据本发明提供的一种虚拟图像生成模型的训练方法，所述从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像，包括：
16.从标准模板图库中选定所述标准模板图；
17.从所述标准模板图对应的数据集中，通过随机抽样或非随机抽样抽取所述真实图像。
18.根据本发明提供的一种虚拟图像生成模型的训练方法，所述基于所述真实图像，生成所述真实图像对应的第一噪声图，包括：
19.提取所述真实图像中的图像特征，作为噪声种子；
20.基于所述噪声种子，生成所述真实图像对应的第一噪声图；
21.其中，所述第一噪声图的尺寸与所述标准模板图的尺寸相同。
22.根据本发明提供的一种虚拟图像生成模型的训练方法，所述合并所述标准模板图和所述第一噪声图，得到合并图像，包括：
23.通过通道级的图像拼接和/或矩阵计算，合并所述标准模板图和所述第一噪声图，得到所述合并图像。
24.根据本发明提供的一种虚拟图像生成模型的训练方法，在所述将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型之前，所述方法还包括：
25.将所述合并图像和所述真实图像作为所述第一图像对，设定所述第一图像对的标签值表征为真；
26.将所述合并图像和所述候选图像作为所述第二图像对，设定所述第二图像对的标签值表征为假；
27.所述将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型，包括：
28.将所述第一图像对和所述第二图像对输入至所述判别器网络，以由所述判别器网络基于所述第一图像对的标签值和所述第二图像对的标签值，对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型。
29.本发明还提供一种虚拟图像生成模型的训练装置，包括：
30.抽取模块，用于从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像；
31.生成模块，用于基于所述真实图像，生成所述真实图像对应的第一噪声图；其中，所述第一噪声图用于表征所述真实图像与所述标准模板图之间的差异；
32.合并模块，用于合并所述标准模板图和所述第一噪声图，得到合并图像；
33.处理模块，用于将所述合并图像输入至预先设置的生成器网络中，得到所述生成器网络输出的候选图像；其中，所述生成器网络用于基于所述合并图像生成虚拟的图像作为候选图像；
34.训练模块，用于将第一图像对和第二图像对输入至预先设置的判别器网络，以由
所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型；其中，所述第一图像对包括所述合并图像和所述真实图像，所述第二图像对包括所述合并图像和所述候选图像。
35.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟图像生成模型的训练方法。
36.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟图像生成模型的训练方法。
37.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述虚拟图像生成模型的训练方法。
38.本发明提供的虚拟图像生成模型的训练方法、装置、设备及介质，先选定需要生成虚拟图像的标准模板图，合并标准模板图及其对应的真实图像的第一噪声图，并将合并后的合并图像分别与真实图像和生成器网络输出的候选图像组成图像对，输入至判别器网络，以由判别器网络对抗训练生成器网络，得到训练后的生成器，网络作为虚拟图像生成模型。通过生成对抗网络训练得到的虚拟图像生成模型，可以有效提高生成的虚拟图像的真实性，另外，可以采用不同的标准模板图训练生成器网络，使得训练后的虚拟图像生成模型也可以生成不同标准模板图对应的虚拟图像，提高了后续生成虚拟图像的多样性，有利于后续利用更加逼真且多样的虚拟图像扩充训练图像感知模型的数据集或样本库，进而提高图像感知模型的精度。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明提供的虚拟图像生成模型的训练方法的流程示意图之一；
41.图2是本发明提供的虚拟图像生成模型的训练方法中标准模板图的示意图；
42.图3是本发明提供的虚拟图像生成模型的训练方法中虚拟图像的示意图；
43.图4是本发明提供的虚拟图像生成模型的训练方法的流程示意图之二；
44.图5是本发明提供的虚拟图像生成模型的训练方法的流程示意图之三；
45.图6是本发明提供的虚拟图像生成模型的训练装置的结构示意图；
46.图7是本发明提供的电子设备的结构示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.下面结合附图描述本发明的虚拟图像生成模型的训练方法、装置、设备及介质。
49.图1是本发明提供的虚拟图像生成模型的训练方法的流程示意图之一，如图1所示，方法包括步骤101至步骤105；其中：
50.步骤101、从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像；
51.步骤102、基于所述真实图像，生成所述真实图像对应的第一噪声图；
52.其中，所述第一噪声图用于表征所述真实图像与所述标准模板图之间的差异；
53.步骤103、合并所述标准模板图和所述第一噪声图，得到合并图像；
54.步骤104、将所述合并图像输入至预先设置的生成器网络中，得到所述生成器网络输出的候选图像；
55.其中，所述生成器网络用于基于所述合并图像生成虚拟的图像作为候选图像；
56.步骤105、将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型；其中，所述第一图像对包括所述合并图像和所述真实图像，所述第二图像对包括所述合并图像和所述候选图像。
57.具体地，现有技术中的一些图像生成方法存在生成图像多样性不足或者不够逼真的问题，这大大限制了后续图像感知模型精度的提高。
58.不同于一般的图像生成方法，本发明实施例借助于标准模板图，在保证多样性的同时，可以获得更加逼真的虚拟图像。
59.可选地，本发明实施例提供的虚拟图像生成模型的训练方法，可以应用于交通标志识别领域，用于生成交通标志的虚拟图像，以扩充数据集或样本库，进而使用扩充后的数据集或样本库，训练图像感知模型，以提高图像感知模型的精度。
60.可选地，图2是本发明提供的虚拟图像生成模型的训练方法中标准模板图的示意图，如图2所示，交通标志领域的标准模板图可以包括指示标识、禁止标识及警告标识。
61.本发明实施例中，先从标准模板图库中选定需要生成虚拟图像的标准模板图，从标准模板图对应的数据集中抽取真实图像，这里的数据集，可以是后续训练图像感知模型所需要的数据集；
62.可以理解的是，标准模板图中不包含噪声，而实际采集的真实图像是包含噪声的，故可以基于真实图像，生成真实图像对应的第一噪声图，这里的第一噪声图用于表征真实图像与标准模板图之间的差异。
63.再合并标准模板图和第一噪声图，得到合并图像，将合并图像输入至预先设置的生成器网络中，得到生成器网络输出的候选图像，再将包括合并图像和真实图像的第一图像对和包括合并图像和候选图像的第二图像对，输入至判别器网络，以由判别器网络对抗训练生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型。
64.需要说明的是，在步骤105中，可以迭代重复上述步骤101至步骤104，以训练生成器网络，以缩小虚拟图像生成模型生成虚拟图像与真实图像之间的差异；
65.还可以选取不同的标准模板图，迭代重复上述步骤101至步骤105，以训练生成器网络，使训练后的虚拟图像生成模型可以生成不同标准模板图对应的虚拟图像，进一步提高了生成虚拟图像的多样性。
66.可选地，可以基于深度学习、机器学习等方法设计相应的卷积神经网络、
transformer网络等，作为生成器网络。
67.本发明实施例提供的虚拟图像生成模型的训练方法中，先选定需要生成虚拟图像的标准模板图，合并标准模板图及其对应的真实图像的第一噪声图，并将合并后的合并图像分别与真实图像和生成器网络输出的候选图像组成图像对，输入至判别器网络，以由判别器网络对抗训练生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型。通过生成对抗网络训练得到的虚拟图像生成模型，可以有效提高生成的虚拟图像的真实性，另外，可以采用不同的标准模板图训练生成器网络，使得训练后的虚拟图像生成模型也可以生成不同标准模板图对应的虚拟图像，提高了后续生成虚拟图像的多样性，有利于后续利用更加逼真且多样的虚拟图像扩充训练图像感知模型的数据集或样本库，进而提高图像感知模型的精度。
68.可选地，在所述将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型之后，可以将所述标准模板图和随机生成的第二噪声图合并后，输入至所述虚拟图像生成模型中，得到所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像。
69.具体地，将需要进行数据扩充的标准模板图和随机生成的第二噪声图输入到训练后的虚拟图像生成模型中，可以生成多样且逼真的虚拟图像。
70.可选地，可以设计随机噪声图生成器，并生成若干随机噪声图作为第二噪声图；再将生成的若干第二噪声图与需要进行扩充的标准模板图组合到一起输入到训练后的生成器网络中，即输入到虚拟图像生成模型中，以通过虚拟图像生成模型生成多样且逼真的虚拟图像。
71.图3是本发明提供的虚拟图像生成模型的训练方法中虚拟图像的示意图，如图3所示，图中第1行表征五个不同的标准模板图，图中第2、3、4行用于表征使用不同随机噪声的生成图像，即随机生成的不同第二噪声图，对应生成的虚拟图像。
72.在本发明实施例中，在生成虚拟图像生成模型之后，可以将标准模板图与随机生成的第二噪声图合并后，输入至虚拟图像生成模型中，以生成标准模板图对应的虚拟图像。利用随机生成的第二噪声图与标准模板图生成虚拟图像，有效提高了生成的虚拟图像的多样性，有利于后续利用更加多样的虚拟图像训练图像感知模型，进而提高图像感知模型的精度。
73.可选地，在所述将所述标准模板图和随机生成的第二噪声图合并后，输入至所述虚拟图像生成模型中，得到所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像之后，可以基于所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像，训练图像感知模型。
74.具体地，在生成需要扩充的标准模板图对应的虚拟图像后，可以基于虚拟图像训练图像感知模型，以提高图像感知模型的感知精度。
75.在本发明实施例中，基于更加多样且逼真的虚拟图像训练图像感知模型，可以有效提高图像感知模型的精度。
76.可选地，所述从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像的实现方式可以包括：
77.从标准模板图库中选定所述标准模板图；
78.从所述标准模板图对应的数据集中，通过随机抽样或非随机抽样抽取所述真实图像。
79.具体地，在从标准模板图库中选定标准模板图后，可以从标准模板图对应的数据集中，通过各种类型的随机抽样或非随机抽样，抽取标准模板图对应的真实图像。
80.可选地，所述基于所述真实图像，生成所述真实图像对应的第一噪声图的实现方式可以包括：
81.提取所述真实图像中的图像特征，作为噪声种子；
82.基于所述噪声种子，生成所述真实图像对应的第一噪声图；
83.其中，所述第一噪声图的尺寸与所述标准模板图的尺寸相同。
84.具体地，可以将真实图像进行序列化，或通过现有某些固定的算法提取某种稳定的图像特征；再将使用序列化后的真实图像，或者提取到的某种特征作为噪声种子，以产生特定大小的噪声图像作为第一噪声图，这里的特定大小是指第一噪声图的尺寸需要与标准模板图的尺寸相同，以保证合并第一噪声图和标准模板图时，不会由于第一噪声图和标准模板图中的各点没有对应起来，而出现失真情况。
85.在本发明实施例中，将从真实图像中提取出的图像特征作为噪声种子，生成第一噪声图，可以确保真实图像与基于该真实图像生成的第一噪声图是一一对应的。
86.可选地，所述合并所述标准模板图和所述第一噪声图，得到合并图像的实现方式可以包括：
87.通过通道级的图像拼接和/或矩阵计算，合并所述标准模板图和所述第一噪声图，得到所述合并图像。
88.具体地，可以将生成的第一噪声图与对应的标准模板图，通过通道级的图像拼接、各种矩阵相乘相加等方法组合起来；上述矩阵计算可以包括矩阵相乘或相加等计算。
89.可选地，在所述将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型之前，可以将所述合并图像和所述真实图像作为所述第一图像对，设定所述第一图像对的标签值表征为真；再将所述合并图像和所述候选图像作为所述第二图像对，设定所述第二图像对的标签值表征为假；
90.所述将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型的实现方式可以包括：
91.将所述第一图像对和所述第二图像对输入至所述判别器网络，以由所述判别器网络基于所述第一图像对的标签值和所述第二图像对的标签值，对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型。
92.具体地，可以基于深度学习、机器学习等方法，设计一个判别器网络；
93.将与第一噪声图组合后的标准模板图(即合并图像)与抽样得到的真实图像作为一个图像对，输入到判别器网络中，并设定其标签值为真；
94.将与第一噪声图组合后的标准模板图(即合并图像)与生成器网络生成的候选图像作为一个图像对，输入到判别器网络中，并设定器标签值为假；
95.进而判别器网络基于上述两个图像对及其对应的标签值，对抗训练生成器网络，
得到训练后的生成器网络，作为虚拟图像生成模型。
96.下面举例说明本发明实施例提供的虚拟图像生成模型的训练方法。
97.图4是本发明提供的虚拟图像生成模型的训练方法的流程示意图之二，如图4所示，方法包括步骤401至步骤406；其中：
98.步骤401、选定标准模板图，并从相应的数据集中抽样得到训练网络所需的真实图像；
99.步骤402、使用抽样得到的真实图像生成相应的第一噪声图；
100.步骤403、将第一噪声图与选定的标准模板图组合，并输入生成器网络中，生成候选图像；
101.步骤404、将与第一噪声图组合后的标准模板图分别与抽样得到的真实图像以及生成的候选图像组成图像对，输入判别器网络中，并分别将两组图像对标记为真和假，以对抗训练生成器网络；
102.步骤405、迭代重复上述步骤，得到训练后的生成器网络，作为虚拟图像生成模型；
103.具体地，重复进行标准模板图的选择、第一噪声图的生成、候选图像的生成以及使用判别器判别生成图像与真实图像的真假的步骤；经过多次的迭代，对抗训练生成器网络与判别器网络，获得最终的生成器网络，作为虚拟图像生成模型。
104.步骤406、将需要进行数据扩充的标准模板图和随机生成的第二噪声图输入到虚拟图像生成模型中，生成多样逼真的虚拟图像。
105.图5是本发明提供的虚拟图像生成模型的训练方法的流程示意图之三，如图5所示，本发明实施例主要分为了训练流程和推理流程。
106.(一)对于训练流程
107.首先选定标准模板图x，从标准模板图x相应的训练集合中，通过随机抽样获取一个或多个真实图像y，再基于该真实图像y生成相应的噪声图z，作为第一噪声图，之后合并标准模板图和第一噪声图得到合并图像将合并图像输入至生成器网络g，得到生成器网络g输出的候选图像
108.将真实图像y和合并图像作为第一图像对，并将第一图像对标记为真，将候选图像和合并图像作为第二图像对，并将第二图像对标记为假，再将第一图像对和第二图像对输入至判别器网络d，以由判别器网络d对抗训练生成器网络g，得到训练后的生成器网络g作为虚拟图像生成模型。
109.(二)对于推理流程
110.首先通过随机噪声生成器生成随机噪声图zi，作为第二噪声图，再合并第二噪声图和标准模板图x得到合并图像将合并图像输入至训练好的虚拟图像生成模型中，得到虚拟图像生成模型输出的虚拟图像
111.本发明实施例提供的虚拟图像生成模型的训练方法，能够但不仅限于使用在众多图像识别任务的数据增强过程中，同时，还能够应用于各种具有标准模板图像的虚拟图像生成任务中。
112.下面对本发明提供的虚拟图像生成模型的训练装置进行描述，下文描述的虚拟图
像生成模型的训练装置与上文描述的虚拟图像生成模型的训练方法可相互对应参照。
113.图6是本发明提供的虚拟图像生成模型的训练装置的结构示意图，如图6所示，虚拟图像生成模型的训练装置600包括：
114.抽取模块601，用于从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像；
115.生成模块602，用于基于所述真实图像，生成所述真实图像对应的第一噪声图；其中，所述第一噪声图用于表征所述真实图像与所述标准模板图之间的差异；
116.合并模块603，用于合并所述标准模板图和所述第一噪声图，得到合并图像；
117.处理模块604，用于将所述合并图像输入至预先设置的生成器网络中，得到所述生成器网络输出的候选图像；其中，所述生成器网络用于基于所述合并图像生成虚拟的图像作为候选图像；
118.训练模块605，用于将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型；其中，所述第一图像对包括所述合并图像和所述真实图像，所述第二图像对包括所述合并图像和所述候选图像。
119.本发明实施例提供的虚拟图像生成模型的训练装置中，先由抽取模块选定需要生成虚拟图像的标准模板图，并从标准模板图对应的数据集中抽取真实图像，再由生成模块生成真实图像对应的第一噪声图，以由合并模块合并标准模板图及第一噪声图，并由训练模块将合并后的合并图像分别与真实图像和生成器网络输出的候选图像组成图像对，输入至判别器网络，以由判别器网络对抗训练生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型。通过生成对抗网络训练得到的虚拟图像生成模型，可以有效提高生成的虚拟图像的真实性，另外，可以采用不同的标准模板图训练生成器网络，使得训练后的虚拟图像生成模型也可以生成不同标准模板图对应的虚拟图像，提高了后续生成虚拟图像的多样性，有利于后续利用更加逼真且多样的虚拟图像扩充训练图像感知模型的数据集或样本库，进而提高图像感知模型的精度。
120.可选地，虚拟图像生成模型的训练装置600还包括：
121.推理模块，用于将所述标准模板图和随机生成的第二噪声图合并后，输入至所述虚拟图像生成模型中，得到所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像。
122.可选地，训练模块605还用于基于所述虚拟图像生成模型输出的所述标准模板图对应的虚拟图像，训练图像感知模型。
123.可选地，抽取模块601具体用于：
124.从标准模板图库中选定所述标准模板图；
125.从所述标准模板图对应的数据集中，通过随机抽样或非随机抽样抽取所述真实图像。
126.可选地，生成模块602具体用于：
127.提取所述真实图像中的图像特征，作为噪声种子；
128.基于所述噪声种子，生成所述真实图像对应的第一噪声图；
129.其中，所述第一噪声图的尺寸与所述标准模板图的尺寸相同。
130.可选地，合并模块603具体用于：通过通道级的图像拼接和/或矩阵计算，合并所述标准模板图和所述第一噪声图，得到所述合并图像。
131.可选地，虚拟图像生成模型的训练装置600还包括：
132.设定模块，用于将所述合并图像和所述真实图像作为所述第一图像对，设定所述第一图像对的标签值表征为真；并将所述合并图像和所述候选图像作为所述第二图像对，设定所述第二图像对的标签值表征为假；
133.训练模块605具体用于将所述第一图像对和所述第二图像对输入至所述判别器网络，以由所述判别器网络基于所述第一图像对的标签值和所述第二图像对的标签值，对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型。
134.图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备700可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行虚拟图像生成模型的训练方法，该方法包括：
135.从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像；
136.基于所述真实图像，生成所述真实图像对应的第一噪声图；其中，所述第一噪声图用于表征所述真实图像与所述标准模板图之间的差异；
137.合并所述标准模板图和所述第一噪声图，得到合并图像；
138.将所述合并图像输入至预先设置的生成器网络中，得到所述生成器网络输出的候选图像；其中，所述生成器网络用于基于所述合并图像生成虚拟的图像作为候选图像；
139.将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型；其中，所述第一图像对包括所述合并图像和所述真实图像，所述第二图像对包括所述合并图像和所述候选图像。
140.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
141.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的虚拟图像生成模型的训练方法，该方法包括：
142.从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像；
143.基于所述真实图像，生成所述真实图像对应的第一噪声图；其中，所述第一噪声图
用于表征所述真实图像与所述标准模板图之间的差异；
144.合并所述标准模板图和所述第一噪声图，得到合并图像；
145.将所述合并图像输入至预先设置的生成器网络中，得到所述生成器网络输出的候选图像；其中，所述生成器网络用于基于所述合并图像生成虚拟的图像作为候选图像；
146.将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型；其中，所述第一图像对包括所述合并图像和所述真实图像，所述第二图像对包括所述合并图像和所述候选图像。
147.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的虚拟图像生成模型的训练方法，该方法包括：
148.从标准模板图库中选定需要生成虚拟图像的标准模板图，从所述标准模板图对应的数据集中抽取真实图像；
149.基于所述真实图像，生成所述真实图像对应的第一噪声图；其中，所述第一噪声图用于表征所述真实图像与所述标准模板图之间的差异；
150.合并所述标准模板图和所述第一噪声图，得到合并图像；
151.将所述合并图像输入至预先设置的生成器网络中，得到所述生成器网络输出的候选图像；其中，所述生成器网络用于基于所述合并图像生成虚拟的图像作为候选图像；
152.将第一图像对和第二图像对输入至预先设置的判别器网络，以由所述判别器网络对抗训练所述生成器网络，得到训练后的生成器网络，作为虚拟图像生成模型；其中，所述第一图像对包括所述合并图像和所述真实图像，所述第二图像对包括所述合并图像和所述候选图像。
153.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
154.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
155.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。