元素图像生成方法、装置及系统与流程

本申请涉及计算机技术领域，尤其涉及一种元素图像生成方法、装置及系统。

背景技术：

随着计算机和互联网时代的到来，各类图形元素，例如字库中的字体、卡通动漫人物、花式符号等，已经成为人们工作生活中必不可少的一部分，让人们的生活更加丰富多彩。风格各异的图形元素，将外在的艺术表现性与内在的丰富内涵融合在一起，成为人们表达自我的有效手段。

在构建图形元素的图像库(可简称元素图像库)时，往往需要制作一系列风格相同的元素图像，并需要设计师对元素图像库中每一个元素图像逐一进行设计、制作，耗时耗力。以元素图像具体化为字体库中的字体为例。汉字字库的规模都很大，其中gb2312国标码收录常用汉字有6763个，gbk编码方案收录汉字21886个，而最新的gb18030国标码收录汉字更多达70244个。由于每一款新字体的设计制作都需要字体设计师一笔一划手工完成，且在整个过程中需要对字库中的每个汉字进行重复劳动，使之具备相同的风格，因此，工作量非常大。

虽然相关技术中引入了机器学习的方法生成字体，但是，仍然因数据处理的过程中信息损耗过大而导致实施效果不佳。

因此，亟需一种能够高效、准确元素图像生成方法，以便提高构建元素图像库的效率和元素图像的准确性。

技术实现要素：

本申请实施例提供一种元素图像生成方法和装置，旨在高效、准确地生成元素图像，以便提高构建元素图像库的效率，并提高所构建元素图像的准确性。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种元素图像生成方法，包括：

基于初始元素图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行所述生成第二特征图的步骤，以获得多个第二特征图；

基于所述第一特征图和所述多个第二特征图中至少一个第二特征图，生成与所述初始元素图像相对应的目标元素图像；

其中，所述迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样元素图像，生成第二特征图，所述降采样元素图像由所述初始元素图像经过将采样处理后得到，所述降采样元素图像与所述第一特征图的空间尺寸相匹配。

优选地，在第一方面提供的元素图像生成方法中，所述方法由元素图像生成模块执行；所述元素图像生成模块中包括编码子模块，所述编码子模块中包括逐级相连的m级编码单元，m为自然数；

所述基于初始元素图像生成第一特征图的步骤，由第一级编码单元执行；

所述生成第二特征图的步骤，由第二级编码单元至第m级编码单元执行。

优选地，在第一方面提供的元素图像生成方法中，所述基于第一特征图和降采样元素图像，生成第二特征图的步骤，由第二级编码单元至第m级编码单元中至少一级编码单元执行。

优选地，在第一方面提供的元素图像生成方法中，所述方法还包括：

确定元素图像对，所述元素图像对中包括原始图像和与所述原始图像相对应的真实样本图像；

利用元素图像生成模块，基于所述原始图像生成与所述原始图像相对应的生成图像；

利用判别模块，判别所述生成图像与所述真实样本图像之间的差异程度；其中，所述生成图像标记为负类，所述真实样本图像标记为正类；

根据所述差异程度，交替调整所述元素图像生成模块和所述判别模块中的参数，直至所述差异程度满足预设条件。

优选地，在第一方面提供的元素图像生成方法中，判别所述生成图像与所述真实样本图像之间的差异程度，包括：

根据所述生成图像和所述真实样本图像计算损失函数；

根据所述损失函数的计算结果输出判别结果，所述判别结果用于反映所述生成图像与所述真实样本图像之间的差异程度。

优选地，在第一方面提供的元素图像生成方法中，所述损失函数包括特征空间损失函数，所述特征空间损失函数用于反映所述生成图像与所述真实样本图像之间在特征空间上的差异。

优选地，在第一方面提供的元素图像生成方法中，所述损失函数包括对抗损失函数，所述对抗损失函数用于反映所述元素图像生成模块对降低所述差异程度的贡献程度和所述判别模块对提高所述差异程度的贡献程度。

优选地，在第一方面提供的元素图像生成方法中，所述损失函数包括以下至少一项：

像素空间损失函数，所述像素空间损失函数用于反映所述生成图像与所述真实样本图像之间在对应像素点上的差异；

类别损失函数，所述类别损失函数用于反映所述生成图像与所述真实样本图像之间在类别上的差异。

优选地，在第一方面提供的元素图像生成方法中，在利用元素图像生成模块，基于所述原始图像生成与所述原始图像相对应的生成图像之后，所述方法还包括：

对生成的生成图像进行测试，确定所述生成图像与所述真实样本图像的匹配程度。

优选地，在第一方面提供的元素图像生成方法中，对所述元素图像生成模型生成的生成图像进行测试，确定所述生成图像与所述真实样本图像的匹配程度，包括：

根据以下至少一项指标确定所述生成图像与所述真实样本图像的匹配程度：

所述生成图像与所述真实样本图像之间的l1距离；

所述生成图像与所述真实样本图像之间的峰值信噪比psnr；

所述生成图像与所述真实样本图像之间的结构相似度ssim。

优选地，在第一方面提供的元素图像生成方法中，在确定所述生成图像与所述真实样本图像的匹配程度之后，所述方法还包括：

根据所述生成图像与所述真实样本图像的匹配程度，调整所述元素图像生成模块中的参数。

优选地，在第一方面提供的元素图像生成方法中，所述元素图像为文字字体。

第二方面，本申请实施例提供一种元素图像生成装置，所述装置包括：

特征图第一生成单元，用于基于初始元素图像生成第一特征图；

特征图第二生成单元，用于基于第一特征图，生成第二特征图；

目标元素图像生成单元，用于基于第一特征图和多个第二特征图中至少一个第二特征图，生成与所述初始元素图像相对应的目标元素图像；

其中，所述特征图第二生成单元中的至少一个，还用于：

基于第一特征图和降采样元素图像，生成第二特征图；所述降采样元素图像由所述初始元素图像经过将采样处理后得到，所述降采样元素图像与所述第一特征图的空间尺寸相匹配。

第三方面，本申请实施例提供一种元素图像生成系统，所述系统包括元素图像生成模块，所述元素图像生成模块中包括编码子模块和解码子模块；所述编码子模块中包括逐级相连的m级编码单元，所述解码子模块中包括逐级相连的m级解码单元，m为自然数；其中，

第一级编码单元，用于基于初始元素图像生成第一特征图；

第二级编码单元至第m级编码单元，用于基于上一级编码单元生成的特征图，生成第二特征图；

解码子模块，用于基于第一特征图和多个第二特征图中至少一个第二特征图，生成与所述初始元素图像相对应的目标元素图像。

优选地，在第三方面提供的元素图像生成系统中，所述系统还包括：

元素图像判别模块，用于判别生成图像与真实样本图像之间的差异程度；

其中，

所述生成图像由所述元素图像生成模块基于原始图像生成；

所述真实样本图像与所述原始图像相对应，构成元素图像对；

所述差异程度用于交替调整所述元素图像生成模块和所述判别模块中的参数，使得所述差异程度满足预设条件。

第四方面，本申请实施例提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

基于初始元素图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行所述生成第二特征图的步骤，以获得多个第二特征图；

基于所述第一特征图和所述多个第二特征图中至少一个第二特征图，生成与所述初始元素图像相对应的目标元素图像；

其中，所述迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样元素图像，生成第二特征图，所述降采样元素图像由所述初始元素图像经过将采样处理后得到，所述降采样元素图像与所述第一特征图的空间尺寸相匹配。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

基于初始元素图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行所述生成第二特征图的步骤，以获得多个第二特征图；

基于所述第一特征图和所述多个第二特征图中至少一个第二特征图，生成与所述初始元素图像相对应的目标元素图像；

其中，所述迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样元素图像，生成第二特征图，所述降采样元素图像由所述初始元素图像经过将采样处理后得到，所述降采样元素图像与所述第一特征图的空间尺寸相匹配。

第六方面，本申请实施例提供一种汉字字体图像生成方法，包括：

基于初始汉字字体图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行所述生成第二特征图的步骤，以获得多个第二特征图；

基于所述第一特征图和所述多个第二特征图中至少一个第二特征图，生成与所述初始汉字字体图像相对应的目标汉字字体图像；

其中，所述迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样汉字字体图像，生成第二特征图，所述降采样汉字字体图像由所述初始汉字字体图像经过将采样处理后得到，所述降采样汉字字体图像与所述第一特征图的空间尺寸相匹配。

第七方面，本申请实施例提供一种文字字体图像生成方法，包括：

基于初始文字字体图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行所述生成第二特征图的步骤，以获得多个第二特征图；

基于所述第一特征图和所述多个第二特征图中至少一个第二特征图，生成与所述初始文字字体图像相对应的目标文字字体图像；

其中，所述迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样文字字体图像，生成第二特征图，所述降采样文字字体图像由所述初始文字字体图像经过将采样处理后得到，所述降采样文字字体图像与所述第一特征图的空间尺寸相匹配。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

采用本申请实施例提供的技术方案，在基于初始元素图像生成第一特征图的基础上，迭代执行生成第二特征图的步骤，以获得多个第二特征图。并且，在迭代执行的过程中，至少一次引入降采样元素图像作为补充信息，用于生成第二特征图。在此基础上，基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始元素图像相对应的目标元素图像。因此，本申请实施例提供的技术方案，不仅能够高效的根据初始元素图像扩充出不同风格的目标元素图像，提高了构建元素图像库的效率，还能够降低数据处理过程中的信息损耗，从而有利于提高生成的目标元素图像的准确性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的元素图像生成方法的流程示意图；

图2为本申请实施例中所采用的元素图像生成模型的结构示意图；

图3为本申请实施例中所采用的元素图像生成模型中编码单元的结构示意图；

图4为本申请实施例中所采用的元素图像生成模型中解码单元的结构示意图；

图5为本申请实施例中生成目标元素图像的具体流程示意图；

图6为本申请实施例中所采用的元素图像生成模型中第一级编码单元的处理过程示意图；

图7为本申请实施例中所采用的元素图像生成模型中各级编码单元的处理过程示意图；

图8为本申请实施例中所采用的元素图像生成模型训练网络的结构示意图；

图9为本申请实施例中所采用的元素图像生成模型训练网络中判别模块的结构示意图；

图10为本申请实施例中计算特征空间损失函数的模型结构示意图；

图11为本申请实施例提供的元素图像生成装置的结构示意图；

图12为本申请实施例提供的元素图像生成系统的结构示意图；

图13为本申请实施例提供的电子设备的结构示意图。

具体实施方式

为了方便理解本申请实施例，在此先介绍本申请中引入的几个要素。

卷积神经网络(convolutionalneuralnetwork，简称cnn)，是人工神经网络的一种，由一系列卷积层、非线性激活层、池化层、归一化层、全连接层等基本单元连接构成。

特征图(featuremap)：由卷积层、池化层、全连接层或网络中的其他层输出的特征表示。

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了元素图像生成方法。可以理解到，本申请实施例所适用的元素图像，可以包括文字的字体、乐谱上的标记符号、卡通人物造型等各种图形类元素。本申请实施例的目的在于，根据元素图像集合中小部分样本的风格特征(可以理解到，这部分样本通常由用户手工逐一设计，可作为确定风格特征的依据)，自动扩充生成与元素图像集合中的其他元素图像相对应的新的元素图像，使得生成的新的元素图像与用户手工设计的样本的风格一致，从而可以高效、准确的生成不同风格的元素图像集合，实现了对不同风格的图形集合的自动扩充。

在一种应用场景下，元素图像具体化为卡通形象。假设用户希望设计一套风格统一的卡通形象，则可以根据部分动物的原始图像手工设计这部分动物的卡通形象，以原始图像和这部分动物的卡通形象(作为真实样本图像)为输入，对元素图像生成模型(也可称为元素图像生成模块)进行训练。进而可以将其他动物的图像作为初始元素图像输入上述训练好的元素图像生成模型，即可自动生成与手工设计的风格统一的其他卡通形象。

在又一种应用场景下，元素图像具体化为汉字字体。每种汉字字体都需要有对应的字体库。假设用户希望构建一个新的字体库，则可以在手工设计部分汉字的新字体(例如，1000个新字体的汉字)以确定新字体的风格后，以这部分汉字的原字体(例如，宋体)作为原始图像，以这部分汉字的新字体作为真实样本图像，对元素图像生成模型进行训练。进而可以采用本申请实施例提供的方法，以剩余的汉字(例如，可以是按照gb18030国标码收录的汉字标准构建字体库，则剩余汉字的数量为70244-1000＝69244；也可以是用户当前需要生成新字体的特定汉字)的原字体(例如，宋体)作为初始元素图像，通过这一训练好的元素图像生成模型(也可称为元素图像生成模块，元素图像生成网络)，生成剩余的汉字的新字体，从而能够高效的生成汉字的新字体，提高了构建字体库的效率。

在本申请实施例中所采用的元素图像生成模型(可具体化为以上应用场景中的字体生成模型)，会多次接受初始元素图像(可具体化为以上应用场景中的原字体)，既接受原始的初始元素图像，也接受对原始的初始元素图像进行降采样处理后的降采样元素图像作为补充信息，从而可以降低数据处理过程中的信息损耗，有利于提高生成的目标元素图像(可具体化为以上应用场景中的新字体)的准确性。

参见图1所示，本申请实施例提供一种元素图像生成方法，可包括：

s101：基于初始元素图像生成第一特征图；

s103：基于第一特征图，生成第二特征图；

s105：将第二特征图作为新的第一特征图，迭代执行上述步骤s103，生成第二特征图的步骤，以获得多个第二特征图；

s107：基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始元素图像相对应的目标元素图像；

其中，上述步骤s103，生成第二特征图的步骤中，至少一次包括：

基于第一特征图和降采样元素图像，生成第二特征图；降采样元素图像由初始元素图像经过将采样处理后得到，降采样元素图像与第一特征图的空间尺寸相匹配。

可以理解到，在实施图1所示元素图像生成方法时，可以先确定初始元素图像。确定出的初始元素图像，可以理解为生成目标元素图像的依据，生成的目标元素图像与初始元素图像相对应。根据用户的应用需求，目标元素图像与初始元素图像之间的对应方式可以不同，具体地可以通过训练好的元素图像生成模型(也可称为元素图像生成模块)实现。具体到字体生成这一应用场景下，可以理解为，相对应的目标元素图像和初始元素图像所反映的是同一汉字的不同字体(风格)。

需要说明的是，确定初始元素图像时，还可以理解为根据批大小，确定单次输入到元素图像生成模型中进行处理的一批图像。可以理解到，批大小(batchsize)，指的是单次输入到模型中进行处理的图像的数量，是基于神经网络构建的模型中的一个参数。例如，batchsize的值取为1，则每次只向模型输入一张初始元素图像进行处理；batchsize的值取为16，则每次将16张初始元素图像作为一个批次输入到模型，相对应地，生成的目标元素图像也将会是16张。

在确定初始元素图像的基础上，可执行上述步骤s101～s107，生成与初始元素图像相对应的目标元素图像。具体的，可以基于训练好的元素图像生成模型，根据初始元素图像和初始元素图像经过降采样处理后的降采样元素图像，生成与初始元素图像相对应的目标元素图像。

采用上述技术方案，在基于初始元素图像生成第一特征图的基础上，迭代执行生成第二特征图的步骤，以获得多个第二特征图。并且，在迭代执行的过程中，至少一次引入降采样元素图像作为补充信息，用于生成第二特征图，进而基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始元素图像相对应的目标元素图像。因此，本申请实施例提供的技术方案，不仅能够高效的根据初始元素图像扩充出不同风格的目标元素图像，提高了构建元素图像库的效率，还能够降低数据处理过程中的信息损耗，从而有利于提高生成的目标元素图像的准确性。

可以理解到，无论在何种应用场景下，无论采用何种方式搭建和训练元素图像生成模型，只要该模型能够接受原始的初始元素图像，并至少一次接受经过降采样处理后的降采样元素图像，基于此生成的与初始元素图像相对应的目标元素图像，都可以高效、准确的基于初始元素图像生成包含新的元素图像的目标元素图像，并且，能够降低数据处理过程中的信息损耗，有利于提高生成的目标元素图像的准确性。

以下结合附图，以元素图像具体化为文字字体的应用场景为主，举例说明元素图像生成模型(元素图像生成模块)的具体框架，并结合元素图像生成模型详细说明本申请实施例提供的元素图像生成方法的多方面实施示例。

图2给出了适用于本申请实施例的一种元素图像生成模型的框架示意图。图2所示的元素图像生成模型包括生成模块(generator)，生成模块中包括编码子模块(encoder)和解码子模块(decoder)。在具体实施时，该模型的输入为初始元素图像，该模型的输出为与初始元素图像相对应的目标元素图像。以该模型具体用于生成新字体为例，输入的初始元素图像为原字体的文字(例如图2中黑体的“趵”字)，输出的目标元素图像为新字体的文字(例如图2中楷体的“趵”字)。

上述元素图像生成模型(元素图像生成模块)中的编码子模块用于将初始元素图像转换为高维特征图，解码子模块用于将高维特征图转换为一张新图像，也就是输出的目标元素图像。可以理解到，编码子模块和解码子模块对数据的处理过程为对称的、互逆的。

元素图像生成模块中，编码子模块中包括逐级相连的m级编码单元，m为自然数。解码子模块中包括逐级相连的m级解码单元，m为自然数。以图2所示模型为例，m取值为8。

具体的，上述步骤s101，基于初始元素图像生成第一特征图的步骤，由第一级编码单元(如图2中编码单元e1)执行。第一级编码单元在接受初始元素图像的基础上，生成第一特征图，输出至第二级编码单元(如图2中编码单元e2)。除此之外，第一级编码单元还可将第一特征图还输出至解码子模块中与第一级编码单元相对应的解码单元(如图2中解码单元d7)。

上述步骤s103～s105中基于第一特征图(和降采样元素图像)，生成第二特征图的步骤，由第二级编码单元至第m级编码单元执行。并且，第二级编码单元至第m级编码单元中至少一级编码单元(例如，图2中编码单元e2～e8中至少一个编码单元)，在生成第二特征图时，除基于上一级编码单元输出的特征图外，还基于由初始元素图像经过将采样处理后得到降采样元素图像，并且，降采样元素图像与上一级编码单元输出的特征图的空间尺寸相匹配。

需要说明的是，编码子模块中的各编码单元结构相同，按照顺序逐级相连，每个编码单元都会向其下一级编码单元输出特征图(最后一级编码单元输出的特征图将由第一级解码单元接受)。编码单元可以由若干卷积层conv、漏改进线性单元层lrelu和批量归一化层bn构成。输入到编码单元的图像或者特征图可以先后经过漏改进线性单元层lrelu、卷积层conv和批量归一化层bn的处理后输出，参见图3所示。能够理解，各层的数量以及各层间的顺序可以调整，通常可以将卷积层conv和漏改进线性单元层lrelu成对设计(例如，设计为conv-lrelu-conv-lrelu或者lrelu-conv-lrelu-conv的形式)，还可将批量归一化层bn设计在编码单元的最后。

解码子模块中的各解码单元结构相同，也按照顺序逐级相连。并且，解码单元的数量与编码单元的数量相同。解码单元可以由修正线性单元层relu、反卷积层deconv、批量归一化层bn和梯度下降层dropout构成。输入到解码单元的特征图可以先后经过修正线性单元层relu、反卷积层deconv、批量归一化层bn和梯度下降层dropout的处理后输出，参见图4所示。类似的，各层的数量以及各层间的顺序可以调整，能够实现对特征图的处理，最终生成目标元素图像即可。

在编码子模块中的编码阶段，特征图每经过一级编码单元的处理，输出特征图的空间尺寸将会减小为输入特征图的空间尺寸的一半(具体为特征图的宽度减小一半，且高度减小一半)。而在解码子模块中的解码阶段，特征图每经过一级解码单元的处理，输出特征图的空间尺寸将会增大为输入特征图的空间尺寸的两倍(具体为特征图的宽度增大为两倍，且高度增大为两倍)。因此，在编码和解码这两个阶段中，将会存在某个编码单元与某个解码单元输出的特征图的空间尺寸相同，则可为满足这一条件的编码单元和解码单元建立对应关系，可以称之为对称对。具体地，可以描述为，输出的特征图的空间尺寸相同的编码单元和解码单元具有对应关系。

以初始元素图像的尺寸为256×256×3为例(该图像的尺寸表示可以理解为：该图像宽度和高度上的像素点数量均为256，以rgb颜色模型的方式表示，因此对于每一像素点用三维属性数据表示)。图2所示的编码子模块中包含的8级编码单元输出的特征图的空间尺寸如下表1所示。

表1编码单元输出特征图尺寸示例

表1所示例的输出特征图尺寸，以批大小(batch＝16)为16为例，图像的尺寸由初始元素图像的256×256，经过编码单元e1(第一级编码单元)处理后变为128×128，再经由编码单元e2(第二级编码单元)处理后变为64×64，以此类推，直至经由编码单元e8(第八级编码单元)处理后变为1×1。

可以理解到，在上述示例中，各编码单元中卷积层的个数可以不尽相同，从而导致各级输出中通道数(channel)的数值也不一样。通常，为了在一定程度上弥补数据处理过程中的信息损耗，卷积层的个数优选随着编码单元的级数递增。

与表1中示例的输出特征图尺寸相对应地，图2所示的解码子模块中所包含的8级解码单元输出的特征图的空间尺寸如下表2所示。

表2解码单元输出特征图尺寸示例

以上简要阐述了元素图像生成模型的结构以及编码单元和解码单元之间的对应关系。在图2示例的元素图像生成模型的基础上，基于训练好的元素图像生成模型，根据初始元素图像和初始元素图像经过降采样处理后的降采样元素图像，生成与初始元素图像相对应的目标元素图像，可以具体包括以下步骤，参见图5所示：

s1031：将初始元素图像和降采样元素图像输入编码子模块。

需要说明的是，本申请实施例中，将初始元素图像经过降采样处理后的降采样元素图像也输入编码子模块，可以降低数据处理过程中的信息损耗，从而生成更准确的目标元素图像。

在具体实施时，第一级编码单元(例如图2中的编码单元e1)可以直接接受原始的初始元素图像，参见图6所示。第一级编码单元之后的任一第n级编码单元(n可取为大于1并且不大于m的自然数)，除接收上一级编码单元输出的特征图之外，还可以接受经过降采样处理后的降采样元素图像，参见图7所示。对于不同的编码单元，能够接受的降采样元素图像的空间尺寸与编码单元相对应，具体地，应该与该编码单元接收的上一级输出的特征图的空间尺寸一致，以便该编码单元能够将两者进行融合后进行后续数据处理。

可以理解到，可以将降采样元素图像输入到第一级编码单元之后的每一个编码单元(例如图2中的编码单元e2～e8)，也可以仅输入到部分编码单元(例如图2中的编码单元e2和e7)，只要降采样元素图像的空间尺寸与所接入的编码单元接收的上一级特征图的空间尺寸一致即可。例如，编码单元e1向编码单元e2输出的特征图的空间尺寸为128×128，则输入编码单元e2的降采样元素图像的空间尺寸也应处理为128×128。采用这种方式，在模型不同深度的层(对应到不同级数的编码单元)都可以补充初始元素图像特定尺寸的信息，从而有利于生成高质量的目标元素图像。

具体地，获取降采样元素图像时，可以采用双线性插值、单次插值、最临近插值等多种方式对初始元素图像进行降采样处理，本申请对此不做限定。

编码单元对接收到的特征图和降采样元素图像进行融合后进行后续处理。融合的具体方式可以有多种选择，例如，在特定维度上叠加，或者进行对应像素点的属性值的叠加运算即可。优选在特征图通道(channel)维度上进行叠加。

s1033：利用编码子模块向解码子模块输出多个特征图。

如前所述，输出的特征图的空间尺寸相同的编码单元和解码单元存在对应关系，构成对称单元对，例如，<e1,d7>，<e3,d5>等。本申请实施例中，存在有对应关系的编码单元和解码单元的输出直接相连。因此，编码子模块中的各编码单元在输出特征图时，会将生成的特征图输出至其下一级编码单元(最后一级编码单元生成的特征图将输出至第一级解码单元)，并输出至其相对应的解码单元。结合图2所示的模型框架图，具体如下：

第一级编码单元(具体化为编码单元e1)根据初始元素图像将生成第一特征图；第一级编码单元(具体化为e1)将第一特征图输出至第二级编码单元(具体化为e2)和与第一级编码单元相对应的解码单元(具体化为解码单元d7)；

第k级编码单元(具体化为编码单元e2～e7中的任一个，例如编码单元e3)根据降采样元素图像和第k-1级编码单元(相对应的，具体化为编码单元e2)输出的第二特征图，生成第三特征图；第k级编码单元(例如编码单元e3)将第三特征图输出至第k+1级编码单元(相对应的，具体化为编码单元e4)以及与第k级编码单元(例如编码单元e3)相对应的解码单元(相对应的，具体化为解码单元d5)；其中，k为大于1并且小于m的自然数，降采样元素图像与第二特征图的空间尺寸相同；

利用第m级编码单元(具体化为编码单元e8)根据降采样元素图像和第m-1级编码单元(具体化为编码单元e7)输出的第四特征图，生成第五特征图，输出至解码子模块中的第一级解码单元(具体化为解码单元d1)。

s1035：利用解码子模块根据多个特征图，生成与初始元素图像相对应的目标元素图像。

解码子模块中的各级解码单元在接受上一级解码单元输出的特征图后进行处理，再将本级输出的特征图与相对应的编码单元传来的特征图进行融合，作为下一级解码单元的输入。结合图2所示的模型框架图，具体如下：

第一级解码单元(具体化为解码单元d1)根据最后一级编码单元(具体化为编码单元e8)输出的第五特征图，生成第六特征图，输出至第二级解码单元(具体化为解码单元d2)；

解码子模块中的第l级解码单元(具体化为解码单元d2～d7中的任一个，例如解码单元d3)根据第l-1级解码单元(相对应的，具体化为解码单元d2)输出的第七特征图，生成第八特征图；第l级解码单元(例如解码单元d3)将第八特征图与第l级解码单元(例如解码单元d3)相对应的编码单元(相对应的，具体化为编码单元e5)输出的第九特征图，在通道维度上进行叠加，生成第十特征图，输出至第l+1级解码单元(相对应的，具体化为解码单元d4)；其中，l为大于1且小于m的自然数；

利用解码子模块中的第m级解码单元根据第m-1级解码单元输出的第十一特征图，生成与初始元素图像相对应的目标元素图像。

采用上述方式，编码子模块中的编码单元接受上一级编码单元输出的特征图和对初始元素图像经过降采样处理后的降采样元素图像这两种输出信号，从而在编码子模块的不同阶段都有初始元素图像的信息流入。同时，解码子模块中的解码单元在接受上一级解码单元输出的特征图之外，还接受编码子模块中相对应的编码单元直接输出的特征图，从而更进一步降低了图像数据处理过程中的信息损耗。

可以理解到，上述对特征图的编号(第一特征图～第十一特征图)，仅仅出于方便描述的目的，并不对特征图本身构成限定。

采用本申请实施例提供的技术方案，在确定初始元素图像后，可采用训练好的元素图像生成模型生成与初始元素图像相对应的目标元素图像，具体地，可以利用元素图像生成模型根据初始元素图像以及对初始元素图像经过降采样处理后的降采样元素图像，生成上述目标元素图像。采用训练好的元素图像生成模型，可以根据初始元素图像自动的生成目标元素图像，从而能够高效的根据初始元素图像扩充出不同风格的目标元素图像，提高了构建元素图像库的效率。除此之外，在元素图像生成模型中除接受原始的初始元素图像之外，还接受对初始元素图像经过降采样处理后的降采样元素图像作为补充信息以生成特征图，因此，降低了数据处理过程中的信息损耗，从而有利于提高生成的目标元素图像的准确性。

以上举例阐述了如何利用训练好的元素图像生成模型生成目标元素图像的具体实施示例。可以理解到，在此之前，可以对元素图像生成模型进行训练，使之满足使用需求。其中，可具体训练包含元素图像生成模块和判别模块的元素图像生成网络，参见图8所示。元素图像生成模块(以下可简称为生成模块)用于基于原始图像生成与原始图像相对应的生成图像；判别模块用于判别生成图像与真实样本图像之间的差异程度，并根据差异程度调整元素图像生成网络中的参数；其中，真实样本图像与原始图像相对应，构成元素图像对。

由于原始图像经过生成模块的编码和解码后会生成一张新的图像，也就是生成图像。在训练过程中，由判别模块来分辨输入的图像是真实样本图像还是模型生成的生成图像。判别模块的结构可如图9所示。图9所示例的判别模块中，生成图像和真实样本图像进入判别模块，前面的两层是卷积层conv和漏改进线性单元层lrelu，随后由3个[卷积层conv-批零归一化层bn-漏改进线性单元层lrelu]结构串联而成。随后是一个全连接层fc，最后是sigmoid层，用于将结果映射到0和1之间，体现生成图像是真实样本图像的概率。需要说明的是，在具体实施时，中间连接2个或4个[卷积层conv-批零归一化层bn-漏改进线性单元层lrelu]结构也都可以，只要判别模块的结构不太复杂，能够满足需求即可。

具体地，训练元素图像生成网络的过程，可具体包括：

确定元素图像对，元素图像对中包括原始图像和与原始图像相对应的真实样本图像；

将原始图像输入生成模块，利用生成模块得到与生成模块相对应的生成图像；

将生成图像和真实样本图像作为训练样本输入判别模块，利用判别模块确定生成图像与真实样本图像之间的差异程度；其中，生成图像标记为负类，真实样本图像标记为正类；

根据差异程度，交替调整生成模块和判别模块中的参数，直至差异程度满足预设条件。

在整个网络(可以理解为机器学习模型)的训练过程中，生成模块的目标是使得生成的生成图像尽可能真实，以至于可以“骗过”判别模块(也就是使得判别模块认为生成图像与真实样本图像没有差异，或者差异足够小)。而判别模块的目标是正确分辨出真实样本图像和生成图像。因此，在训练时可以对生成模块和判别模块进行交替训练。具体如下：

首先，系统初始化生成模块(generator)和判别模块(discriminator)，分别记为g0和d0；系统接受一个batch(也就是一个批次)的输入图片(输入的数量为batchsize的取值)，其中每个输入都是一对图，即原始图像和对应的真实样本图像。然后，将原始图像送入生成模块g0，经过一系列数据处理后生成一张新的图片，也就是生成图像。

其次，将真实样本图像标记为正类，生成图像标记为负类，二者作为训练样本输入给判别模块d0。此时固定生成模块g0，根据损失函数的计算结果更新判别模块d0的参数，使得d0更新到一个新的状态，记为d1。然后固定d1，根据损失函数的计算结果更新生成模块g0的参数，使得g0更新到一个新的状态，记为g1。如此往复，在整个训练过程中交替训练生成模块g和判别模块d，使得损失函数的计算结果满足预设要求，二者达到最佳状态。

可以理解到，在按照上述方式训练好模型后，即可将初始元素图像作为训练过程中的原始图像输入模型，模型生成的生成图像即为用户期望得到的目标元素图像。

在训练模型的过程中，采用非监督式的学习方法，通过让生成模块和判别模块这两个神经网络相互博弈的方式进行学习。生成模块的输出结果需要尽量模仿训练集中的真实样本图像；而判别模块的目的是分辨真实样本图像和生成图像。两个模块相互对抗，不断调整参数，最终目的是使得判别模块无法判断生成模块的输出结果是否真实。

可以理解到，在模型训练的过程中，可根据生成图像和真实样本图像计算损失函数，从而根据损失函数的计算结果输出判别结果，反映生成图像与真实样本图像之间的差异程度。并可进而根据损失函数的计算结果，调整元素图像生成模型中的参数。

在本申请实施例所采用的元素图像生成网络中，损失函数可以有多种选择。例如，可以包括对抗损失函数。对抗损失函数用于反映生成模块对降低差异程度的贡献程度和判别模块对提高差异程度的贡献程度。可以理解到，模型中的生成模块不断生成新的生成图像，希望通过判别模块的评估。而判别模块希望能够正确地分辨生成的生成图像(被标记为负类)和真实样本图像(被标记为正类)。因此，对抗损失函数可以用如下公式表示：

其中，pdata(x)代表目标数据分布，pz(z)是一种原始数据分布。在图像生成任务中，pdata(x)代表将输入判别模块的真实样本图像，pz(z)是输入生成模块的原始图像，g(z)代表通过模型生成、将输入判别模块的生成图像。

由于生成模块g和判别模块d是通过互相对抗的方式交替训练的。生成模块g不断生成新的生成图像，试图通过判别模块d的评测；判别模块d试图准确的分辨真实样本图像和生成图像。因此，在训练模型的过程中，判别模块d对真实样本图像会给一个较高的分数，对生成的生成图像会给一个较低的分数，即d有最大化d(x)、最小化d(g(z))的趋势。因此判别模块d将最大化对抗损失函数v(d，g)。而生成模块g试图生成真实的图像，因此有最大化d(g(z))的趋势，因此会将最小化对抗损失函数v(d，g)。

除此之外，还可以引入特征空间损失函数(perceptualloss，又可称为感知loss)作为模型训练中的损失函数。特征空间损失函数用于反映生成图像与真实样本图像之间在特征空间上的差异。特征空间是指将图像通过一个深度神经网络后生成富含语义信息的高维特征所对应的空间。和像素空间不同，特征空间的向量含有经过抽象的更高级的语义信息，因此可以用于衡量生成图像和真实样本图像中间的差异。

在具体实现中，可以采用alexnet、resnet、vgg19等多种方式计算感知loss。此处以vgg19这种方式为例详细说明。

可以选择在imagenet数据集(一个包含1000类的超大规模的图像数据集)上已经训练好的vgg19模型。vgg19是一个典型的神经网络模型，由多个卷积层conv、池化层pooling和全连接层fc构成。其中卷积层部分的结构参见图10所示。

在训练过程中，分别将生成图像和真实样本图像通过vgg19网络，选取某些卷积层输出的特征，计算两种特征之间的l1距离作为感知loss。vgg19模型有很多卷积层，因为也有很多的选择方式。推荐选择不同深度的卷积层，例如图10中示例的，可以选择卷积层conv1_2、conv2_2、conv3_2、conv_4_2和conv5_2这个五个卷积层输出的特征计算感知loss。计算公式表达如下。

其中，φ表示vgg19网络模型。l是选定的卷积层，real表示真实样本图像，fake表示生成图像。λl是每一个卷积层计算得到感知loss的权重。||·||1表示计算l1距离。最后整体的感知损失ploss是每个卷积层计算感知loss的加权和。每一层的权重可以有不同的设定方式。考虑大越靠近输出端，卷积层捕捉到的信息越接近底层，抽象程度越高，因此，推荐采用靠近输入端的卷积层权重小于靠近输出端的卷积层的权重的原则确定每一层的权重。例如，在图10给出的示例中，权重可设置为：λ1＝λ2＝λ3＝λ4＝1，λ5＝10。

进一步地，还可以采用像素空间损失函数反映目标元素图像与初始元素图像之间在对应像素点上的差异。由于元素图像生成模块的目的是生成的生成图像尽可能和真实样本图像一样。因此要衡量生成图像和真实样本图像之间的差异，也可以比较二者对应像素点之间的差异，即像素空间内的差异。具体地，可以计算真实样本图像和生成图像之间的l1距离，作为像素空间损失函数的计算结果。

除此之外，还可以采用类别损失函数反映目标元素图像与初始元素图像之间在类别上的差异。对元素图像生成模型的训练方式有多种，包括单阶段训练方式和多阶段训练方式。以训练字体生成模型为例，单阶段训练，是指直接用一种源字体生成目标字体。多阶段训练方式分为预训练阶段和再训练阶段。多阶段训练在预训练阶段时，将固定采用一种源字体，用这种源字体生成多种目标字体；在随后的再训练阶段中，再用这种源字体生成一种目标字体，这种方式称为一对多的训练方式。

由于在多阶段训练中，会要涉及到多种字体，因此希望判别模块在分辨图像是真实样本图像还是生成图像之外，还能对图像(字体)的类别做出正确的预测。因此引入了类别损失函数，具体体现为真实类别和预测类别之间的交叉熵，如下公式所示：

在上述训练元素图像生成模型之后，还可以对生成的生成图像的质量进行测试、评价。例如，可以根据以下一项或多项指标确定生成图像与真实样本图像的匹配程度：

生成图像与真实样本图像之间的l1距离；

生成图像与真实样本图像之间的峰值信噪比psnr；

生成图像与真实样本图像之间的结构相似度ssim。

具体地，可以计算测试集中所有真实样本图像和生成图像之间的l1距离，并取平均值。可以理解到，l1距离越小，说明生成图像与真实样本图像越接近，表示生成图像的质量越高。

具体地，可以计算测试集中所有真实样本图像和生成图像之间的峰值信噪比psnr。psnr是一种常见的衡量图像质量的方法，其计算公式为：

其中，i、j表示两幅图像(具体为生成图像和真实样本图像)，||·||2表示l2距离，p表示峰值，一般3通道8比特的图像p＝255。可以理解到，峰值信噪比psnr越高，说明生成字体的质量越好。

具体地，可以计算生成图像与真实样本图像之间的结构相似度ssim。结构相似度ssim从结构相关性、对比度、亮度三个角度衡量两幅图像(也就是生成图像和真实样本图像)之间的差异。计算两幅图像的ssim公式可表达为：

ssim＝l(x，y)*c(x，y)*s(x，y)

其中，μx、μy、σx、σy为图像x、y的均值和标准差，σxy为二者的协方差。c1、c2、c3为常数。

在具体实施时，优选结合上述多种指标对生成的生成图像的质量进行测试和评价。下面以元素图像具体化为文字的字体为例，说明字体质量的评测过程。在准备阶段，可以准备一个在真实字体数据集上训练好的字体识别性能较好的单字识别模型，以下将基于单字识别模型进行字体质量的评测。

第一步，用单字模型识别采用本申请实施例生成的字体图像(也就是生成图像)。如果可以正确识别生成的字，说明新生成的字在字形、笔画、结构等方面均已经初步正确。根据识别结果可以过滤一部分未正确识别的字。

第二步，对于通过单子识别模型识别的字，可以进一步计算每一个生成字的l1距离、psnr以及ssim这三种指标，得到这三种指标的结果分布。之后用每一种分布的平均值做为阈值：对于psnr以及ssim这两种指标的结果分布，滤除低于平均值的字；对l1距离这一指标的结果分布，滤除高于平均值的字。

第三步，对于通过前两步筛选的所有生成字进行一次人工评估，评估出人主观认为的质量好的字，从而可以调整每个指标阈值的大小，进而通过这个调整后的阈值决定哪些字是质量好的字。

第四步，对验证数据集中质量好的字的个数或者在验证数据集中所占的比例衡量生成字体的整体质量，个数越多和/或比例越高，说明生成字体质量的越高，字体生成模型越好。

上述对字体质量的评测方式，并没有在一个样本集上计算一个指标，而是从所有生成的字在某种特定指标上的分布入手，既结合了单字识别模型对字形、笔画等结构上的识别能力做筛选，又引入人工评判以调整每个指标的阈值，从而实现了对生成字体的质量的一种交互式评价，结合了主观评测和客观评测的优点，能够较为准确全面的反映模型生成字体的整体质量情况。在此基础上，还可以根据评测情况对模型中的参数进行调整。

以上主要举例介绍了本申请实施例提供的元素图像生成方法的具体实施过程。当元素图像具体为汉字字体时，本申请实施例提供的元素图像生成方法具体化为一种汉字字体图像生成方法，可以包括以下步骤：

基于初始汉字字体图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行生成第二特征图的步骤，以获得多个第二特征图；

基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始汉字字体图像相对应的目标汉字字体图像；

其中，迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样汉字字体图像，生成第二特征图，降采样汉字字体图像由初始汉字字体图像经过将采样处理后得到，降采样汉字字体图像与第一特征图的空间尺寸相匹配。

能够理解到，前述元素图像生成方法的实施例中的相关描述均适用于本汉字字体图像生成方法，此处不再赘述。

当元素图像具体为文字字体时，本申请实施例提供的元素图像生成方法具体化为一种文字字体图像生成方法，可以包括以下步骤：

基于初始文字字体图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行生成第二特征图的步骤，以获得多个第二特征图；

基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始文字字体图像相对应的目标文字字体图像；

其中，迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样文字字体图像，生成第二特征图，降采样文字字体图像由初始文字字体图像经过将采样处理后得到，降采样文字字体图像与第一特征图的空间尺寸相匹配。

能够理解到，前述元素图像生成方法的实施例中的相关描述均适用于本文字字体图像生成方法，此处不再赘述。

相对应的，本申请实施例还提供了一种元素图像生成装置，参见图11所示，包括：

特征图第一生成单元101，用于基于初始元素图像生成第一特征图；

特征图第二生成单元103，用于基于第一特征图，生成第二特征图；

目标元素图像生成单元105，用于基于第一特征图和多个第二特征图中至少一个第二特征图，生成与所述初始元素图像相对应的目标元素图像；

其中，所述特征图第二生成单元103中的至少一个，还用于：

基于第一特征图和降采样元素图像，生成第二特征图；所述降采样元素图像由所述初始元素图像经过将采样处理后得到，所述降采样元素图像与所述第一特征图的空间尺寸相匹配。

上述元素图像生成装置与前述实施例中元素图像生成方法相对应。前述方法实施例中的描述均适用于本装置，此处不再赘述。

同时，本申请实施例给出了各步骤的具体实现方式。能够理解到，各步骤也可以采用其它的方式实现，本申请实施例对此不作限制。

本申请实施例还提供了一种元素图像生成系统，参见图12所示，该系统包括元素图像生成模块，元素图像生成模块中包括编码子模块和解码子模块；编码子模块中包括逐级相连的m级编码单元，解码子模块中包括逐级相连的m级解码单元，m为自然数；其中，

第一级编码单元，用于基于初始元素图像生成第一特征图；

第二级编码单元至第m级编码单元，用于基于上一级编码单元生成的特征图，生成第二特征图；

解码子模块，用于基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始元素图像相对应的目标元素图像。

优选的，上述元素图像生成系统还包括：

元素图像判别模块，用于判别生成图像与真实样本图像之间的差异程度；

其中，

生成图像由元素图像生成模块基于原始图像生成；

真实样本图像与原始图像相对应，构成元素图像对；

差异程度用于交替调整元素图像生成模块和判别模块中的参数，使得差异程度满足预设条件。

可以理解到，上述元素图像生成系统与前述实施例中元素图像生成方法相对应。前述方法实施例中的描述均适用于本系统，此处不再赘述。

图13是本申请的一个实施例电子设备的结构示意图。请参考图13，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-accessmemory，ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industrystandardarchitecture，工业标准体系结构)总线、pci(peripheralcomponentinterconnect，外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成元素图像生成装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

基于初始元素图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行生成第二特征图的步骤，以获得多个第二特征图；

基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始元素图像相对应的目标元素图像；

其中，迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样元素图像，生成第二特征图，降采样元素图像由初始元素图像经过将采样处理后得到，降采样元素图像与第一特征图的空间尺寸相匹配。

上述如本申请图1所示实施例揭示的元素图像生成装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中元素图像生成装置执行的方法，并实现元素图像生成装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中元素图像生成装置执行的方法，并具体用于执行：

基于初始元素图像生成第一特征图；

基于第一特征图，生成第二特征图；

将第二特征图作为新的第一特征图，迭代执行生成第二特征图的步骤，以获得多个第二特征图；

基于第一特征图和多个第二特征图中至少一个第二特征图，生成与初始元素图像相对应的目标元素图像；

其中，迭代生成第二特征图的步骤包括至少一次如下步骤：

基于第一特征图和降采样元素图像，生成第二特征图，降采样元素图像由初始元素图像经过将采样处理后得到，降采样元素图像与第一特征图的空间尺寸相匹配。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。