基于小数据生成网络的图像转换方法、装置、设备及介质与流程

1.本发明涉及图像风格转换技术领域，尤其涉及一种基于小数据生成网络的图像转换方法、装置、设备及介质。


背景技术：

2.聊天软件或交友软件中通常需要使用人像体现用户的个人特征，现有技术方法可基于用户图像智能生成卡通人像以供用户在聊天软件或交友软件中进行使用。然而对生成卡通人像的模型进行训练时，通常难以收集到大量的训练数据，由于卡通人像为模型所需生成输出的目标信息，因此制作或收集的卡通人脸的数据量很少，训练数据较少导致无法对深度学习模型进行有效训练，模型基于输入的真实人脸图像所生成的卡通图像的效果很差。虽然有條件生成网络(conditional gan)能够解决训练数据较少的问题，但有條件生成网络的生成效果远比无條件生成网络(unconditional gan)效果差很多，虽然现有的无條件生成网络能让模型从随机变数产生小数据量的图片风格(例如卡通)，生成卡通图像的效果较好，但无條件生成网络无法在小数据样本量下实现图像转换的功能。因此，现有的技术方法存在无法基于小数据样本对生成网络进行训练以实现图像转换的问题。


技术实现要素：

3.本发明实施例提供了一种基于小数据生成网络的图像转换方法、装置、设备及介质，旨在解决现有技术方法中所存在的无法基于小数据样本对生成网络进行训练以实现图像转换的问题。
4.第一方面，本发明实施例提供了一种基于小数据生成网络的图像转换方法，所述方法包括：
5.根据预存的大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型；
6.根据所述图像转换模型中的多层分析网络及所述大数据图像集训练预置的编码器，以训练得到对应的目标编码器；
7.根据所述目标编码器对所述图像转换模型进行参数配置，得到配置后的所述图像转换模型；
8.根据预置的训练规则及预存的小数据卡通图像集对配置后的所述图像转换模型进行优化训练，得到包含卡通风格的图像转换模型；
9.若接收到所输入的待转换图像，根据所述包含卡通风格的图像转换模型对所述待转换图像进行风格转换，以得到与所述待转换图像对应的目标卡通图像。
10.第二方面，本发明实施例提供了一种基于小数据生成网络的图像转换装置，其包括：
11.初始图像转换模型训练单元，用于根据预存的大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型；
12.编码器训练单元，用于根据所述图像转换模型中的多层分析网络及所述大数据图像集训练预置的编码器，以训练得到对应的目标编码器；
13.参数配置单元，用于根据所述目标编码器对所述图像转换模型进行参数配置，得到配置后的所述图像转换模型；
14.模型优化训练单元，用于根据预置的训练规则及预存的小数据卡通图像集对配置后的所述图像转换模型进行优化训练，得到包含卡通风格的图像转换模型；
15.目标卡通图像获取单元，用于若接收到所输入的待转换图像，根据所述包含卡通风格的图像转换模型对所述待转换图像进行风格转换，以得到与所述待转换图像对应的目标卡通图像。
16.第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于小数据生成网络的图像转换方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于小数据生成网络的图像转换方法。
18.本发明实施例提供了一种基于小数据生成网络的图像转换方法、装置、设备及介质。根据大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型，根据大数据图像集训练编码器得到目标编码器并对图像转换模型进行参数配置，扥就小数据卡通图像集对配置后的图像转换模型进行优化训练，得到包含卡通风格的图像转换模型，根据图像转换模型对所输入的待转换图像进行风格转换以得到目标卡通图像。通过上述方法，对现有生成网络的训练方法的修改，可基于大数据图像集训练编码器并根据训练结果对图像转换模型进行参数配置，通过小数据卡通图像集对图像转换模型进行优化训练，可实现小训练数据训练生成网络以对图像进行风格转换，解决了无條件生成网络训练过程中无法将编码器应用于小训练数据的问题。
附图说明
19.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的基于小数据生成网络的图像转换方法的流程示意图；
21.图2为本发明实施例提供的基于小数据生成网络的图像转换方法的子流程示意图；
22.图3为本发明实施例提供的基于小数据生成网络的图像转换方法的另一子流程示意图；
23.图4为本发明实施例提供的基于小数据生成网络的图像转换方法的又一子流程示意图；
24.图5为本发明实施例提供的基于小数据生成网络的图像转换方法的后一子流程示意图；
25.图6为本发明实施例提供的基于小数据生成网络的图像转换方法的再一子流程示
意图；
26.图7为本发明实施例提供的基于小数据生成网络的图像转换方法的其后一子流程示意图；
27.图8为本发明实施例提供的基于小数据生成网络的图像转换装置的示意性框图；
28.图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
31.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
32.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
33.请参阅图1，图1为本发明实施例提供的基于小数据生成网络的图像转换方法的流程示意图；该基于小数据生成网络的图像转换方法应用于用户终端或管理服务器中，该基于小数据生成网络的图像转换方法通过安装于用户终端或管理服务器中的应用软件进行执行；用户终端可用于执行基于小数据生成网络的图像转换方法以对生成网络进行训练并对用户所输入的待转换图像进行风格转换生成对应目标卡通图像，用户终端可以是台式电脑、笔记本电脑、平板电脑或手机等终端设备，管理服务器即是用于执行基于小数据生成网络的图像转换方法以对生成网络进行训练并获取用户终端上传的待转换图像进行风格转换生成对应目标卡通图像的服务器端，如企业或政府部门内部所构建的服务器端。如图1所示，该方法包括步骤s110～s150。
34.s110、根据预存的大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型。
35.根据预存的大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型。管理服务器或用户终端内预先存储有大数据图像集，可根据大数据图像集对初始图像转换模型进行迭代训练，具体的，大数据图像集中包含大量真实人脸图像，人脸图像的尺寸均相同(如尺寸均为1024
×
1024)，由于人脸图像采集成本低，因此可获取大量人脸图像得到大数据图像集，大数据图像集中包含的人脸图像数量通常为几千、几万甚至更多。初始图像转换模型可以是基于style gan(style-generative adversarial networks，风格生成式对抗网络)构建得到的智能转换模型，初始图像转换模型中包含多个参数值，则可根据大数据图像集中包含的人脸图像对初始图像转换模型进行迭代训练，也即是对模型中的参数值进行迭代调整，得到完成参数调整的模型作为训练后的图像转换模型。
36.在一实施例中，如图2所示，步骤s110包括子步骤s111、s112、s113、s114、s115、s116、s117和s118。
37.s111、获取所述大数据图像集中的一张人脸图像作为当前人脸图像；s112、根据所述初始图像转换模型的卷积输入层提取得到与所述当前人脸图像对应的输入特征，所述输入特征包括隐藏变量特征及噪声特征。
38.可获取大数据图像集中任意一张人脸图像作为当前人脸图像，并通过当前人脸图像对初始图像卷积模型进行训练。具体的，初始图像卷积模型中包含卷积输入层，卷积输入层可对当前人脸图像进行卷积处理以得到对应的输入特征，输入特征包括隐藏变量特征及噪声特征，隐藏变量特征z即可以特征向量形式来体现当前人脸图像的隐藏特征信息，噪声特征b即是以特征向量形式来体现当前人脸图像的噪声特征信息，噪声特征b用于丰富生成图像的细节特征信息。
39.s113、根据所述初始图像转换模型中的多层分析网络对所述输入特征进行特征分析，以输出与所述输入特征对应的输出图像。
40.可根据初始图像转换模型中的多层分析层对所输入的特征进行特征分析，具体的，基于隐藏变量z进行多层卷积处理可进一步获取中间隐藏变量w，将所得到的中间隐藏变量w进行仿射变换得到特征a，特征a即是用于控制所生成的图像整体风格的特征向量，中间隐藏变量w可以有多个变量w(w∈w)，中间隐藏变量中每一变量w对应一个特征a，将特征a及噪声特征b分别输入至多层分析层的每一分析层中，每一分析层输出的图像尺寸存在差别，但每一分析层所对应的图像尺寸均以2为倍数，如4
×
4、8
×
8、16
×
16
…
等，通过多层分析网络逐层进行特征分析后得到的多层基础图像进行整合，从而得到对应的输出图像，输出图像的尺寸与当前人脸图像的尺寸相同(如均为1024
×
1024)。
41.s114、根据预置的损失函数计算所述输出图像与所述当前人脸图像之间的损失值。
42.可根据预置的损失函数计算输出图像与当前人脸图像之间的损失值，具体的，可获取输出图像与当前人脸图像之间每一像素点的差别值，通常而言，输出图像及当前人脸图像中每一像素点均包含三个颜色通道(以rgb为基准，则包含红色、绿色、蓝色三个颜色通道)所对应的像素值，基于每一像素点的差别值即可计算得到两张图像之间的损失值，若输出图像与当前人脸图像越接近，则对应计算得到的图像损失值越小，反之对应计算得到的图像损失值越大。
43.例如，损失函数可采用公式(1)进行表示：
[0044][0045]
其中，n为图像中像素点的行数，m为图像中像素点的列数，p
ij
为输出图像中第i行第j列对应三个颜色通道的像素值，r
ij
为当前人脸图像对应三个颜色通道的像素值。
[0046]
s115、根据预置的参数调整规则及所述损失值对所述初始图像转换模型中包含的参数值进行调整。
[0047]
可基于参数调整规则及损失值对初始图像转换模型中包含的参数值进行调整，具体的，参数调整规则可以是梯度下降规则，参数调整规则中配置有梯度下降的学习率，可基于梯度下降规则、损失值及模型中每一计算过程的计算值计算得到参数的更新值，基于参
数的更新值对每一参数的原始参数值进行更新，模型中的参数值包括分析层、卷积层及卷积输入层中所配置的参数值。
[0048]
s116、判断所述大数据图像集中是否包含未训练的其它人脸图像；s117、若所述大数据图像集中包含未训练的其他人脸图像，获取下一张人脸图像作为当前人脸图像并返回执行所述根据所述初始图像转换模型的卷积输入层提取得到与所述当前人脸图像对应的输入特征；s118、若所述大数据图像集中不包含未训练的其他人脸图像，将当前得到的所述初始图像转换模型确定为训练后的图像转换模型。
[0049]
可判断大数据图像集中是否还包含未训练使用的其它人脸图像，若包含则继续获取下一张人脸图像作为当前人脸图像进行模型训练，若不包含则将当前训练得到的图像转换模型作为训练后的图像转换模型。一张人脸图像可实现对初始图像转换模型进行一次训练，通过另一张人脸图像可对前一次训练后的初始图像转换模型再次进行同样的训练，使用多张人脸图像即可实现对初始图像转换模型进行迭代训练。
[0050]
在一实施例中，如图3所示，步骤s115包括子步骤s1151、s1152和s1153。
[0051]
s1151、判断所述损失值是否不大于预置的损失阈值；s1152、若所述损失值不大于所述损失阈值，将当前得到的所述初始图像转换模型确定为训练后的图像转换模型；s1153、若所述损失值大于所述损失阈值，随机获取所述大数据图像集中的一张人脸图像作为当前人脸图像并返回执行所述根据所述初始图像转换模型的卷积输入层提取得到与所述当前人脸图像对应的输入特征。
[0052]
具体的，在对模型进行训练的过程中计算得到损失值之后，还可判断损失值是否不大于预置的损失阈值，若某次计算得到的损失值不大于损失阈值，则表明当前训练得到的图像转换模型已能够生成与原始人脸图像接近的输出图像，则可终止训练过程，并将当前得到的图像转换模型作为训练后的图像转换模型。若损失值大于损失阈值，则表明模型训练不够，可继续获取下一张人脸图像对模型进一步进行训练。
[0053]
s120、根据所述图像转换模型中的多层分析网络及所述大数据图像集训练预置的编码器，以训练得到对应的目标编码器。
[0054]
根据所述图像转换模型中的多层分析网络及所述大数据图像集训练预置的编码器，以训练得到对应的目标编码器。可根据图像转换模型及大数据图像集对编码器进行训练，具体的，编码器(enocder)即是可用于对图像进行编码处理的虚拟结构，可结合已训练的图像转换模型中的多层分析网络对编码器进行训练，从而得到训练后的目标编码器。
[0055]
在一实施例中，如图4所示，步骤s120包括子步骤s121、s122、s123、s124、s125、s126、s127和s128。
[0056]
s121、获取所述大数据图像集中的一张人脸图像作为当前人脸图像；s122、根据所述编码器对所述当前人脸图像进行卷积处理，以得到所述编码器中多个卷积层分别对应的卷积特征向量。
[0057]
可获取大数据图像集中的一张人脸图像作为当前人脸图像，通过编码器对当前人脸图像进行卷积处理，编码器中包括多个卷积层，多个卷积层进行串联设置，卷积层可用于对人脸图像中所包含像素点的像素值进行卷积处理，上一卷积层对图像进行卷积处理所得到的卷积结果可作为输入信息输入至下一卷积层进行卷积处理。具体的，可获取编码器中每一个卷积层对人脸图像进行卷积处理所得到的卷积特征向量，卷积特征向量即为卷积层
进行卷积处理所得到的卷积结果，卷积特征向量由包含多个卷积值组成的三维数组组成，则每一卷积层可对应一个卷积特征向量。
[0058]
例如，编码器中共包含9个串联设置的卷积层，在通过卷积处理模型对初始图像进行卷积处理后，可依次获取9个卷积层分别对应的卷积特征向量。
[0059]
s123、将多个所述卷积层的卷积特征向量分别输入至所述多层分析网络的多个分析层中，以分析得到对应的训练人脸图像。
[0060]
具体的，卷积层中的卷积特征向量可作为中间隐藏变量w进行使用，一组卷积特征向量可对应拆分得到多个变量w，多个变量w共同组成一组中间隐藏变量w，如中间隐藏变量w＝{w1、w2…w18
}，将所得到的卷积特征向量进行仿射变换得到特征a，每一个中间隐藏变量对应一个特征a，则对应得到18个特征a，特征a即是用于控制所生成的图像整体风格的特征向量。将所得到的多个特征a分别输入多层分析网络的分析层中，如前两个特征a输入第一层分析层，对应输出的图像尺寸为4
×
4，第三、第四两个特征a输入第二分析层，对应输出的图像尺寸为8
×
8，
…
最后两个特征a输入最后一个分析层，对应输出的图像尺寸为1024
×
1024，将每一分析层分别输出的图像进行组合从而得到对应的训练人脸图像。
[0061]
s124、根据所述损失函数计算所述训练人脸图像与所述当前人脸图像之间的损失值。
[0062]
可根据损失函数计算训练人脸图像与当前人脸图像之间的损失值，损失值的计算过程与获取输出图像与所述当前人脸图像之间损失值的过程相同，在此不作赘述。
[0063]
s125、根据所述参数调整规则及所述损失值对所述编码器中包含的参数值进行调整。
[0064]
编码器中的卷积层、仿射变换层等功能组件中均配置有参数值，则可根据参数调整规则及所计算得到的损失值对编码器中所包含的参数值进行调整，对参数值进行调整的过程与对初始图像转换模型中参数值进行调整的过程相同，在此不作赘述。
[0065]
s126、判断所述大数据图像集中是否包含未训练的其它人脸图像；s127、若所述大数据图像集中包含未训练的其他人脸图像，获取下一张人脸图像作为当前人脸图像并返回执行所述根据所述编码器对所述当前人脸图像进行卷积处理，以得到所述编码器中多个卷积层分别对应的卷积特征向量；s128、若所述大数据图像集中不包含未训练的其他人脸图像，将当前得到的所述编码器作为训练后的目标编码器。
[0066]
由于需要训练获取到大数据图像集中所有人脸图像的潜在特征，因此可获取大数据图像集中每一张人脸图像依次对编码器进行训练，直至大数据图像集中每一张人脸图像均完成对编码器进行，最终训练得到目标编码器。
[0067]
s130、根据所述目标编码器对所述图像转换模型进行参数配置，得到配置后的所述图像转换模型。
[0068]
根据所述目标编码器对所述图像转换模型进行参数配置，得到配置后的所述图像转换模型。为确保真人照片和后续生成的卡通照片在潜在空间(latent space)具有相同的距离和方向，潜在空间由上述隐藏变量z即图像转换模型中部分权重层构成，可通过目标编码器对已训练的图像转换模型进行参数配置，也即是对图像转换模型中的部分权重参数进行固定，后续使用图像转换模型生成卡通照片即可使所生成的卡通照片与真人照片在潜在空间(latent space)具有相同的距离和方向。
[0069]
在一实施例中，如图5所示，步骤s130包括子步骤s131和s132。
[0070]
s131、从所述目标编码器中提取得到与所述大数据图像集对应的属性编码向量。
[0071]
具体的，可根据目标编码器对大数据图像集中每一人脸图像分别进行编码，从而提取得到每一人脸图像对应的卷积特征向量，将所有人脸图像的卷积特征向量进行组合后拆分成对应的多个变量w，多个变量w即可组合为与大数据图像集对应的属性编码向量。
[0072]
s132、将所述属性编码向量迁移至所述图像转换模型中以对所述图像转换模型中的中间隐藏特征参数进行配置，得到配置后的所述图像转换模型。
[0073]
将所得到的属性编码向量迁移至图像转换模型中，从而将属性编码向量作为中间隐藏特征参数进行配置，也即实现了对图像转换模型中相应的中间隐藏特征权重参数进行固定。属性编码向量中包含多个变量w，每一变量w对应图像转换模型中所需输入至多层分析网络的特征a，则可直接将属性编码向量配置为特征a上游的输入信息并进行固定，后续使用图像转换模型的过程中特征a上游的输入信息均保持不变。
[0074]
s140、根据预置的训练规则及预存的小数据卡通图像集对配置后的所述图像转换模型进行优化训练，得到包含卡通风格的图像转换模型。
[0075]
根据预置的训练规则及预存的小数据卡通图像集对配置后的所述图像转换模型进行优化训练，得到包含卡通风格的图像转换模型。为了确保图像转换模型能够对应生成卡通风格的人脸图像，可根据训练规则及小数据卡通图像集对配置后的图像转换模型进行优化训练，其中，小数据卡通图像集所包含卡通图像的数量远小于大数据图像集中人脸图像的数量，例如，小数据卡通图像集中所包含卡通图像的数量为10～100之间，每一卡通图像的尺寸均与人脸图像的尺寸相同(如均为1024
×
1024)。图像转换模型中部分卷积层的权重被固定，本次优化训练即可对其它未被固定的卷积层中的权重参数进行调整，对图像转换模型进行优化训练后即可得到包含卡通风格的图像转换模型，由于包含卡通风格的图像转换模型在潜在空间(latent space)具有相同的距离和方向与真人照片相同，因此包含卡通风格的图像转换模型可以让所生成的卡通人脸更像真人人脸属性。
[0076]
在一实施例中，如图6所示，步骤s140包括子步骤s141、s142、s143、s144、s145、s146、s147和s148。
[0077]
s141、获取所述小数据卡通图像集中的一张卡通图像作为当前卡通图像；s142、根据所述图像转换模型中的卷积输入层提取得到与所述当前卡通图像对应的卡通噪声特征。
[0078]
可获取一张卡通图像作为当前卡通图像，并提取得到当前卡通图像对应的卡通噪声特征，由于本次训练不涉及对图像转换模型中隐藏变量部分，因此只需获取卡通图像的卡通噪声特征即可。
[0079]
s143、根据所述图像转换模型中的多层分析网络对所述卡通噪声特征进行特征分析，以输出与所述当前卡通图像对应的卡通输出图像。
[0080]
根据图像转换模型中多层分析网络及固定的中间隐藏特征权重参数对卡通噪声特征进行特征分析，从而可从多层分析网络中获取对应的卡通输出图像，卡通输出图像的尺寸与当前卡通图像的尺寸相同。
[0081]
s144、根据所述训练规则中的细节损失函数计算公式计算所述当前卡通图像与所述卡通输出图像之间的细节损失值；s145、根据所述训练规则中的卷积层标识及所述细节损失值，对所述多层分析网络中与所述卷积层标识对应卷积层包含的参数值进行调整。
[0082]
具体的，细节损失函数可基于图像的细节特征计算得到，细节特征包括脸型、眼睛特征、发型等，可分别获取当前卡通图像及卡通输出图像的脸部轮廓，并计算脸部长度、脸部宽度、脸部面积等用于体现脸型的特征信息，分别获取两张图像的瞳孔颜色、瞳孔面积、眼睛长度、眼睛面积等用于体现眼睛特征的特征信息，分别获取头发面积、头发面积与脸部面积比值等用于体现发型特征的特征信息，根据细节损失函数计算两张图像在细节特征之间的细节损失值。训练规则中还包含卷积层标识，卷积层标识即是用于对可进行参数值调整的卷积层进行标识的信息，如卷积层标识为5、6、7、8、9，则对多层分析网络中参数值进行调整时，仅对其中第五、第六、第七、第八及第九卷积层所包含的参数值进行调整，其它卷积层的参数值被锁定无法调整。对相应卷积层中参数值进行调整的具体过程与对初始图像转换模型中参数值进行调整的过程相同，在此不作赘述。
[0083]
s146、判断所述小数据卡通图像集中是否包含未训练的其它卡通图像；s147、若所述小数据卡通图像集中包含未训练的其他人脸图像，获取下一卡通脸图像作为当前卡通图像并返回执行所述根据所述图像转换模型中的卷积输入层提取得到与所述当前卡通图像对应的卡通噪声特征；s148、若所述小数据卡通图像集中不包含未训练的其他卡通图像，将当前得到的所述图像转换模型确定为训练后的包含卡通风格的图像转换模型。
[0084]
对多层分析网络中参数值进行一次调整后，可判断小数据卡通图像集中是否包含未训练的其他卡通图像，若包含则继续获取其它卡通图像对图像转换模型进行优化训练，若不包含则将当前得到的图像转换模型确定为训练后的包含卡通风格的图像转换模型。
[0085]
s150、若接收到所输入的待转换图像，根据所述包含卡通风格的图像转换模型对所述待转换图像进行风格转换，以得到与所述待转换图像对应的目标卡通图像。
[0086]
若接收到所输入的待转换图像，待转换图像的尺寸可以与人脸图像的尺寸相同(如均为1024
×
1024)，根据所述包含卡通风格的图像转换模型对所述待转换图像进行风格转换，以得到与所述待转换图像对应的目标卡通图像。用户可输入待转换图像，待转换图像即为真人照片，则可通过优化训练后得到的图像转换模型对待转换图像进行风格转换，从而转换得到与待转换图像对应的目标卡通图像，目标卡通图像为卡通风格的图像，并且目标卡通图像更偏向于真人人脸属性，因此目标卡通图像是偏向真人人脸属性的卡通风格图像。
[0087]
在一实施例中，如图7所示，步骤s150包括子步骤s151和s152。
[0088]
s151、根据所述图像转换模型中的卷积输入层提取得到与所述待转换图像对应的图像噪声特征；s152、根据所述图像转换模型中的多层分析网络对所述图像噪声特征进行特征分析，以转换得到与所述待转换图像对应的目标卡通图像。
[0089]
可根据图像转换模型中的卷积输入层提取待转换图像的图像噪声特征，根据图像转换模型中多层分析网络及固定的中间隐藏特征权重参数对图像噪声特征进行特征分析，从而可从多层分析网络中获取对应的目标卡通图像，目标卡通图像的尺寸与待转换图像的尺寸相同。
[0090]
在本发明实施例所提供的基于小数据生成网络的图像转换方法中，根据大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型，根据大数据图像集训练编码器得到目标编码器并对图像转换模型进行参数配置，扥就小数据卡通图像集对配置后的图像转换模型进行优化训练，得到包含卡通风格的图像转换模型，根据图像转换模型
对所输入的待转换图像进行风格转换以得到目标卡通图像。通过上述方法，对现有生成网络的训练方法的修改，可基于大数据图像集训练编码器并根据训练结果对图像转换模型进行参数配置，通过小数据卡通图像集对图像转换模型进行优化训练，可实现小训练数据训练生成网络以对图像进行风格转换，解决了无條件生成网络训练过程中无法将编码器应用于小训练数据的问题。
[0091]
本发明实施例还提供一种基于小数据生成网络的图像转换装置，该基于小数据生成网络的图像转换装置可配置于用户终端或管理服务器中，该基于小数据生成网络的图像转换装置用于执行前述的基于小数据生成网络的图像转换方法的任一实施例。具体地，请参阅图8，图8为本发明实施例提供的基于小数据生成网络的图像转换装置的示意性框图。
[0092]
如图8所示，基于小数据生成网络的图像转换装置100包括初始图像转换模型训练单元110、编码器训练单元120、参数配置单元130、模型优化训练单元140和目标卡通图像获取单元150。
[0093]
初始图像转换模型训练单元110，用于根据预存的大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型。
[0094]
在一具体实施例中，所述初始图像转换模型训练单元110包括子单元：当前人脸图像获取单元，用于获取所述大数据图像集中的一张人脸图像作为当前人脸图像；输入特征获取单元，用于根据所述初始图像转换模型的卷积输入层提取得到与所述当前人脸图像对应的输入特征，所述输入特征包括隐藏变量特征及噪声特征；输出图像获取单元，用于根据所述初始图像转换模型中的多层分析网络对所述输入特征进行特征分析，以输出与所述输入特征对应的输出图像；损失值计算单元，用于根据预置的损失函数计算所述输出图像与所述当前人脸图像之间的损失值；参数值调整单元，用于根据预置的参数调整规则及所述损失值对所述初始图像转换模型中包含的参数值进行调整；图像集判断单元，用于判断所述大数据图像集中是否包含未训练的其它人脸图像；返回执行单元，用于若所述大数据图像集中包含未训练的其他人脸图像，获取下一张人脸图像作为当前人脸图像并返回执行所述根据所述初始图像转换模型的卷积输入层提取得到与所述当前人脸图像对应的输入特征；图像转换模型确定单元，用于若所述大数据图像集中不包含未训练的其他人脸图像，将当前得到的所述初始图像转换模型确定为训练后的图像转换模型。
[0095]
在一具体实施例中，所述初始图像转换模型训练单元110还包括子单元：损失值判断单元，用于判断所述损失值是否不大于预置的损失阈值；确定单元，用于若所述损失值不大于所述损失阈值，将当前得到的所述初始图像转换模型确定为训练后的图像转换模型；返回单元，用于若所述损失值大于所述损失阈值，随机获取所述大数据图像集中的一张人脸图像作为当前人脸图像并返回执行所述根据所述初始图像转换模型的卷积输入层提取得到与所述当前人脸图像对应的输入特征。
[0096]
编码器训练单元120，用于根据所述图像转换模型中的多层分析网络及所述大数据图像集训练预置的编码器，以训练得到对应的目标编码器。
[0097]
在一具体实施例中，所述编码器训练单元120包括子单元：人脸图像获取单元，用于获取所述大数据图像集中的一张人脸图像作为当前人脸图像；卷积特征向量获取单元，用于根据所述编码器对所述当前人脸图像进行卷积处理，以得到所述编码器中多个卷积层分别对应的卷积特征向量；特征分析单元，用于将多个所述卷积层的特征图分别输入至所
述多层分析网络的多个分析层中，以分析得到对应的训练人脸图像；图像损失值计算单元，用于根据所述损失函数计算所述训练人脸图像与所述当前人脸图像之间的损失值；编码器参数值调整单元，用于根据所述参数调整规则及所述损失值对所述编码器中包含的参数值进行调整；判断单元，用于判断所述大数据图像集中是否包含未训练的其它人脸图像；返回处理单元，用于若所述大数据图像集中包含未训练的其他人脸图像，获取下一张人脸图像作为当前人脸图像并返回执行所述根据所述编码器对所述当前人脸图像进行卷积处理，以得到所述编码器中多个卷积层分别对应的卷积特征向量；目标编码器获取单元，用于若所述大数据图像集中不包含未训练的其他人脸图像，将当前得到的所述编码器作为训练后的目标编码器。
[0098]
参数配置单元130，用于根据所述目标编码器对所述图像转换模型进行参数配置，得到配置后的所述图像转换模型。
[0099]
在一具体实施例中，所述参数配置单元130包括子单元：属性编码向量获取单元，用于从所述目标编码器中提取得到与所述大数据图像集对应的属性编码向量；中间隐藏特征参数配置单元，用于将所述属性编码向量迁移至所述图像转换模型中以对所述图像转换模型中的中间隐藏特征参数进行配置，得到配置后的所述图像转换模型。
[0100]
模型优化训练单元140，用于根据预置的训练规则及预存的小数据卡通图像集对配置后的所述图像转换模型进行优化训练，得到包含卡通风格的图像转换模型。
[0101]
在一具体实施例中，所述模型优化训练单元140包括子单元：当前卡通图像获取单元，用于获取所述小数据卡通图像集中的一张卡通图像作为当前卡通图像；卡通噪声特征获取单元，用于根据所述图像转换模型中的卷积输入层提取得到与所述当前卡通图像对应的卡通噪声特征；卡通输出图像获取单元，用于根据所述图像转换模型中的多层分析网络对所述卡通噪声特征进行特征分析，以输出与所述当前卡通图像对应的卡通输出图像；细节损失值计算单元，用于根据所述训练规则中的细节损失函数计算公式计算所述当前卡通图像与所述卡通输出图像之间的细节损失值；卷积层参数值调整单元，用于根据所述训练规则中的卷积层标识及所述细节损失值，对所述多层分析网络中与所述卷积层标识对应卷积层包含的参数值进行调整；卡通图像集判断单元，用于判断所述小数据卡通图像集中是否包含未训练的其它卡通图像；返回提取单元，用于若所述小数据卡通图像集中包含未训练的其他人脸图像，获取下一卡通脸图像作为当前卡通图像并返回执行所述根据所述图像转换模型中的卷积输入层提取得到与所述当前卡通图像对应的卡通噪声特征；转换模型确定单元，用于若所述小数据卡通图像集中不包含未训练的其他卡通图像，将当前得到的所述图像转换模型确定为训练后的包含卡通风格的图像转换模型。
[0102]
目标卡通图像获取单元150，用于若接收到所输入的待转换图像，根据所述包含卡通风格的图像转换模型对所述待转换图像进行风格转换，以得到与所述待转换图像对应的目标卡通图像。
[0103]
在一具体实施例中，所述目标卡通图像获取单元150包括子单元：图像噪声特征获取单元，用于根据所述图像转换模型中的卷积输入层提取得到与所述待转换图像对应的图像噪声特征；图像转换单元，用于根据所述图像转换模型中的多层分析网络对所述图像噪声特征进行特征分析，以转换得到与所述待转换图像对应的目标卡通图像。
[0104]
在本发明实施例所提供的基于小数据生成网络的图像转换装置应用上述基于小
数据生成网络的图像转换方法，根据大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型，根据大数据图像集训练编码器得到目标编码器并对图像转换模型进行参数配置，扥就小数据卡通图像集对配置后的图像转换模型进行优化训练，得到包含卡通风格的图像转换模型，根据图像转换模型对所输入的待转换图像进行风格转换以得到目标卡通图像。通过上述方法，对现有生成网络的训练方法的修改，可基于大数据图像集训练编码器并根据训练结果对图像转换模型进行参数配置，通过小数据卡通图像集对图像转换模型进行优化训练，可实现小训练数据训练生成网络以对图像进行风格转换，解决了无條件生成网络训练过程中无法将编码器应用于小训练数据的问题。
[0105]
上述基于小数据生成网络的图像转换装置可以实现为计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
[0106]
请参阅图9，图9是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于小数据生成网络的图像转换方法以对生成网络进行训练并对图像进行风格转换的用户终端或管理服务器。
[0107]
参阅图9，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
[0108]
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于小数据生成网络的图像转换方法，其中，存储介质503可以为易失性的存储介质或非易失性的存储介质。
[0109]
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
[0110]
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于小数据生成网络的图像转换方法。
[0111]
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0112]
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的基于小数据生成网络的图像转换方法中对应的功能。
[0113]
本领域技术人员可以理解，图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。
[0114]
应当理解，在本发明实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0115]
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以
为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的基于小数据生成网络的图像转换方法中所包含的步骤。
[0116]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0117]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0118]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0119]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0120]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0121]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。