一种服装风格迁移模型的评价方法

本发明属于服装，涉及一种服装风格迁移模型的评价方法。

背景技术：

1、近几年的风格迁移技术逐渐应用于服装设计领域，但是评价不同服装风格迁移模型的图像生成效果及易用性仍然非常困难。现有技术中，虽然存在很多风格迁移效果的评价方法，但大多无法直接应用于服装风格迁移模型，存在较多缺陷。

2、例如：文献1(凤翔木版年画色彩风格特征迁移与应用平台设计研究[d].西安理工大学,2023.)中以志愿者直接评分法分别从整体效果、颜色控制、模拟表现力三个方面进行迁移效果评估，但这种评价方法主要关注风格迁移结果的全局风格表达，缺少对局部细节表达及模型易用性的评价。另外，完全采用人工评分的方法需要寻找较多志愿者进行问卷调查，评价效率较低。

3、文献2(generation of fashionable dunhuang clothes using generativeadversarial networks[j].connection science,2020:1.)对生成的服装作品从机器评价分数(inception score,is)与人工评价分数(human prefer score,hps)两方面进行评价，将两者归一化后相加作为最终的评分结果。is基于一个预训练的分类器(inception net-v3)来计算生成图像的类别概率分布，通过计算分布的熵和边缘分布的kl散度来衡量生成图像的质量和多样性。然而，使用is进行风格迁移结果图的评价存在一些不足。首先，is评分过于依赖分类器，风格迁移后的结果图由于融合了两张图片的不同特征，容易造成生成图像的域和分类器的域不一致，is可能会给出不合理的评价。其次，is只能评价生成图像的清晰度与多样性，不能评价服饰图案的迁移效果。因此，is不适用于服装风格迁移模型的评价。

4、文献3(一种单模型多风格快速风格迁移方法[j].计算机工程与应用,2021,57(12):201-206.)、文献4(基于生成对抗网络的图像风格迁移[j].南京信息工程大学学报(自然科学版):1-12.)和文献5(基于可拓语义的澄城刺绣风格迁移设计方法研究[j].图学学报:1-9.)使用峰值信噪比(psnr)与结构相似性(ssim)评价风格迁移的效果。psnr用于测试峰值信号与噪音的平均能量之比，ssim用于比较图像的相似度，但是考虑的要素较少，仅针对风格迁移结果图进行了质量评价，无法评价风格迁移后图案的表达效果、生成时间等要素。

5、文献6(evaluate and improve the quality of neural style transfer[j].computer vision and image understanding,2021,207:103203.doi:10.1016/j.cviu.2021.103203.)提出使用三因子的量化评价标准，分别为内容真实度、全局效果与局部效果。但是这种方法考虑的要素也较少，无法对风格迁移模型的综合效果、易用性做出评价。

技术实现思路

1、本发明的目的是解决现有技术中存在的上述问题，提供一种服装风格迁移模型的评价方法。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种服装风格迁移模型的评价方法，服装风格迁移模型为非局部风格迁移模型，以内容特征表达、全局风格表达、局部细节表达、特征融合效果和图像生成时间作为评价因子，各评价因子保持相同的权重，对服装风格迁移模型进行评价，评价公式如下：

4、

5、式中，yc与ys分别为服装风格迁移模型结果图、内容图与风格图；为服装风格迁移模型的综合分值；为服装风格迁移模型内容特征表达的分值；为服装风格迁移模型全局风格表达的分值；为服装风格迁移模型局部细节表达的分值；为服装风格迁移模型特征融合效果的分值；为服装风格迁移模型图像生成时间的分值。

6、本发明的评价方法适用于全图优化的风格迁移模型，即非局部风格迁移模型，评价得到的分值越高，说明模型风格迁移效果越好；对于局部风格迁移模型，则需要截取迁移区域后使用本发明的方法进行评价。

7、根据对服装设计师的调研，目前影响风格迁移模型在实际中应用的主要考虑因素包含模型图像生成效果与模型易用性两方面，详细说明如表1所示；

8、表1风格迁移模型评价因子及其考虑因素

9、

10、

11、作为优选的技术方案：

12、如上所述的一种服装风格迁移模型的评价方法，的计算公式(使用语义标签命中率测定特征融合效果的公式)为：

13、

14、式中，为服装风格迁移模型结果图与内容图通过图像识别网络得到的相同标签数量；为服装风格迁移模型结果图与风格图通过图像识别网络得到的相同标签数量；n_lbs(all)为图像识别网络输出的所有标签数量；其中，本发明借助gpt-4等预训练大模型或各类图像识别网络进行图像语义特征识别。分别将内容图、风格图、结果图输入图像识别网络，每张图片得到n_lbs(all)个图像特征标签(n_lbs(all)为大于或等于4的偶数)。当风格特征与内容特征融合较好时，结果图的标签应平均分布在内容图与风格图的标签中。

15、如上所述的一种服装风格迁移模型的评价方法，的计算公式为：

16、

17、式中，为服装风格迁移模型结果图的生成时间。

18、如上所述的一种服装风格迁移模型的评价方法，的计算公式为：

19、

20、式中，使用vgg19网络提取内容特征，f[l](·)代表输入图像在vgg19网络第l层的特征图；n_c是用于内容特征提取的网络层数。

21、如上所述的一种服装风格迁移模型的评价方法，的计算公式为：

22、

23、其中：

24、

25、

26、式中，为服装风格迁移模型结果图的全局颜色分值；为服装风格迁移模型结果图的全局纹理分值；hc(·)代表输入图像的颜色直方图；c代表输入图像的颜色通道，在rgb图像中共三层；使用vgg19网络提取格拉姆矩阵，g[l](·)代表输入图像在vgg19网络第l层的特征图组成的格拉姆矩阵；n_g为用于提取格拉姆矩阵的网络层数。

27、如上所述的一种服装风格迁移模型的评价方法，的计算公式为：

28、

29、其中：

30、

31、

32、式中，为服装风格迁移模型结果图与风格图匹配风格块的相似度分值；为风格图中风格块的利用率分值；pk(·)为输入特征图所提取的第k个风格块；ps(·)为输入特征图所提取的所有风格块；pmrf(k)(·)为pk(·)使用马尔科夫场进行匹配后所对应的风格块；num(·)为输入风格块的数量；n_m为用于马尔科夫场风格特征提取的网络层数；n_p为服装风格迁移模型结果图分割成的风格块数量。

33、有益效果：

34、(1)本发明的一种服装风格迁移模型的评价方法，针对服装设计的场景需求，从内容特征表达、全局风格表达、局部细节表达、特征融合效果和图像生成时间五个维度对风格迁移的效果进行综合评价，相对传统机器评价指标更加准确，能够有效评价服装风格迁移模型的图像生成效果与易用性；

35、(2)本发明的一种服装风格迁移模型的评价方法，不仅考虑到内容特征与风格特征的平衡，还考虑到了全局与局部风格特征的平衡、模型易用性等服装风格迁移的特殊需求；

36、(3)本发明的一种服装风格迁移模型的评价方法，使用图像识别网络进行语义识别辅助特征判断，通过计算标签命中率来计算内容特征与风格特征的融合效果，从而能够从语义层面评价风格迁移模型的图像生成任务；

37、(4)本发明的一种服装风格迁移模型的评价方法，在进行模型易用性评价时使用重映射的tanh函数获得服装风格迁移模型图像生成时间的评分，从而能够更加有效地评价不同类别服装风格迁移模型的易用性。