一种时装人物图像风格变换方法

本发明属于计算机视觉中人物图像生成，特别是涉及一种时装人物图像风格变换方法。

背景技术：

1、人物图像生成技术是一种可以生成人物图像不同姿态和服装图像的不同纹理的计算机图像处理技术，这种技术应用在时装设计、媒体制作、网络广告和虚拟现实等领域具有巨大的潜力。目前，基于深度学习的人物图像生成技术是最新的技术之一，深度学习包括了各种机器学习技术，如卷积神经网络、循环神经网络、生成对抗网络等。

2、其中生成对抗网络(gan)，最早由ma等人使用两个类u-net结构的生成器，由粗及细来生成对应姿态的人体图像。在gan的框架中，大多数遵循编码器-解码器的设计方案。其中编码器捕获源图像的风格特征和目标人体关键点的姿态特征，然后将风格融合到目标图像的姿态特征中；解码器基于变形的特征重建目标人物图像。然而，非刚性变形的不稳定性使得生成高保真的图像非常具有挑战性。

3、在上述模型的基础上，论文“controllable person image synthesis withattribute-decomposed gan”提出了可控的人体图像生成方案，引入了多个自适应实例归一化模块，进行风格迁移。通过这种方式，生成的人物图像很好地保持了几何形状。但是，由于大规模局部卷积运算中空间变换能力的限制，模型无法生成更为精细的纹理。

4、为了解决上述问题，许多方法借助其他优化模型。但除了图像不精细的问题，基于流场的方案还会生成大面积的伪影，基于额外的训练阶段来获得目标图像的语义分割图的方案，会花费大量额外的时间和成本，并且由于精确预测语义分割图非常困难，一旦语义分割图出现微小的错误，就会对生成的外观产生很大偏差，稳定性差。直到zhou等人提出了一种基于交叉注意力的风格分布模块，该模块计算源图像风格和目标姿态之间的相似性以完成姿态迁移，注意力机制可以获取全局与局部的联系，对图像的逼真程度产生较好的影响，但权重往往分布在图像的某一部分，忽略了次重要的信息，导致生成的图像结果仍然不够逼真。

5、综上所述，为更好的发展时尚产业、虚拟试穿、时装设计领域，图片亟需生成更精细的纹理、获得更逼真的图像。

技术实现思路

1、本发明目的在于提供一种时装人物图像风格变换方法，通过位置归一化从编码器中将纹理风格特征注入解码器中，并且提出一种基于最优传输的能量距离损失函数，约束生成图像分布和真实图像分布的一致性，从而实现生成更为精细的服装纹理特征。

2、为了实现本发明目的，本发明提供一种时装人物图像风格变换方法，包括训练阶段和图像生成阶段，

3、训练阶段包括以下步骤：

4、(1)收集数据，收集衣着相同、姿态不同的同一人物图像对，源图像和目标图像(is，it)；收集所述源图像is提取的语义分割图ss、所述目标图像it提取的关键点图pt；

5、(2)将关键点图pt输入姿态编码器中生成姿态特征fp；将源图像is和语义分割图ss输入风格编码器中生成风格特征fs，所述风格编码器根据源图像is生成偏置μ和尺度σ；

6、(3)利用交叉注意力机制对齐风格特征fs和姿态特征fp，得到粗对齐特征fps；

7、(4)对粗对齐特征fps进行自适应实例归一化adain(·)处理，得到目标特征ft；

8、(5)对目标特征ft进行上采样更新特征值，对更新的特征值进行位置归一化pono(·)处理，最终生成虚假的目标图像

9、(6)将真假目标图像对输入到判别器d中判断真假；

10、(7)根据生成器g和判别器d的生成结果计算得到损失函数，进行迭代优化，达到最大训练迭代次数后，完成训练过程；

11、图像生成阶段：将训练过程训练好的生成器g，应用于上述步骤(1)-(5)，生成最终输出的目标图像。

12、进一步地，所述步骤(7)计算得到的损失函数为：生成对抗损失函数ladv，重建损失函数lrec、感知损失函数lperc、能量距离损失函数lmed，其中能量距离损失函数lmed的计算需要，通过将目标图像it作为新的源图像i′s，将源图像is作为新的目标图像i′t，st作为新的源图像的语义分割图，ps作为新的关键点图，经过步骤(1)-(5)，生成新的虚假的目标图像得到新的真假目标图像对

13、电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述的时装人物图像风格变换方法。

14、与现有技术相比，本发明的显著进步在于：(1)结合自适应实例归一化和位置归一化，将源风格进一步注入到目标特征中，解决卷积操作空间变换能力较差的问题，获得更细致的纹理特征；(2)借助能量距离损失函数，能够约束生成图像的数据分布与真实图像的分布一致，使得训练过程具有一定的鲁棒性，令图像的生成更为逼真。

15、为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。

技术特征：

1.一种时装人物图像风格变换方法，包括训练阶段和图像生成阶段，其特征在于，

2.根据权利要求1所述的一种时装人物图像风格变换方法，其特征在于，所述步骤(3)中交叉注意力机制为：利用前馈网络函数ffn(·)、注意力矩阵am和值v得到粗对齐特征fps，

3.根据权利要求1所述的一种时装人物图像风格变换方法，其特征在于，所述步骤(4)中自适应实例归一化adain(·)处理为：

4.根据权利要求3所述的一种时装人物图像风格变换方法，其特征在于，n＝4。

5.根据权利要求1所述的一种时装人物图像风格变换方法，其特征在于，所述步骤(5)中的位置归一化pono(·)处理为：

6.根据权利要求5所述的一种时装人物图像风格变换方法，其特征在于，m＝2。

7.根据权利要求1所述的一种时装人物图像风格变换方法，其特征在于，所述步骤(7)计算得到的损失函数为：生成对抗损失函数ladv，重建损失函数lrec、感知损失函数lperc、能量距离损失函数lmed；其中能量距离损失函数lmed的计算需要，通过将目标图像it作为新的源图像i′s，将源图像is作为新的目标图像i′t，st作为新的源图像的语义分割图，ps作为新的关键点图，经过步骤(1)-(5)，生成新的虚假的目标图像得到新的真假目标图像对

8.根据权利要求7所述的一种时装人物图像风格变换方法，其特征在于，所述能量距离损失函数lmed为：

9.根据权利要求1所述的一种时装人物图像风格变换方法，其特征在于，数据集使用deepfashion的inshop clothes retrieval benchmark，训练前，将所述数据集的所有图像剪裁成256×176的分辨率，并将数据集划分为训练集和测试集，分别为101966和8570对图像。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9任一所述的方法的步骤。

技术总结
本发明提供了一种时装人物图像风格变换方法，包括：姿态编码器和风格编码器分别输出姿态特征和风格特征；交叉注意力模块学习上下文信息，粗对齐上述两个特征；自适应实例归一化模块对粗对齐特征进行风格归一化；解码器借助位置归一化再次注入风格、细化纹理，并生成目标图像；根据性能指标验证算法的有效性。本发明通过交叉注意力机制、位置归一化、能量距离损失函数的交叉运用，解决了图像生成的不稳定性、卷积运算中空间变换能力的限制的问题，从而实现生成更为精细的服装纹理特征。

技术研发人员：黄炎,钱建军,杨健
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/2/29