虚拟穿衣图像生成方法、装置、电子设备及存储介质与流程

本申请涉及人工智能，尤其涉及一种虚拟穿衣图像生成方法、装置、电子设备及存储介质。

背景技术：

1、虚拟试穿技术已经改变了消费者购买服装的方式，它通过数字化手段允许用户在不需要物理试穿的情况下预览穿着新衣的外观。该技术通过处理用户上传的人物形象图、待试穿的衣物图片以及相应的描述和姿态信息，生成用户的虚拟试穿图像，从而提供一种方便快捷的试穿体验。

2、尽管这一技术为用户提供了显著的便利，但现有的虚拟试穿解决方案仍然存在一些问题。具体来说，现有技术往往无法生成既高保真又细节一致的虚拟试穿图像。虽然扩散模型已经在生成逼真图像方面展现了其优越性，但在条件生成的应用场景，如虚拟试穿中，这些模型在图像的控制性和一致性方面仍然有所不足。

3、此外，现有技术在处理服装在不同姿态下的变形时效果不佳，这在很大程度上影响了生成图像的真实感。为了解决这些问题，迫切需要开发一种新的图像生成算法，该算法不仅能够更有效地处理服装的变形，还能在考虑人物形象和姿态的同时，生成具有高度真实感的虚拟试穿图像。

技术实现思路

1、有鉴于此，本申请实施例提供了一种虚拟穿衣图像生成方法、装置、电子设备及存储介质，以解决现有技术存在的无法生成既高保真又细节一致的虚拟穿衣图像，无法处理服装在不同姿态下的变形问题，影响生成图像的真实感的问题。

2、本申请实施例的第一方面，提供了一种虚拟穿衣图像生成方法，包括：获取目标人物的文本描述及人像参考图，分别对文本描述及人像参考图进行特征提取，得到文本特征和人物特征；将文本特征与人物特征进行融合，得到第一融合特征，将第一融合特征输入到第一神经网络中处理，并利用解码器对第一神经网络处理后的特征进行转换，以重建人物形象特征；对预设的高斯噪声图进行卷积处理，将卷积处理后的高斯噪声图输入到第二神经网络中；将预设的衣物图像输入到图像分割模型中，以识别并提取衣物区域，将衣物区域输入到图像编码器中进行转换，得到衣物特征；将预设的骨架图像输入到图像编码器中进行转换，得到骨架特征；将衣物特征与骨架特征进行融合，得到第二融合特征，将第二融合特征输入到第三神经网络中处理，并利用解码器对第三神经网络处理后的特征进行转换，以重建衣物图像；利用第二神经网络对第一神经网络的对应层特征、人物特征、第三神经网络的对应层特征以及衣物特征进行融合，得到初始虚拟穿衣图像；利用微调神经网络对初始虚拟穿衣图像进行微调处理，利用解码器对微调处理后的虚拟穿衣图像进行特征转换，得到最终虚拟穿衣图像。

3、本申请实施例的第二方面，提供了一种虚拟穿衣图像生成装置，包括：特征提取模块，被配置为获取目标人物的文本描述及人像参考图，分别对文本描述及人像参考图进行特征提取，得到文本特征和人物特征；第一重建模块，被配置为将文本特征与人物特征进行融合，得到第一融合特征，将第一融合特征输入到第一神经网络中处理，并利用解码器对第一神经网络处理后的特征进行转换，以重建人物形象特征；卷积处理模块，被配置为对预设的高斯噪声图进行卷积处理，将卷积处理后的高斯噪声图输入到第二神经网络中；特征转换模块，被配置为将预设的衣物图像输入到图像分割模型中，以识别并提取衣物区域，将衣物区域输入到图像编码器中进行转换，得到衣物特征；将预设的骨架图像输入到图像编码器中进行转换，得到骨架特征；第二重建模块，被配置为将衣物特征与骨架特征进行融合，得到第二融合特征，将第二融合特征输入到第三神经网络中处理，并利用解码器对第三神经网络处理后的特征进行转换，以重建衣物图像；特征融合模块，被配置为利用第二神经网络对第一神经网络的对应层特征、人物特征、第三神经网络的对应层特征以及衣物特征进行融合，得到初始虚拟穿衣图像；微调处理模块，被配置为利用微调神经网络对初始虚拟穿衣图像进行微调处理，利用解码器对微调处理后的虚拟穿衣图像进行特征转换，得到最终虚拟穿衣图像。

4、本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。

5、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

6、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

7、通过获取目标人物的文本描述及人像参考图，分别对文本描述及人像参考图进行特征提取，得到文本特征和人物特征；将文本特征与人物特征进行融合，得到第一融合特征，将第一融合特征输入到第一神经网络中处理，并利用解码器对第一神经网络处理后的特征进行转换，以重建人物形象特征；对预设的高斯噪声图进行卷积处理，将卷积处理后的高斯噪声图输入到第二神经网络中；将预设的衣物图像输入到图像分割模型中，以识别并提取衣物区域，将衣物区域输入到图像编码器中进行转换，得到衣物特征；将预设的骨架图像输入到图像编码器中进行转换，得到骨架特征；将衣物特征与骨架特征进行融合，得到第二融合特征，将第二融合特征输入到第三神经网络中处理，并利用解码器对第三神经网络处理后的特征进行转换，以重建衣物图像；利用第二神经网络对第一神经网络的对应层特征、人物特征、第三神经网络的对应层特征以及衣物特征进行融合，得到初始虚拟穿衣图像；利用微调神经网络对初始虚拟穿衣图像进行微调处理，利用解码器对微调处理后的虚拟穿衣图像进行特征转换，得到最终虚拟穿衣图像。本申请能生成既高保真又细节一致的虚拟穿衣图像，有效解决服装变形问题，生成图像更加逼真。

技术特征：

1.一种虚拟穿衣图像生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述分别对所述文本描述及人像参考图进行特征提取，得到文本特征和人物特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述文本特征与所述人物特征进行融合，得到第一融合特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述衣物特征与所述骨架特征进行融合，得到第二融合特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述利用所述第二神经网络对所述第一神经网络的对应层特征、所述人物特征、所述第三神经网络的对应层特征以及所述衣物特征进行融合，得到初始虚拟穿衣图像，包括：

6.根据权利要求5所述的方法，其特征在于，所述利用微调神经网络对所述初始虚拟穿衣图像进行微调处理，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种虚拟穿衣图像生成装置，其特征在于，包括：

9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请提供了一种虚拟穿衣图像生成方法、装置、电子设备及存储介质。该方法包括：分别对文本描述及人像参考图进行特征提取；将文本特征与人物特征进行融合，得到第一融合特征，将第一融合特征输入到第一神经网络中，以重建人物形象特征；将衣物区域输入到图像编码器中，得到衣物特征；将骨架图像输入到图像编码器中，得到骨架特征；将衣物特征与骨架特征进行融合，得到第二融合特征，将第二融合特征输入到第三神经网络中，以重建衣物图像；利用第二神经网络进行多特征融合，得到初始虚拟穿衣图像；利用解码器对微调处理后的虚拟穿衣图像进行特征转换，得到最终虚拟穿衣图像。本申请能生成既高保真又细节一致的虚拟穿衣图像，生成图像更加逼真。

技术研发人员：石雅洁
受保护的技术使用者：深圳须弥云图空间科技有限公司
技术研发日：
技术公布日：2024/5/10