基于2D图像的四阶段虚拟试衣方法及装置与流程

本发明涉及计算机与网络
技术领域：
，尤指一种四阶段虚拟试衣方法及装置。
背景技术：
：随着计算机技术和在线购物平台的发展，在线服装购物出现了显著的增长，与传统购物相比，在线购物具有方便快捷等诸多优势，但由于不能像实体店服装购物一样可以实时试穿、检查服装后再购买等，有些人依然会为了避免反复退货选择在实体店购买服装，可见创建一个接近现实的交互式购物环境越来越重要，虚拟试衣也由此引起了广泛的关注。早期主要是基于3d的方法实现虚拟试衣，但是3d方法需要依赖计算机图像学来构建3d模块并渲染试穿图像，且3d数据获取难度较大，需要花费大量的人力物力财力，大大限制了虚拟试穿在实际中的应用。近期有技术人员提出了基于图像的视觉试穿，试图将虚拟试穿转换为条件图像生成问题，并显示出令人鼓舞的结果。目前，国内外很多机构都在做相关研究，但更多的是关注于如何更好的生成目标衣服细节，忽视了目标服装与参考人的对应关系，使得生成的试穿合成图像存在不吻合有伪影等严重影响图像视觉质量的问题；同时忽略了其他试穿无关细节的保持，在试穿合成图像中出现模糊不清甚至被衣服遮挡等情况，严重影响试穿效果。技术实现要素：本发明的目的是提供一种基于2d图像的四阶段虚拟试衣方法及装置，有效解决现有虚拟试衣中合成的试穿图像存在不吻合有伪影等严重影响图像视觉质量的问题。本发明提供的技术方案如下：一种基于2d图像的四阶段虚拟试衣方法，包括：获取参考人图像和目标衣服图像；从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；对目标衣服图像进行扭曲得到扭曲衣服图像；根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；根据所述预测的语义分割图和姿势图生成手臂图像；根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2d图像的四阶段虚拟试衣。本发明还提供了一种基于2d图像的四阶段虚拟试衣装置，包括：图像获取模块，用于获取参考人图像和目标衣服图像；衣服无关融合图生成模块，用于从所述参考人图像中提取人体部位语义分割图和姿势图，并融合所述人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；衣服扭曲模块，用于对目标衣服图像进行扭曲得到扭曲衣服图像；语义分割图生成模块，用于根据所述衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；手臂图像生成模块，用于根据所述预测的语义分割图和姿势图生成手臂图像；试穿合成模块，用于根据所述扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2d图像的四阶段虚拟试衣。本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述基于2d图像的四阶虚拟试衣方法的步骤。本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述基于2d图像的四阶虚拟试衣方法的步骤。本发明提供的基于2d图像的四阶段虚拟试衣方法及装置，至少能够带来以下有益效果：1.使用扭曲衣服图像和从参考人图像中提取的衣服无关融合图预测穿着目标衣服的语义分割图，以此使用预测的语义分割图指导生成试穿后改变的手臂图像以及指导合成试穿图像，解决现有技术中存在的不吻合有伪影等严重影响图像视觉质量等问题，提升试穿效果的真实度。2.使用从原始参考人图像中根据关节点提取的手掌图像和预测语义分割图中提取的手臂掩码生成试穿后改变的手臂图像，使得生成的试穿合成图像能够生成正确且完整的手臂，完全的保留参考人非试穿区域的细节，使试穿效果更加接近于真实，大大提升了用户体验。3.扭曲衣服过程中使用像素扭曲和特征扭曲结合的策略，以此生成更加自然逼真的扭曲衣服形状和纹理，同时提升变形、旋转和遮挡的鲁棒性，解决单独使用像素扭曲时出现的形状畸变纹理失真问题。4.对于非试穿区域细节图的提取不仅考虑面部和头发的图像，同时考虑除试穿区域的其他区域，如试穿上衣时，会将裤子区域作为非试穿区域，以完整保留非试穿衣服区域细节，进一步提升效果。附图说明下面将以明确易懂的方式，结合附图说明优选实施例，对上述特性、技术特征、优点及其实现方式予以进一步说明。图1为本发明中基于2d图像的四阶段虚拟试衣方法流程示意图；图2为本发明中对目标衣服图像进行像素扭曲流程示意图；图3为本发明中同时对目标衣服图像进行像素扭曲和特征扭曲流程示意图；图4为本发明中语义分割图生成流程图；图5为本发明中手臂图像生成流程图；图6为本发明中试穿合成图像生成流程图；图7为本发明中基于2d图像的四阶段虚拟试衣装置结构示意图；图8为本发明一实例中基于生成衣服的完整度的试穿效果对比图；图9为本发明一实例中基于生成手臂的完整度的试穿效果对比图；图10为本发明一实例中基于衣服契合程度/整体试穿合成图像视觉质量的效果对比图；图11为本发明中终端设备结构示意图。附图标号说明：100-基于2d图像的四阶段虚拟试衣装置，110-图像获取模块，120-衣服无关融合图生成模块，130-衣服扭曲模块，140-语义分割图生成模块，150-手臂图像生成模块，160-试穿合成模块。具体实施方式为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施例。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施例。如图1所示为本申请提供的基于2d图像的四阶段虚拟试衣方法，包括：s10获取参考人图像和目标衣服图像；s20从参考人图像中提取人体部位语义分割图和姿势图，并融合人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；s30对目标衣服图像进行扭曲得到扭曲衣服图像；s40根据衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；s50根据预测的语义分割图和姿势图生成手臂图像；s60根据扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2d图像的四阶段虚拟试衣。参考人图像和目标衣服图像可来源于专用的图片网站或服装购物网站，这里不做具体限定。参考人图像为需要试穿目标衣服的人的图像，为了达到更好的试穿效果，该图像应尽量完整的保留人的正面特征；试穿目标衣服为参考人图像中的人需要试穿的衣服的图像，该图像应尽量保留衣服的纹理、形状等特征。在进行虚拟试衣之前，需要根据需求搭建神经元网络并对其进行训练，是以数据集中包括训练部分和测试部分。在训练和测试过程中，输入均为参考人图像和目标衣服图像，且在训练过程中目标衣服图像可以为参考人图像中人穿的衣服对应的衣服图像，在测试过程中随机选定。且在训练和测试之前，将各图像处理为统一的尺寸。在获取了参考人图像和目标衣服图像之后，随即对其进行处理生成参考人表示图，包括：从参考人图像中提取人体部位语义分割图和姿势图；根据人体部位语义分割图与参考人图像中得到粗糙身体形状图和非试穿区域细节图；及根据粗糙身体形状图、姿势图及非试穿区域细节图合成得到参考人表示图。在这一过程中，首先采用姿势估计提取的方法对参考人图像中人的关键点进行提取得到姿势图，及使用语义分割算法对参考人图像进行语义分割得到人体部位语义分割图。接着，使用人体部位语义分割图的背景区域标签对参考人图像进行处理，得到粗糙身体形状图。之后，使用人体部位语义分割图的面部、头发、裤子区域标签对参考人图像进行处理，得到非试穿区域细节图(完整的非试穿区域包括面部区域、头发区域、裤子区域及手臂区域，这里仅提取其中的面部区域、头发区域及裤子区域的图像作为非试穿区域细节图，即除去手臂区域的其他非试穿区域)。最后根据得到的姿势图、粗糙身体形状图和非试穿区域细节图在通道上相连组成参考人表示图。这里，姿势估计提取算法和语义分割算法均可以根据实际需求进行选定，这里不做具体限定，如在一实例中，使用openpose(姿势估计器)对参考人图像进行姿势估计，得到具有18个关键点(包括头发、左眼、右眼、左眉、右眉、鼻子、左肩、右肩、左手、右手等)的姿势图；使用lip(self-supervisedstructure-sensitivelearningandanewbenchmarkforhumanparsing，人体解析器)对参考人图像进行语义分割，得到包括背景在内的20个标签的人体部位语义分割图。以此根据得到的姿势图、粗糙身体形状图和非试穿区域细节图在通道上相连组成22通道参考人表示图。对于非试穿区域细节图的提取不仅考虑面部和头发的图像，同时考虑除试穿区域的其他区域，以完整保留非试穿衣服区域细节，有助于提升试穿效果，更接近于真实。参考人表示图合成之后，根据该人表示图对目标衣服图像进行像素扭曲，如图2所示，包括：将参考人表示图p和目标衣服图像c分别传入两个非共享参数的孪生卷积神经网络w1提取特征，两个孪生卷积神经网络结构相同；将参考人表示图和目标衣服图像的特征传入回归网络w2预测空间变换参数θ；及根据空间变换参数对目标衣服图像的像素进行扭曲得到像素扭曲衣服图像具体，在对衣服图像进行像素扭曲之前，先将参考人表示图p和目标衣服图像c分别传入两个非共享参数的孪生卷积神经网络w1提取特征，进而根据提取的特征对空间变换参数θ进行预测。这里，创建的两个用于特征提取的神经元网络具有相同的结构，如在一实例中，孪生卷积神经网络中均包含四个步长为2的下采样卷积层和两个步长为1的卷积层，使用该两个神经元网络w1分别提取了特征之后，随之将提取的特征通过矩阵乘法合起来传入到回归网络w2(包含两个步长为2的下采用卷积层、两个步长为1的卷积层、一个全连接层)中，最后使用tanh激活函数激活得到空间变换参数，以此使用该空间变换参数对目标衣服图像的像素进行扭曲得到像素扭曲衣服图像在后续步骤中，结合该像素扭曲衣服图像(作为后续步骤的扭曲衣服图像cw)和衣服无关融合图预测参考人穿着目标衣服图像中目标衣服的语义分割图。在另一实施例中，生成更加自然逼真的扭曲衣服形状和纹理，在对目标衣服进行扭曲的过程中，除了进行上述像素扭曲的过程，同时会对目标衣服图像的特征进行扭曲，如图3所示，包括：将目标衣服图像c传入卷积神经网络w3提取特征；根据空间变换参数对提取的目标衣服图像的特征进行扭曲(tps转换)；将扭曲的特征传入与卷积神经网络结构对应的反卷积神经网络w4得到经过特征扭曲的特征扭曲衣服图像和预测扭曲衣服合成掩码mc。在一实例中，使用五个卷积核为3步长为1的卷积层对目标衣服图像进行特征提取之后，使用五个与卷积层提取的特征图同样大小尺寸的采样网络对特征图进行采样，实现对特征的扭曲。接着，将五个特征扭曲得到的输出输入到与五个卷积层对应的反卷积层中，对其进行解码操作生成经过特征扭曲的特征扭曲衣服图像并预测扭曲衣服合成掩码(解码器的4通道输出中，前3个通道输出特征扭曲衣服图像，第4通道输出预测扭曲衣服合成掩码)。最后，使用该扭曲衣服合成掩码对像素扭曲的像素扭曲衣服图像和特征扭曲的特征扭曲衣服图像进行逐元素乘法操作得到扭曲衣服图像cw。在后续步骤中，结合该扭曲衣服图像cw和衣服无关融合图预测参考人穿着目标衣服图像中目标衣服的语义分割图。在该实施例中，扭曲衣服过程中使用像素扭曲和特征扭曲结合的策略，以此生成更加自然逼真的扭曲衣服形状和纹理，同时提升变形、旋转和遮挡的鲁棒性，解决单独使用像素扭曲时出现的形状畸变纹理失真问题。之后，融合人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图，并根据衣服无关融合图mf和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图mp，如图4所示。具体来说，先将人语义分割图中的衣服区域和手臂区域融合成一个不可分割的区域得到衣服无关融合图mf；之后将衣服无关融合图mf和扭曲衣服图像cw连接起来作为语义分割网络w5的输入预测得到语义分割图mp。这里，语义分割图mp是参考人穿着的目标衣服的语义分割图，使用该语义分割图即可帮助后续手臂生成步骤合成新的手臂图像，同时帮助试穿合成过程中在各个身体部位合成像素。在实际应用中，可以使用一个标准u-net网络对语义分割图进行预测，也可以使用其他任意能够实现这一目的的网络结构实现，如其他变种u-net，这里不做具体限定。当使用标准u-net网络时，两个输入分别为扭曲衣服图像及衣服无关融合图，输出为预测的语义分割图。应该清楚，上述衣服无关融合图的生成和对目标衣服图像进行扭曲的步骤顺序可以根据实际情况进行调整，这里不做具体限定。语义分割图生成之后，随即进入根据预测的语义分割图和姿势图生成手臂图像的步骤，如图5所示，包括：从语义分割图像中提取手臂掩码ma；根据姿势图中的手掌关键点从参考人图像中提取手掌图像ihand；使用手掌图像和手臂掩码生成手臂图像iarm。具体，上述手掌图片ihand根据姿势图中的手掌关节点从原始的参考人图像中提取得到，手臂掩码ma从语义分割网络的输出中提取得到，将两个图像输入到手臂生成网络w6中生成新的手臂图像iarm。类似地，在实际应用中，可以使用一个标准u-net网络对手臂图像图像进行预测，也可以使用其他任意能够实现这一目的的网络结构实现，如其他变种u-net，这里不做具体限定。当使用标准u-net网络时，两个输入分别为手掌图片和手臂掩码图，输出为生成的手臂图像。我们知道，在试穿衣服的过程中，若生成的手臂图像与参考人图像的的手臂图像不一致，如参考人穿着长袖，而目标衣服为短袖时，生成的试穿合成图像大概率会出现误差，上述手臂图像生成过程可以很好的解决这一问题。其首先先根据衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图，之后基于该语义分割图对手臂掩码进行提取，用于手臂图像的生成，可以得到试穿合成后应该显示的完整的手臂图像，从而大大提升了试穿效果的真实性，提升图像视觉质量。手臂图像生成了之后，根据扭曲衣服图像、预测的语义分割图、手臂图像及其他非试穿区域细节图生成试穿合成图像，如图6所示，包括：将语义分割图mp、提取的非试穿区域细节图irrelevantdetails、扭曲衣服图像cw及手臂图像iarm传入试穿合成网络w7中得到初步试穿合成图像ip并预测试穿图像合成掩码mcom；之后，使用试穿图像合成掩码mcom对初步试穿合成图像ip和扭曲衣服图像cw进行逐元素乘法操作得到最终的试穿合成图像if。类似地，在实际应用中，可以使用一个标准u-net网络对手臂图像图像进行预测，也可以使用其他任意能够实现这一目的的网络结构实现，如其他变种u-net，这里不做具体限定。当使用标准u-net网络时，四个输入分别为将语义分割图mp、提取的非试穿区域细节图irrelevantdetails、扭曲衣服图像cw及手臂图像iarm，输出为初步试穿合成图像ip和预测试穿图像合成掩码mcom。本发明还提供了一种基于2d图像的四阶段虚拟试衣装置100，如图7所示，包括：图像获取模块110，用于获取参考人图像和目标衣服图像；衣服无关融合图生成模块120，用于从参考人图像中提取人体部位语义分割图和姿势图，并融合人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图；衣服扭曲模块130，用于对目标衣服图像进行扭曲得到扭曲衣服图像；语义分割图生成模块140，用于根据衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图；手臂图像生成模块150，用于根据预测的语义分割图和姿势图生成手臂图像；试穿合成模块160，用于根据扭曲衣服图像、预测的语义分割图及手臂图像生成试穿合成图像，完成基于2d图像的四阶段虚拟试衣。具体，图像获取模块可从专用的图片网站或服装购物网站参考人图像和目标衣服图像，参考人图像为需要试穿目标衣服的人的图像，为了达到更好的试穿效果，该图像应尽量完整的保留人的正面特征；试穿目标衣服为参考人图像中的人需要试穿的衣服的图像，该图像应尽量保留衣服的纹理、形状等特征。在进行虚拟试衣之前，需要根据需求搭建神经元网络并对其进行训练，是以数据集中包括训练部分和测试部分。在训练和测试过程中，输入均为参考人图像和目标衣服图像，且在训练过程中目标衣服图像可以为参考人图像中人穿的衣服对应的衣服图像，在测试过程中随机选定。且在训练和测试之前，将各图像处理为统一的尺寸。图像获取模块110获取了参考人图像和目标衣服图像之后，随即衣服无关融合图生成模块120对其进行处理生成参考人表示图，包括：图像提取单元，用于根据人体部位语义分割图与参考人图像中得到粗糙身体形状图和非试穿区域细节图，非试穿区域细节图为除手臂区域之外的非试穿区域图；参考人表示图生成单元，用于根据粗糙身体形状图、姿势图及非试穿区域细节图合成得到参考人表示图；在这一过程中，首先采用姿势估计提取的方法对参考人图像中人的关键点进行提取得到姿势图，及使用语义分割算法对参考人图像进行语义分割得到人体部位语义分割图。接着，图像提取单元使用人体部位语义分割图的背景区域标签对参考人图像进行处理，得到粗糙身体形状图。之后，使用人体部位语义分割图的面部、头发、裤子区域标签对参考人图像进行处理，得到非试穿区域细节图(完整的非试穿区域包括面部区域、头发区域、裤子区域及手臂区域，这里仅提取其中的面部区域、头发区域及裤子区域的图像作为非试穿区域细节图，即除去手臂区域的其他非试穿区域)。最后参考人表示图生成单元根据得到的姿势图、粗糙身体形状图和非试穿区域细节图在通道上相连组成参考人表示图。这里，姿势估计提取算法和语义分割算法均可以根据实际需求进行选定，这里不做具体限定，如在一实例中，使用openpose(姿势估计器)对参考人图像进行姿势估计，得到具有18个关键点(包括头发、左眼、右眼、左眉、右眉、鼻子、左肩、右肩、左手、右手等)的姿势图；使用lip(self-supervisedstructure-sensitivelearningandanewbenchmarkforhumanparsing，人体解析器)对参考人图像进行语义分割，得到包括背景在内的20个标签的人体部位语义分割图。以此根据得到的姿势图、粗糙身体形状图和非试穿区域细节图在通道上相连组成22通道参考人表示图。对于非试穿区域细节图的提取不仅考虑面部和头发的图像，同时考虑除试穿区域的其他区域，以完整保留非试穿衣服区域细节，有助于提升试穿效果，更接近于真实。参考人表示图合成之后，根据该人表示图对目标衣服图像进行像素扭曲，在衣服扭曲模块中包括：第一特征提取单元，用于将参考人表示图和目标衣服图像分别传入两个非共享参数的孪生卷积神经网络提取特征，两个孪生卷积神经网络结构相同；空间变换参数预测单元，用于将参考人表示图和目标衣服图像的特征传入回归网络预测空间变换参数；像素扭曲单元，用于根据空间变换参数对目标衣服图像的像素进行扭曲得到像素扭曲衣服图像，完成对目标衣服图像的扭曲。具体，在对衣服图像进行像素扭曲之前，先将参考人表示图和目标衣服图像分别传入两个非共享参数的孪生卷积神经网络提取特征，进而根据提取的特征对空间变换参数进行预测。这里，创建的两个用于特征提取的神经元网络具有相同的结构，如在一实例中，孪生卷积神经网络中均包含四个步长为2的下采样卷积层和两个步长为1的卷积层，使用该两个神经元网络分别提取了特征之后，随之将提取的特征通过矩阵乘法合起来传入到回归网络(包含两个步长为2的下采用卷积层、两个步长为1的卷积层、一个全连接层)中，最后使用tanh激活函数激活得到空间变换参数，以此使用该空间变换参数对目标衣服图像的像素进行扭曲得到像素扭曲衣服图像。在后续步骤中，结合该像素扭曲衣服图像和衣服无关融合图预测参考人穿着目标衣服图像中目标衣服的语义分割图。在另一实施例中，生成更加自然逼真的扭曲衣服形状和纹理，在对目标衣服进行扭曲的过程中，除了进行上述像素扭曲的过程，同时会对目标衣服图像的特征进行扭曲，该衣服扭曲模块中还包括：第二特征提取单元，用于将目标衣服图像传入卷积神经网络提取特征；特征扭曲单元，用于根据空间变换参数对提取的目标衣服图像的特征进行扭曲；特征扭曲衣服图像生成单元，用于将扭曲的特征传入与卷积神经网络结构对应的反卷积神经网络得到经过特征扭曲的特征扭曲衣服图像和预测扭曲衣服合成掩码；扭曲衣服合成单元，用于基于扭曲衣服合成掩码对像素扭曲衣服图像和特征扭曲衣服图像进行合成得到扭曲衣服图像。在一实例中，使用五个卷积核为3步长为1的卷积层对目标衣服图像进行特征提取之后，使用五个与卷积层提取的特征图同样大小尺寸的采样网络对特征图进行采样，实现对特征的扭曲。接着，将五个特征扭曲得到的输出输入到与五个卷积层对应的反卷积层中，对其进行解码操作生成经过特征扭曲的特征扭曲衣服图像并预测扭曲衣服合成掩码(解码器的4通道输出中，前3个通道输出特征扭曲衣服图像，第4通道输出预测扭曲衣服合成掩码)。最后，使用该扭曲衣服合成掩码对像素扭曲的像素扭曲衣服图像和特征扭曲的特征扭曲衣服图像进行逐元素乘法操作得到扭曲衣服图像cw。在后续步骤中，结合该扭曲衣服图像和衣服无关融合图预测参考人穿着目标衣服图像中目标衣服的语义分割图。在该实施例中，扭曲衣服模块中使用像素扭曲和特征扭曲结合的策略，以此生成更加自然逼真的扭曲衣服形状和纹理，同时提升变形、旋转和遮挡的鲁棒性，解决单独使用像素扭曲时出现的形状畸变纹理失真问题。之后，衣服无关融合图生成模块融合人体部位语义分割图中的衣服区域和手臂区域得到衣服无关融合图，语义分割图生成模块根据衣服无关融合图和扭曲衣服图像预测参考人穿着目标衣服图像中目标衣服的语义分割图。具体来说，衣服无关融合图生成模块先将人语义分割图中的衣服区域和手臂区域融合成一个不可分割的区域得到衣服无关融合图；之后语义分割图生成模块将衣服无关融合图和扭曲衣服图像连接起来作为语义分割网络的输入预测得到语义分割图。这里，语义分割图是参考人穿着的目标衣服的语义分割图，使用该语义分割图即可帮助后续手臂生成步骤合成新的手臂图像，同时帮助试穿合成过程中在各个身体部位合成像素。在实际应用中，可以使用一个标准u-net网络对语义分割图进行预测，也可以使用其他任意能够实现这一目的的网络结构实现，这里不做具体限定。当使用标准u-net网络时，两个输入分别为扭曲衣服图像及衣服无关融合图，输出为预测的语义分割图。应该清楚，上述衣服无关融合图的生成和对目标衣服图像进行扭曲的步骤顺序可以根据实际情况进行调整，这里不做具体限定。语义分割图生成之后，随即进入根据预测的语义分割图和姿势图生成手臂图像的步骤，手臂图像生成模块中包括：手臂掩码提取单元，用于从语义分割图像中提取手臂掩码；手掌图像提取单元，用于根据姿势图中的手掌关键点从参考人图像中提取手掌图像；手臂图像合成单元，用于使用手掌图像和手臂掩码生成手臂图像。具体，上述手掌图片根据姿势图中的手掌关节点从原始的参考人图像中提取得到，手臂掩码从语义分割网络的输出中提取得到，将两个图像输入到手臂生成网络中生成新的手臂图像。类似地，在实际应用中，可以使用一个标准u-net网络对手臂图像图像进行预测，也可以使用其他任意能够实现这一目的的网络结构实现，这里不做具体限定。当使用标准u-net网络时，两个输入分别为手掌图片和手臂掩码图，输出为生成的手臂图像。手臂图像生成了之后，试穿合成模块根据扭曲衣服图像、预测的语义分割图、手臂图像及其他非试穿区域细节图生成试穿合成图像。在该试穿合成模块中包括：初步合成单元，用于根据语义分割图、提取的非试穿区域细节图、扭曲衣服图像及手臂图像得到初步试穿合成图像和预测试穿图像合成掩码；再次合成单元，用于使用试穿图像合成掩码对初步试穿合成图像和扭曲衣服图像进行逐元素乘法操作得到最终的试穿合成图像。具体：将语义分割图mp、提取的非试穿区域细节图irrelevantdetails、扭曲衣服图像cw及手臂图像iarm传入试穿合成网络w7中得到初步试穿合成图像ip并预测试穿图像合成掩码mcom；之后，使用试穿图像合成掩码mcom对初步试穿合成图像ip和扭曲衣服图像cw进行逐元素乘法操作得到最终的试穿合成图像if。类似地，在实际应用中，可以使用一个标准u-net网络对手臂图像图像进行预测，也可以使用其他任意能够实现这一目的的网络结构实现，如其他变种u-net，这里不做具体限定。当使用标准u-net网络时，四个输入分别为将语义分割图mp、提取的非试穿区域细节图irrelevantdetails、扭曲衣服图像cw及手臂图像iarm，输出为初步试穿合成图像ip和预测试穿图像合成掩码mcom。在一实例中，由上述各实例中描述的网络结构形成虚拟试衣网络结构及传统的cp-vton方法的网络结构分别进行虚拟试衣。数据集包括14221张训练集和2032张测试集，使用训练集在cp-vton的模型进行训练，然后使用测试集进行测试得到2032张试穿合成图像；采用相同的方法处理本发明中模型同样得到2032张测试集图像，采用ssim(结构相似性)、is(inceptionscore)、fid(fréchetinceptiondistance)及psnr(峰值信噪比)四个指标对虚拟试衣的效果进行评价，其中，ssim和fid计算生成的试穿合成图像和原始的测试集中图像之间的差异，is和psnr是计算生成的图像的图像质量。如表1所示为本发明提供的虚拟试穿方法(表中ourmethod)和传统的cp-vton方法一实例中的评价结果。从表中可以看出，相较于传统的cp-vton方法，本发明中的虚拟试穿方法显然能够取得更好的试穿效果。表1：评价结果对比图methodssimisfidpsnrcp-vton0.7452.75719.10821.111ourmethod0.8673.0169.15824.505另外，从生成衣服的完整度、生成手臂的完整度、衣服契合程度/整体试穿合成图像视觉质量三方面定性感受试穿效果，其中，基于生成衣服的完整度的试穿效果对比图如图8所示，其中，图8中的(a)为参考人图像，(b)为目标衣服图像，(c)为cp-vton方法的试穿效果，(d)为本发明方法的试穿效果，；基于生成手臂的完整度的试穿效果对比图如图9所示，其中，图9中的(a)为参考人图像，(b)为目标衣服图像，(c)为cp-vton方法的试穿效果，(d)为本发明方法的试穿效果；基于衣服契合程度/整体试穿合成图像视觉质量的效果对比图如图10所示，其中，图10中的(a)为参考人图像，(b)为目标衣服图像，(c)为cp-vton方法的试穿效果，(d)为本发明方法的试穿效果。从图中可以看出，本发明的方法较传统的cp-vton方法方法来说，生成衣服的完整度、生成手臂的完整度、衣服契合程度/整体试穿合成图像视觉质量均有更好的效果。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。图11是本发明一个实施例中提供的终端设备的结构示意图，如所示，该终端设备200包括：处理器220、存储器210以及存储在存储器210中并可在处理器220上运行的计算机程序211，例如：虚拟试穿程序。处理器220执行计算机程序211时实现上述各个虚拟试穿方法实施例中的步骤，或者，处理器220执行计算机程序211时实现上述各虚拟试穿装置实施例中各模块的功能。终端设备200可以为笔记本、掌上电脑、平板型计算机、手机等设备。终端设备200可包括，但不仅限于处理器220、存储器210。本领域技术人员可以理解，图11仅仅是终端设备200的示例，并不构成对终端设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：终端设备200还可以包括输入输出设备、显示设备、网络接入设备、总线等。处理器220可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器220可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器210可以是终端设备200的内部存储单元，例如：终端设备200的硬盘或内存。存储器210也可以是终端设备200的外部存储设备，例如：终端设备200上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，存储器210还可以既包括终端设备200的内部存储单元也包括外部存储设备。存储器210用于存储计算机程序211以及终端设备200所需要的其他程序和数据。存储器210还可以用于暂时地存储已经输出或者将要输出的数据。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。在本发明所提供的实施例中，应该理解到，所揭露终端设备和方法，可以通过其他的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序211发送指令给相关的硬件完成，计算机程序211可存储于一计算机可读存储介质中，该计算机程序211在被处理器220执行时，可实现上述各个方法实施例的步骤。其中，计算机程序211包括：计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序211代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页12