一种基于自注意力机制的时尚图像编辑方法及装置

1.本发明涉及计算机视觉的图像生成领域，尤其涉及一种基于自注意力机制的时尚图像编辑方法及装置。


背景技术：

2.随着互联网的高速发展和日渐普及，时尚图像编辑技术在多个领域都有着广泛的应用。如虚拟试衣不仅可以增强消费者的体验感，改变传统的购物方式，而且有助于降低销售成本
1.。而姿势引导的人体图像生成技术在电影制作、在线购物和行人重识别等领域都有众多的潜在应用。人脸编辑和时装编辑有助于为时尚领域注入新的活力，并改进用户的消费体验。使用深度学习技术生成逼真的时尚图像将为时尚设计和营销、产业智能化发展发挥更重要作用。
3.近年来，许多研究工作聚焦于通过使用卷积神经网络对原始图像和图像变换信息进行全局图像的特征信息提取，并通过估计特征之间的映射关系实现图像的变形或编辑，如aps
2.。但是由于卷积神经网络每次操作只能关注到卷积核附近的信息，不能融合卷积核远处的信息，而在时尚图像生成任务中不仅常常需要考虑全局信息之间的联系和影响，而且需要考虑通道信息和图像信息之间的关联，因此对图像进行编辑时往往会对原有信息产生破坏。
4.除此之外，先前的工作往往采用基于薄板样条变换或外观流变换估计特征之间的映射关系。例如：clothwarp
3.，但是薄板样条变换无法准确处理较大的几何变形，而由于高度自由度和缺乏适当的正则化，外观流变换在图像变换过程中经常导致剧烈变形，从而产生显著的纹理伪影。除此之外，传统的外观流变换和薄版样条变换无法生成原有图像中不存在的信息，导致无法有效地完成图像编辑任务。


技术实现要素：

5.本发明提供了一种基于自注意力机制的时尚图像编辑方法及装置，本发明利用原始图像和图像编辑信息作为输入数据，分别提取二者的高级特征信息，并且根据高级特征信息之间的变换及映射关系估计多层级外观流变换矩阵，利用多层级外观流变换矩阵生成一系列的粗糙的目标编辑图像，并在此基础上使用自注意力机制捕获各个局部信息之间的联系，对粗糙的目标编辑图像进行优化，生成最终的时尚编辑图像，并提高了生成图像的质量和准确性，详见下文描述：第一方面，一种基于自注意力机制的时尚图像编辑方法，所述方法包括：
6.针对原始图像和图像编辑信息，利用卷积神经网络提取两者的特征信息并生成多层级的特征信息对；
7.通过估计特征信息对之间的变换及映射关系生成多层级的外观流变换矩阵，并使用外观流变换矩阵对不同尺寸的原始图像进行转换或弯曲，生成一系列不同尺寸且粗糙的图像编辑结果；
8.利用循环卷积神经网络提取图像编辑信息的特征，对不同层级的粗糙的图像编辑结果进行渲染细化，生成不同层级的细化的图像编辑结果并预测目标图像对应的掩膜；
9.通过编码器分别提取细化的图像编辑结果和图像编辑信息的特征，再分别从细化的图像编辑结果和图像编辑信息的特征中遍历选取通道图像块和空间图像块以计算当前层级的注意力权重矩阵；
10.将注意力权重矩阵和上一层级得到的图像编辑信息的特征点乘生成当前层级的图像编辑信息的特征，再通过卷积神经网络对图像编辑信息的特征进行解码，直至生成最终的时尚编辑图像。
11.其中，所述原始图像和图像编辑信息为：对于虚拟试衣任务，原始图像是一张人物图像，图像编辑信息是一张待换服装图片；对于姿势引导的人物图像编辑任务，原始图像是一张人物图像，图像编辑信息是目标人体姿势；对于人脸编辑任务，原始图像是一张人脸图像，图像编辑信息是经由用户编辑的语义分割图；对于时装编辑任务，原始图像是一张人物图像，图像编辑信息是经由用户编辑的草图。
12.进一步地，所述卷积神经网络为：
13.使用基于resnet架构，构建两个多尺度特征提取网络，每个特征提取网络分别从原始图像和图像编辑信息中提取特征，每个特征提取网络包含一次降采样操作和两个残差网络，每次降采样操作包含一层卷积、一次数据归一化处理和一个激活函数，每个残差网络包含两层卷积、两次数据归一化处理和两个激活函数；
14.两个多尺度特征提取网络分别生成通道数为256的三个不同尺寸下的特征矩阵，组成多层级的特征信息对为{{c1,p1},{c2,p2},{c3,p3}}，ci,pi∈rh×w×c，其中ci表示由原始图像中提取的第i层的特征信息，pi表示由图像编辑信息中提取的第i层的特征信息，h,w,c分别代表视图特征的高，宽，通道数，r为实数集。
15.其中，所述外观流变换矩阵包括：坐标变换矩阵及像素偏差矩阵，所述坐标变换矩阵对原始图像中的像素进行重新排列，用于弯曲和变换原始图像；所述像素偏差矩阵对坐标变换后的像素进行补偿，用于生成原始图像中没有的编辑信息。
16.进一步地，每层外观流变换估计矩阵均由一个flownetsimple网络和两个flownetcor网络堆叠而成，看作一编码器-解码器的架构；
17.flownetsimple网络的编码器部分将原始图像和图像编辑信息按通道维度堆叠到一起，使用一系列卷积层提取特征，包含九个卷积层，其中六个卷积层的步长为2，每一层后还设置有一非线性的relu激活函数；
18.flownetcor网络的编码器部分先通过三个卷积层分别提取原始图像和图像编辑信息的特征，再遍历两个特征中的图像块进行相关性计算，中心坐标为(x1,x2)的图像块的相关性计算公式如下：
[0019][0020]
其中，f1和f2分别表示原始图像和图像编辑信息的特征，k代表图像块的大小，通过计算当前图像块内不同位置的两个特征向量的点乘之和，得到中心坐标为(x1,x2)的图像块的相关性并用于后续的解码；
[0021]
外观流变换估计网络在堆叠一个flownetsimple网络和两个flownetcor网络过程
中，将编码模块部分中大小为7x7和5x5的卷积核均换为多层3x3卷积核以增加对小位移的分辨率。
[0022]
其中，所述注意力权重矩阵为：
[0023]
通过编码器提取细化的图像编辑结果和图像编辑信息的特征，并分别遍历二者对应的图像块，对某个坐标(x,y)对应的核向量为：
[0024]
k(x,y)＝m(fs(x,y),f
t
(x,y))
[0025]
其中，fs和f
t
分别表示细化的图像编辑结果和图像编辑信息的特征，而fs(x,y)和f
t
(x,y)表示坐标(x,y)处的细化的图像编辑结果和图像编辑信息的特征向量；m表示全连接层，采用softmax层作为激活函数，输出一个一维向量表示当前坐标下的图像块中各个点的重要程度，即核向量，将所有坐标的核向量进行拼接得到目前注意力权重矩阵；
[0026]
将注意力权重矩阵和上一层级得到的图像编辑信息的特征进行点乘和平均池化，生成当前层级的图像编辑信息的特征用于后续解码。
[0027]
第二方面、一种基于自注意力机制的时尚图像编辑装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0028]
第三方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
[0029]
本发明提供的技术方案的有益效果是：
[0030]
1、本发明通过对原始图像和图像编辑信息进行特征提取与关联性融合，找到准确的特征映射关系，使用自注意力有效地捕获图像各个局部信息之间的联系，计算注意力权重矩阵并使用图像编辑信息作为先验信息进行约束；区别于传统的只使用单一图像块的自注意力，本发明采用两个独立的图像块将通道注意力和空间注意力进行串联，并将提取到的通道特征和空间特征进行仿射变换，使得网络对图像的空间特征信息和通道特征信息的理解更加准确，增强网络捕获长距离依赖关系的能力，提升了生成图像的准确性。
[0031]
2、本发明通过估计多个层级的外观流变换矩阵，保留并传递了不同尺度下的特征映射关系，避免了原始图像的剧烈变形；区别于传统的只有坐标变换的外观流变换矩阵，本发明采用坐标变换矩阵和像素补偿矩阵，提高了外观流变换生成的图像信息的丰富性；并通过循环神经网络对粗糙图像进行渲染细化，优化了生成图像的质量。
[0032]
因此，本发明能够有效估计原始图像和图像编辑信息的特征映射关系，并捕获图像局部信息之间的关联，提升了生成的时尚编辑图像的质量和准确性。
附图说明
[0033]
图1为一种基于自注意力机制的时尚图像编辑方法的流程图；
[0034]
图2为以姿势变换为例的基于自注意力机制的时尚图像编辑方法的示意图；
[0035]
图3为以姿势变换为例的基于自注意力机制的时尚图像编辑方法的外观流变换的示意图；
[0036]
图4为以姿势变换为例的基于自注意力机制的时尚图像编辑方法的细化网络的示意图；
[0037]
图5为以姿势变换为例的基于自注意力机制的时尚图像编辑方法的自注意力图像生成网络的示意图；
[0038]
图6为一种基于自注意力机制的时尚图像编辑装置的结构示意图。
具体实施方式
[0039]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0040]
实施例1
[0041]
一种基于自注意力机制的时尚图像编辑方法，参见图1，该方法包括以下步骤：
[0042]
步骤101：输入原始图像和图像编辑信息；
[0043]
步骤102：针对原始图像和图像编辑信息，利用卷积神经网络提取两者的特征信息并生成多层级的特征信息对；
[0044]
步骤103：通过估计特征信息对之间的变换及映射关系生成多层级的外观流变换矩阵，并对不同尺寸的原始图像进行转换或弯曲，生成一系列不同尺寸的粗糙的图像编辑结果；
[0045]
步骤104：利用循环卷积神经网络提取图像编辑信息的特征，用于对不同层级的粗糙的图像编辑结果进行渲染细化，并预测目标图像对应的掩膜，保存并传递了不同特征层级的语义映射结果；
[0046]
步骤105：利用自注意力捕获各个局部信息之间的联系，遍历通道图像块和空间图像块计算当前层级的注意力权重矩阵，并生成当前层级的图像编辑结果，再通过卷积神经网络对其进行解码，生成最终的时尚编辑图像。
[0047]
综上所述，本发明实施例通过上述步骤101-步骤105提高了时尚图像编辑的质量和准确性，满足了实际应用中的个性化需求。
[0048]
实施例2
[0049]
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
[0050]
201：输入原始图像和图像编辑信息；
[0051]
针对时尚图像编辑的多个不同任务，其原始图像c和图像编辑信息p也各有不同，对于虚拟试衣任务，原始图像是一张人物图像，图像编辑信息是一张待换服装图片；对于姿势引导的人物图像编辑任务，原始图像是一张人物图像，图像编辑信息是目标人体姿势；对于人脸编辑任务，原始图像是一张人脸图像，图像编辑信息是经由用户编辑的语义分割图；对于时装编辑任务，原始图像是一张人物图像，图像编辑信息是经由用户编辑的草图。
[0052]
本方法通过使用单一模型架构，根据输入信息的不同，实现四种时尚图像编辑任务。
[0053]
202：针对原始图像和图像编辑信息，利用卷积神经网络提取两者的特征信息并生成多层级的特征信息对；
[0054]
针对输入的原始图像和图像编辑信息，使用基于resnet
[4]
架构设计的卷积神经网络提取不同层级的特征信息对。具体来说，构建两个多尺度特征提取网络，每个网络分别从原始图像和图像编辑信息中提取特征，每个特征提取网络包含一次降采样操作和两个残差
网络，每次降采样操作包含一层卷积、一次数据归一化处理和一个激活函数，每个残差网络包含两层卷积、两次数据归一化处理和两个激活函数。其卷积核大小为3
×
3，激活函数选取relu激活函数，relu函数为relu(x)＝max(x,0)，其中max为最大值函数。两个多尺度特征提取网络分别生成通道数为256的三个不同尺寸下的特征矩阵，组成多层级的特征信息对。得到的多层级的特征信息对为{{c1,p1},{c2,p2},{c3,p3}}，ci,pi∈rh×w×c，其中ci表示由原始图像中提取的第i层的特征信息，pi表示由图像编辑信息中提取的第i层的特征信息，h,w,c分别代表视图特征的高，宽，通道数，r为实数集。
[0055]
203：通过估计特征信息对之间的变换及映射关系生成多层级的外观流变换矩阵，并对不同尺寸的原始图像进行转换或弯曲，生成一系列不同尺寸的粗糙的图像编辑结果；对于每一层级来说，将特征信息对和上一层级生成的外观流变换矩阵作为输入，使用经过重新设计后的外观流变换估计网络来计算当前层级的外观流变换矩阵。以第二层为例：
[0056]
f2＝f({c2,p2},f1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0057]
其中{c2,p2}为第二层的特征信息对，f1表示已经计算得到的第一层的外观流变换矩阵，f2表示计算的第二层的外观流变换矩阵，f表示当前层的外观流变换估计网络。
[0058]
具体来说，每层外观流变换估计网络都是由一个flownetsimple
[5]
网络和两个flownetcorr
[5]
网络堆叠而成，相比于单一的flownetsimple网络或单一的flownetcorr网络，堆叠后的网络能够有效地防止过拟合。flownetsimple网络和flownetcorr网络都可以看成是一个编码器-解码器的架构。flownetsimple网络的编码器部分将原始图像和图像编辑信息按通道维度堆叠到一起，然后使用一系列卷积层提取特征，包含九个卷积层，其中的六个卷积层的步长为2，每一层后面还有一个非线性的relu激活函数。flownetcor网络的编码器部分先通过三个卷积层分别提取原始图像和图像编辑信息的特征，再遍历两个特征中的图像块进行相关性计算，中心坐标为(x1,x2)的图像块的相关性计算公式如下：
[0059][0060]
其中f1和f2分别表示原始图像和图像编辑信息的特征，k代表图像块的大小，通过计算当前图像块内不同位置的两个特征向量的点乘之和，得到中心坐标为(x1,x2)的图像块的相关性并用于后续的解码。本发明实施例的外观流变换估计网络还针对小位移情况进行了改进，将编码模块部分中大小为7x7和5x5的卷积核均换为多层3x3卷积核以增加对小位移的分辨率。
[0061]
用每个阶段生成的外观流变换矩阵对不同尺寸的原始图片进行变换，生成一系列不同尺寸的粗糙的图像编辑结果用于后续的图像生成。与原有的基于线性坐标变换的外观流变换矩阵不同，本发明实施例的外观流变换矩阵不仅包括坐标变换矩阵，还包括像素偏差矩阵。在时尚编辑任务中常需要生成原始图像中从未出现的信息，如果仅仅依靠坐标变换来生成粗糙的图像编辑图像，容易造成图像的严重失真。而通过像素偏差矩阵，能够在坐标变换后对像素进行补偿，以生成原始图像中没有的编辑信息。
[0062]
204：利用循环卷积神经网络提取图像编辑信息的特征，用于对不同层级的粗糙的图像编辑结果进行渲染细化，并预测目标图像对应的掩膜，保存并传递了不同特征层级的语义映射结果；
[0063]
针对已经生成好的粗糙图像编辑结果本发明实施例使用循环残差卷积神经网络r2u_ne
t[6]
对粗糙图像进行渲染，相比于卷积神经网络，循环残差卷积神经网络在编解码过程中使用残差块而不是传统的卷积层加激活函数，这样能够有效地增加网络深度；使用循环残差卷积层进行特征积累，有助于特征提取。在渲染过程中，使用图像编辑信息指导，生成一系列不同层级的渲染后的编辑后的图像及其各自对应的遮罩即：
[0064]
ui,mi＝r(wi,p)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0065]
通过生成的遮罩消除渲染图像中的多余信息并保留原始图像中的必要信息：
[0066][0067]
其中，
⊙
表示逐元素相乘，表示对原始图像进行采样后得到的图像，vi表示生成的细化后的目标编辑图像。
[0068]
205：利用自注意力捕获各个局部信息之间的联系，遍历图像块生成当前层级的图像编辑结果，再通过卷积神经网络对其进行解码，生成最终的时尚编辑图像。
[0069]
其中，自注意力机制以细化图像、图像编辑信息的特征和对应层级的遮罩作为输入，并进行特征关联性联合从而计算图像的注意力权重矩阵用于捕获图像编辑信息中的关键信息。具体来说：
[0070]
分别从细化的图像编辑结果的特征fs和图像编辑信息的特征f
t
中遍历选取图像块fs(x,y),f
t
(x,y)，区别于传统的自注意力机制中单个n
×
n的图像块，本发明实施例采用两个独立的n
×
n图像块，沿着空间维度和通道维度遍历，将通道注意力和空间注意力进行串联，有效地提高了各个注意力权重信息在通道和空间上的联系。
[0071]
其中fs(x,y)和f
t
(x,y)表示坐标(x,y)处的细化的图像编辑结果和图像编辑信息的特征向量。m表示全连接层，采用softmax层作为激活函数，输出一个一维向量表示当前坐标下的图像块中各个点的重要程度，即核向量k(x,y)。
[0072]
k(x,y)＝m(fs(x,y),f
t
(x,y))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0073]
使用生成的所有图像块的核向量k(x,y)生成注意力权重矩阵，使用点乘操作计算从图像编辑信息的特征f
t
中(x,y)处的图像块使用自注意力机制后的结果，并利用全局平均池化操作得到坐标(x,y)的图像编辑结果p(x,y)，即：
[0074]
p(x,y)＝pooling(k(x,y)
⊙ft
(x,y))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0075]
相比于使用f
t
(x,y)作为当前层级的图像编辑信息的特征用于解码，使用注意力机制得到的特征p(x,y)能够让模型对图像编辑信息中的重要信息重点关注并充分学习吸收。
[0076]
通过遍历计算所有的图像块生成当前层级的图像编辑信息的特征p
attn
，并通过生成的遮罩m消除生成的特征中的多余信息并保留原始图像编辑信息中的必要信息：
[0077]
p
out
＝m
⊙
p
attn
+(1-m)
⊙ft
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0078]
逐步对不同层级使用自注意力模块和解码器，得到最终的图像编辑结果。
[0079]
综上所述，本发明实施例通过上述步骤201-步骤205提高了时尚图像编辑的质量和准确性，满足了实际应用中的个性化需求。
[0080]
实施例3
[0081]
一种基于自注意力机制的时尚图像编辑装置，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的以下方法步骤：针对原始图像和图像编辑信息，利用卷积神经网络提取两者的特征信息并生成多层级的特征信息对；
[0082]
通过估计特征信息对之间的变换及映射关系生成多层级的外观流变换矩阵，并使用外观流变换矩阵对不同尺寸的原始图像进行转换或弯曲，生成一系列不同尺寸且粗糙的图像编辑结果；
[0083]
利用循环卷积神经网络提取图像编辑信息的特征，对不同层级的粗糙的图像编辑结果进行渲染细化，生成不同层级的细化的图像编辑结果并预测目标图像对应的掩膜；
[0084]
通过编码器分别提取细化的图像编辑结果和图像编辑信息的特征，再分别从细化的图像编辑结果和图像编辑信息的特征中遍历选取通道图像块和空间图像块以计算当前层级的注意力权重矩阵；
[0085]
将注意力权重矩阵和上一层级得到的图像编辑信息的特征点乘生成当前层级的图像编辑信息的特征，再通过卷积神经网络对图像编辑信息的特征进行解码，直至生成最终的时尚编辑图像。
[0086]
其中，原始图像和图像编辑信息为：对于虚拟试衣任务，原始图像是一张人物图像，图像编辑信息是一张待换服装图片；对于姿势引导的人物图像编辑任务，原始图像是一张人物图像，图像编辑信息是目标人体姿势；对于人脸编辑任务，原始图像是一张人脸图像，图像编辑信息是经由用户编辑的语义分割图；对于时装编辑任务，原始图像是一张人物图像，图像编辑信息是经由用户编辑的草图。
[0087]
进一步地，卷积神经网络为：
[0088]
使用基于resnet架构，构建两个多尺度特征提取网络，每个特征提取网络分别从原始图像和图像编辑信息中提取特征，每个特征提取网络包含一次降采样操作和两个残差网络，每次降采样操作包含一层卷积、一次数据归一化处理和一个激活函数，每个残差网络包含两层卷积、两次数据归一化处理和两个激活函数；
[0089]
两个多尺度特征提取网络分别生成通道数为256的三个不同尺寸下的特征矩阵，组成多层级的特征信息对为{{c1,p1},{c2,p2},{c3,p3}}，ci,pi∈rh×w×c，其中ci表示由原始图像中提取的第i层的特征信息，pi表示由图像编辑信息中提取的第i层的特征信息，h,w,c分别代表视图特征的高，宽，通道数，r为实数集。
[0090]
其中，外观流变换矩阵包括：坐标变换矩阵及像素偏差矩阵，坐标变换矩阵对原始图像中的像素进行重新排列，用于弯曲和变换原始图像；像素偏差矩阵对坐标变换后的像素进行补偿，用于生成原始图像中没有的编辑信息。
[0091]
进一步地，每层外观流变换估计矩阵均由一个flownetsimple网络和两个flownetcor网络堆叠而成，看作一编码器-解码器的架构；
[0092]
flownetsimple网络的编码器部分将原始图像和图像编辑信息按通道维度堆叠到一起，使用一系列卷积层提取特征，包含九个卷积层，其中六个卷积层的步长为2，每一层后还设置有一非线性的relu激活函数；
[0093]
flownetcor网络的编码器部分先通过三个卷积层分别提取原始图像和图像编辑信息的特征，再遍历两个特征中的图像块进行相关性计算，中心坐标为(x1,x2)的图像块的
相关性计算公式如下：
[0094][0095]
其中，f1和f2分别表示原始图像和图像编辑信息的特征，k代表图像块的大小，通过计算当前图像块内不同位置的两个特征向量的点乘之和，得到中心坐标为(x1,x2)的图像块的相关性并用于后续的解码；
[0096]
外观流变换估计网络在堆叠一个flownetsimple网络和两个flownetcor网络过程中，将编码模块部分中大小为7x7和5x5的卷积核均换为多层3x3卷积核以增加对小位移的分辨率。
[0097]
其中，注意力权重矩阵为：
[0098]
通过编码器提取细化的图像编辑结果和图像编辑信息的特征，并分别遍历二者对应的图像块，对某个坐标(x,y)对应的核向量为：
[0099]
k(x,y)＝m(fs(x,y),f
t
(x,y))
[0100]
其中，fs和f
t
分别表示细化的图像编辑结果和图像编辑信息的特征，而fs(x,y)和f
t
(x,y)表示坐标(x,y)处的细化的图像编辑结果和图像编辑信息的特征向量；m表示全连接层，采用softmax层作为激活函数，输出一个一维向量表示当前坐标下的图像块中各个点的重要程度，即核向量，将所有坐标的核向量进行拼接得到目前注意力权重矩阵；
[0101]
将注意力权重矩阵和上一层级得到的图像编辑信息的特征进行点乘和平均池化，生成当前层级的图像编辑信息的特征用于后续解码。
[0102]
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0103]
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
[0104]
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
[0105]
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
[0106]
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
[0107]
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0108]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
[0109]
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
[0110]
参考文献
[0111]
[1]ge y,song y,zhang r,et al.parser-free virtual try-on via distilling appearance flows[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition.2021:8485-8493.
[0112]
[2]huang s,xiong h,cheng z q,et al.generating person images with appearance-aware pose stylizer[j].arxiv preprint arxiv:2007.09077,2020.
[0113]
[3]han x,hu x,huang w,et al.clothflow:a flow-based model for clothed person generation[c]//proceedings of the ieee/cvf international conference on computer vision.2019:10471-10480.
[0114]
[4]he k,zhang x,ren s,et al.deep residual learning for image recognition[c]//proceedings of the ieee conference on computer vision and pattern recognition.2016:770-778.
[0115]
[5]ilg e,mayer n,saikia t,et al.flownet 2.0:evolution of optical flow estimation with deep networks[c]//proceedings of the ieee conference on computer vision and pattern recognition.2017:2462-2470.
[0116]
[6]alom m z,hasan m,yakopcic c,et al.recurrent residual convolutional neural network based on u-net(r2u-net)for medical image segmentation[j].arxiv preprint arxiv:1802.06955,2018.
[0117]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
[0118]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0119]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。