表情迁移模型的训练方法及装置、表情迁移方法及装置与流程

本说明书涉及计算机
技术领域：
，特别涉及表情迁移模型的训练方法及装置、表情迁移方法及装置。
背景技术：
：随着技术发展，对人脸表情进行处理和分析成为了计算机视觉和图形学领域的一个研究热点，人脸表情迁移也得到了广泛的应用。人脸表情迁移是指，将捕获到的真实用户的表情映射到另一个目标图像上，从而达到将人脸表情迁移至目标图像的目的。该技术不仅可以使得用户通过输入人脸来控制目标图片或视频中的人脸表情，还能为人脸识别任务提供数据增强服务。现有进行三维人脸表情迁移主要是通过检测人脸关键点拟合3dmm模型(3dmorphablemodel，3d变形模型)参数的方法，3dmm模型是通过数据库主成分分析(principalcomponentsanalysis，pca)构造的，可以认为是数据库中的大量人脸得到的平均人脸(meanface)，总是带有数据库中人脸的特征。3dmm模型重建出人脸，既要求长相相似，也要求表情一样，无法将表情迁移至特定三维人脸。技术实现要素：有鉴于此，本说明书实施例提供了一种表情迁移模型的训练方法、表情迁移方法。本说明书同时涉及一种表情迁移模型的训练装置、表情迁移装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。根据本说明书实施例的第一方面，提供了一种表情迁移模型的训练方法，所述表情迁移模型包括编码器、第一解码器以及第二解码器，所述训练方法包括：获取第一三维人脸样本和第二三维人脸样本；基于所述编码器和所述第一解码器对所述第一三维人脸样本进行训练，基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练；判断是否达到训练停止条件，并且在达到训练停止条件的情况下，停止训练过程。可选地，基于所述编码器和所述第一解码器对第一三维人脸样本进行训练包括：将所述第一三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器，得到第一编码向量；将所述第一编码向量输入所述第一解码器，得到第一解码向量，根据第一解码向量与所述初始顶点信息得到损失值；根据所述损失值调整编码器和第一解码器中的网络层的系数向量。可选地，基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练包括：将所述第二三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器，得到第二编码向量，将所述第二编码向量输入所述第二解码器，得到第二解码向量，根据第二解码向量与所述第二三维人脸样本的初始顶点信息得到损失值；根据所述损失值调整编码器和第二解码器中的网络层的系数向量。可选地，编码器包括图卷积神经网络层、下采样层和全连接层，图卷积神经网络层和下采样层依次间隔设置，第一解码器和第二解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。可选地，交替执行对第一预设数目的第一三维人脸样本进行训练和对第二预设数目的第二三维人脸样本进行训练。可选地，获取第一三维人脸样本包括：获取多个人脸图像，对所述多个人脸图像进行人脸重建，获得第一三维人脸样本。可选地，获取第一三维人脸样本还包括：对所述多个人脸图像进行人脸重建之后，将重建后的三维人脸与所述第二三维人脸样本进行空间对齐。根据本说明书实施例的第二方面，提供了一种利用表情迁移模型的表情迁移方法，所述表情迁移模型包括编码器、第一解码器以及第二解码器，并且通过上述任一项所述的训练方法预先训练，所述方法包括：获取待迁移表情的第一三维人脸；基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移，得到第二三维人脸。可选地，基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移包括：将所述第一三维人脸的初始顶点信息和邻接矩阵输入所述编码器，得到第一编码向量；将所述第一编码向量输入所述第二解码器。可选地，获取待迁移表情的第一三维人脸包括：从目标视频截取同一人脸的多帧人脸图像，对所述多帧人脸图像进行人脸重建，获得待迁移表情的多个第一三维人脸。可选地，表情迁移方法还包括：基于所述第二三维人脸生成动画。根据本说明书实施例的第三方面，提供了一种表情迁移模型的训练装置，所述表情迁移模型包括编码器、第一解码器以及第二解码器，所述训练装置包括：第一获取模块，被配置为获取第一三维人脸样本和第二三维人脸样本；训练模块，被配置为基于所述编码器和所述第一解码器对所述第一三维人脸样本进行训练，基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练；判断模块，被配置为判断是否达到训练停止条件，并且在达到训练停止条件的情况下，停止训练过程。根据本说明书实施例的第四方面，提供了一种利用表情迁移模型的表情迁移装置，所述表情迁移模型包括编码器、第一解码器以及第二解码器，并且通过上述任一项所述的训练方法预先训练，所述表情迁移装置包括：第二获取模块，被配置为获取待迁移表情的第一三维人脸；迁移模块，被配置为基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移，得到第二三维人脸。根据本说明书实施例的第五方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面所述的表情迁移模型的训练方法，或者上述第二方面所述的利用表情迁移模型的表情迁移方法的操作步骤。根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述第一方面所述的表情迁移模型的训练方法，或者上述第二方面所述的利用表情迁移模型的表情迁移方法的操作步骤。本说明书提供的表情迁移模型的训练方法，通过获取第一三维人脸样本和第二三维人脸样本；基于编码器和第一解码器对第一三维人脸样本进行训练，基于编码器和第二解码器对第二三维人脸样本进行训练；在达到训练停止条件的情况下，停止训练过程。根据本说明书的表情迁移模型的训练方法使用图卷积神经网络提取特征，采用自编码器的网络结构进行训练，实现将表情迁移至特定三维人脸。附图说明图1示出了本说明书一实施例提供的一种表情迁移模型的训练方法的流程图；图2示出了本说明书一实施例提供的一种表情迁移模型的训练方法的处理过程示意图；图3示出了本说明书一实施例提供的一种表情迁移模型的网络架构的示意图；图4示出了图3中的表情迁移模型中的下采样层与上采样层的原理图；图5示出了本说明书一实施例提供的一种利用表情迁移模型的表情迁移方法的流程图；图6示出了本说明书一实施例提供的一种利用表情迁移模型的表情迁移方法的流程示意图；图7示出了本说明书一实施例提供的一种表情迁移模型的训练方法的处理流程图；图8示出了本说明书一实施例提供的一种三维人脸表情迁移的方法的处理流程图；图9示出了本说明书一实施例提供的一种表情迁移模型的训练装置的结构示意图；图10示出了本说明书一实施例提供的一种表情迁移装置的结构示意图；图11示出了本说明书一实施例提供的一种计算设备的结构框图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。在本说明书中，提供了一种表情迁移模型的训练方法，本说明书同时涉及一种表情迁移模型的训练装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。图1示出了根据本说明书一实施例提供的一种表情迁移模型的训练方法的流程图，表情迁移模型包括编码器、第一解码器以及第二解码器，所述训练方法具体包括步骤：步骤102：获取第一三维人脸样本和第二三维人脸样本。第一三维人脸样本和第二三维人脸样本为人物或虚拟角色的三维人脸样本，二者对应于不同人物或虚拟角色。三维人脸上有不同表情，具体表征为三维人脸网格，网格上设置有顶点，将三维人脸网格定义为一个图，用代表，是顶点的集合，a是邻接矩阵，邻接矩阵表征顶点之间的关系，每个顶点由一个三维坐标值表示。通过以三维人脸样本的每个顶点分别作为行和列，以每个位置对应的行和列的相邻关系确定每个位置的元素，来确定邻接矩阵。在一种实施例中，第一三维人脸样本为人物的三维人脸样本，第二三维人脸样本为虚拟角色的三维人脸样本，例如游戏角色的三维人脸样本。可选地，获取第一三维人脸样本包括：获取多个人脸图像，对所述多个人脸图像进行人脸重建，获得第一三维人脸样本。第一三维人脸样本可以通过将二维图像进行三维人脸重建来获得，例如从视频中截取出一帧一帧的图像，然后进行三维人脸重建，得到三维人脸样本。也可以对直接拍摄获得的多个二维图像进行三维人脸重建，得到三维人脸样本。三维人脸重建可以通过传统三维人脸重建法进行重建，例如通过包括肌肉模型、基于图像技术建模法的单图建模，包括正交视图建模、多图建模系统的多图建模，包括通用人脸模型candide-3、三维变形模型3dmm的基于模型的三维人脸重建，以及包括vrnet、prnet的端到端三维人脸重建法。通过三维人脸重建将二维图像重建为三维人脸。可选地，获取第一三维人脸样本还包括：对所述多个人脸图像进行人脸重建之后，将重建后的三维人脸与所述第二三维人脸样本进行空间对齐。如图2中所示的空间对齐(spatialalignment)用于将重建出来的三维人脸与第二三维人脸样本在空间中对齐，两个人脸中的眼睛、嘴巴、鼻子位置对齐。之后进行拓扑统一，使得重建出来的三维人脸和第二三维人脸样本的点数和面数一样，三维人脸是面构成的，面是由点构成的，面统一，同时要求构成面的点的序号也相同，使得两个三维人脸的面和面一一对应，变成一样的拓扑结构。步骤104：基于编码器和第一解码器对所述第一三维人脸样本进行训练，基于所述编码器和第二解码器对所述第二三维人脸样本进行训练。如图2所示，第一三维人脸样本通过编码器和第一解码器进行训练，第二三维人脸样本通过编码器和第二解码器进行训练。可选地，基于所述编码器和所述第一解码器对第一三维人脸样本进行训练可以通过以下实现：将所述第一三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器，得到第一编码向量；将所述第一编码向量输入所述第一解码器，得到第一解码向量，根据第一解码向量与所述初始顶点信息得到损失值；根据所述损失值调整编码器和第一解码器中的网络层的系数向量。可选地，基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练可以通过以下实现：将所述第二三维人脸样本的初始顶点信息和邻接矩阵输入所述编码器，得到第二编码向量，将所述第二编码向量输入所述第二解码器，得到第二解码向量，根据第二解码向量与所述第二三维人脸样本的初始顶点信息得到损失值；根据所述损失值调整编码器和第二解码器中的网络层的系数向量。三维人脸的表情迁移的网络架构是由一个编码器(encoder)，两个解码器(decoder)构成的，网络架构如图3所示，编码器编码表情信息，解码器恢复三维人脸的身份信息。可选地，编码器包括图卷积神经网络层、下采样层和全连接层，图卷积神经网络层和下采样层依次间隔设置，第一解码器和第二解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。如图3所示，g代表图卷积神经网络，f代表全连接层，方框长度代表人脸网格的顶点数量，除了最后一层，每一层图卷积神经网络之后都是下采样的操作，图卷积神经网络层和下采样层依次间隔设置，每一次的下采样大约将输入的顶点数减少为原来的1/4，最后一层是全连接层，输出的结果为z。每一次下采样可以将顶点数目减少为原来的六分之一、八分之一等，卷积网络层数量不变。编码器层和解码器层数可以调节，不限于4层，可以为6层、8层等，本申请不对此作出限定。如图2和图3所示，解码器由两部分组成，分别解码对应的3d人脸网格。全连接层之后是上采样层，紧接着是图卷积神经网络。图卷积神经网络和上采样是交替进行的，每一次的上采样都将顶点恢复为原来的4倍，最后输出完整3d人脸网格的顶点。第一解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。上采样时能够恢复原来的顶点信息，上采样和下采样是对应的，下采样时删除顶点，删除的同时记录删除的点的坐标，上采样时根据这些删除的点的坐标尽可能恢复。如图4所示，(a)部分表示原始的网格，qd为下采样，下采样过程中将一些点删除，保留删去的点的坐标，形成(b)部分，经卷积后生成(c)部分，再经过上采样qu形成(d)部分所示，上采样时根据删除的点的坐标投影找到最近的网格，能够恢复，最后点数跟原来相比并没有改变。顶点信息为三维人脸网格的顶点的坐标信息，定义图卷积网络时提供输入维度、输出维度和邻接矩阵。顶点集合输入编码器的第一个图卷积神经网络，结合邻接矩阵信息进行图卷积。在图卷积神经网络中，利用预设函数根据一定规则聚合顶点信息，得到新的编码向量并输出。下面对图卷积进行说明。邻接矩阵a计算得到度矩阵d，利用l＝d-a，得到拉普拉斯矩阵l，获得拉普拉斯矩阵的特征向量u0,u1,…,un-1，其中，l＝uλut，u＝[u0,u1,…,un-1]，λ＝diag([λ0,λ1,…,λn-1])∈rn×n。图卷积的一般定义为：x*y＝u((utx)⊙(uty))(1)其中，x和y是输入，*代表卷积运算，u是特征向量，utx代表对x进行傅里叶变换，uty代表对y进行傅里叶变换，⊙代表哈达玛积。x是输入的待卷积向量，y是图上的信号信息，傅里叶变换之后进行卷积运算。给定一个图像，首先要得到它的拉普拉斯矩阵，进而算出拉普拉斯矩阵的特征值和特征向量，把这些特征向量作为傅里叶变换的一组基向量，然后进行傅里叶变换，把图上的输入变为频域上的表示，在频域的空间内进行卷积运算，之后再把结果变换为原空间。换言之，把要卷积的信号通过这组基向量变换到这组基的空间中即频域空间，频域空间中进行卷积，再以这组基向量逆变换回到原空间。以上卷积过程称为频谱卷积。上文为频谱卷积的理论知识，下面对具体卷积运算进行说明。使用切比雪夫多项式来模拟特征向量的计算过程，如下公式所示：其中，gθ是卷积核，是拉普拉斯算子的缩放系数,其中，in是n维单位矩阵，θ是切比雪夫系数向量，tk是k阶切比雪夫多项式，k可以是6、8、10等，可以自行设置，θ是要模型要训练的系数向量，λmax为拉普拉斯矩阵最大的特征值。切比雪夫多项式计算公式为tk(x)＝2xtk-1(x)-tk-2(x),t0＝1,t1＝x，采用切比雪夫多项式之后的图卷积定义如下：其中，yj计算y的第j个特征，x是输入，有fin个特征，fin是坐标顶点坐标维度，在本项目中，fin＝3。每个卷积层都有fin×fout个切比雪夫系数向量，θi,j∈rk可作为训练参数。fout是输出向量的通道数，是在设置图卷积网络层时指定的量。在一种实施例中，n＝3791，fout＝16。在一种实施例中，在网络训练的时候，选取k＝6，使用sgd随机梯度下降优化器，权重的衰减率是0.0005，batch的大小为16，学习率为0.008，学习率的衰减为0.99。权重的衰减率用于正则化，防止发生过拟合。batch为超参数，在本实施例中，限定为batch＝16，表征每次只拿16个三维人脸进行训练，batch可以设置为其他值，优选设置为2的倍数。步骤106：判断是否达到训练停止条件，并且在达到训练停止条件的情况下，停止训练过程。如图2所示，第一解码器和第二解码器之后分别设有判别器，判别器判断解码器解码出来的人脸结果的优劣，越接近输入的三维人脸，结果为真(real)，解码出来的人脸的顶点坐标跟重建出来的人脸的顶点坐标进行比较，差值小于预设阈值就判定为真(real)，判别器进行判别是为了让生成结果更加逼近原来的输入。在训练时，将训练集中的一部分三维人脸样本输进去，再将一部分目标人脸样本输进去。三维人脸样本训练时参数改变，改变的参数同样适用于目标人脸样本，编码器会寻找一套参数达到同时对三维人脸样本和目标人脸样本编码效果都好，模型应用时使用这一套参数。由于训练过程中第一三维人脸样本和第二三维人脸样本的编码器学习到不同个体的共同信息即隐含层的网络参数，各自的解码器在训练中负责重建对应的个体，学习包含独立个体的信息(包括不同的脸部表情)，从而在应用过程中令第一三维人脸样本基于第二解码器实现个体脸部表情迁移。可选地，交替执行对第一预设数目的第一三维人脸样本进行训练和对第二预设数目的第二三维人脸样本进行训练。即在训练时可以第一个batch是三维人脸样本，第二个batch是目标人脸样本。也可以打乱顺序一起训练，或者先对n个三维人脸样本进行训练，接下来对n个目标人脸样本进行训练，交替训练。本申请对此不作限定。图5示出了一种利用表情迁移模型的表情迁移方法，所述表情迁移模型包括编码器、第一解码器以及第二解码器，并且通过上述训练方法预先训练，所述表情迁移方法包括：步骤502：获取待迁移表情的第一三维人脸；第一三维人脸可以通过将二维图像进行三维人脸重建来获得，例如从目标视频中截取出同一人脸的多帧人脸图像，进行三维人脸重建，得到待迁移表情的多个第一三维人脸。也可以对直接拍摄获得的多个二维图像进行三维人脸重建，得到三维人脸。步骤504：基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移，得到第二三维人脸。编码器包括图卷积神经网络层、下采样层和全连接层，图卷积神经网络层和下采样层依次间隔设置，第一解码器和第二解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。如图3所示，g代表图卷积神经网络，f代表全连接层，方框长度代表人脸网格的顶点数量，除了最后一层，每一层图卷积神经网络之后都是下采样的操作，图卷积神经网络层和下采样层依次间隔设置，每一次的下采样大约将输入的顶点数减少为原来的1/4，最后一层是全连接层，输出的结果为z。每一次下采样可以将顶点数目减少为原来的六分之一、八分之一等，卷积网络层数量不变。编码器层和解码器层数可以调节，不限于4层，可以为6层、8层等，本申请不对此作出限定。解码器由两部分组成，分别解码对应的3d人脸网格。全连接层之后是上采样层，紧接着是图卷积神经网络。图卷积神经网络和上采样是交替进行的，每一次的上采样都将顶点恢复为原来的4倍，最后输出完整3d人脸网格的顶点。第一解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。上采样时能够恢复原来的顶点信息，上采样和下采样是对应的，下采样时删除顶点，删除的同时记录删除的点的坐标，上采样时根据这些删除的点的坐标尽可能恢复。如图4所示，a是原始的网格，qd为下采样，下采样过程中将一些点删除，保留删去的点的坐标，卷积后生成c，上采样时根据删除的点的坐标投影找到最近的网格，能够恢复，最后点数跟原来相比并没有改变。可选地，基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移可以通过以下实现：将所述第一三维人脸的初始顶点信息和邻接矩阵输入所述编码器，得到第一编码向量；将所述第一编码向量输入所述第二解码器。如图6所示，将初始顶点信息和邻接矩阵输入编码器的图卷积神经网络层，经下采样层和全连接层输出第一编码向量，将第一编码向量输入第二解码器的全连接层，经上采样层和卷积神经网络层输出解码向量，根据解码向量得到表情迁移后的三维人脸。由于表情迁移模型通过上述训练方法训练，而且在训练过程中，第一三维人脸样本和第二三维人脸样本的编码器学习到不同个体的共同信息即隐含层的网络参数，各自的解码器在训练中负责重建对应的个体，学习包含独立个体的信息(包括不同的脸部表情)，从而在应用过程中令第一三维人脸样本基于第二解码器实现个体脸部表情迁移，从而实现将第一三维人脸的表情迁移至目标三维人脸，目标三维人脸是训练过程中通过大量第二三维人脸样本训练得到的第二解码器中重建的人脸。在一种实施例中，表情迁移方法还包括：基于所述第二三维人脸生成动画。输入表情迁移模型的多个第一三维人脸，通过表情迁移模型输出对应的多个第二三维人脸，基于输出的多个第二三维人脸生成动画。例如，可以利用基于mpeg-4的三维人脸动画原理生成动画，本申请不限于此。将多个第一三维人脸的表情迁移至目标三维人脸，得到多个第二三维人脸，以动画的形式输出，可以以动画形式展示从原视频中迁移过来的表情，实现具有表情的虚拟角色构成的动画，由于可以利用人脸表情迁移至虚拟角色形成虚拟角色表情，因此形成的虚拟角色的表情更加丰富，且解决传统方法中做游戏人物表情费时费力的问题。下述结合附图7，对所述表情迁移模型的训练方法进行进一步说明。其中，图7示出了本说明书一实施例提供的一种表情迁移模型的训练方法的处理流程图，具体包括以下步骤：步骤702：获取第一三维人脸样本和游戏画面中的虚拟角色的三维人脸样本；虚拟角色的三维人脸样本可以是同一角色的无表情人脸样本或者带有表情的人脸样本，例如创作的带有表情的虚拟角色人脸样本或者经过其他方式或本实施例的表情迁移方法得到的带有表情的虚拟角色人脸样本。步骤704：将第一三维人脸样本的初始顶点信息输入表情迁移模型的编码器，得到第一编码向量；参见图3，编码器包括图卷积神经网络层、下采样层和全连接层，图卷积神经网络层和下采样层依次间隔设置。步骤706：将第一编码向量输入表情迁移模型的第一解码器，得到第一解码向量，根据第一解码向量与初始顶点信息得到损失值；第一解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。步骤708：根据损失值调整编码器和第一解码器中的卷积神经网络层的系数向量；根据损失值对上述切比雪夫系数向量θ进行调节，可以在每个batch的三维人脸样本输入完成后计算一次损失函数并对θ进行调节。步骤710：将虚拟角色的三维人脸样本的初始顶点信息输入所述编码器，得到第二编码向量；接下来对虚拟角色的三维人脸样本进行训练，输入编码器经过图卷积神经网络层、下采样层和连接层，得到第二编码向量。步骤712：将第二编码向量输入所述迁移模型的第二解码器，得到第二解码向量，根据第二解码向量与虚拟角色的三维人脸样本的初始顶点信息得到损失值；第二解码器包括全连接层、上采样层和卷积神经网络层，所述上采样层和卷积神经网络层依次间隔设置。步骤714：根据所述损失值调整编码器和第二解码器中的卷积神经网络层的系数向量，直至达到训练停止条件，停止训练过程。训练停止条件是所述第一解码器和所述第二解码器的损失函数均收敛。在一种实施例中，直至达到训练停止条件，停止训练过程，可以包括：判断损失值是否小于预设阈值；若否，则继续训练；若是，则确定达到该训练停止条件。其中，预设阈值为损失值的临界值，在损失值大于或等于预设阈值的情况下，说明初始模型的预测结果与真实结果之间仍存在一定偏差，仍需调整初始模型的参数，并继续对该模型进行训练；在损失值小于预设阈值的情况下，说明初始模型的预测结果与真实结果的接近程度已经足够，可以停止训练。预设阈值的数值可以根据实际情况确定，本说明书对此不做限制。在一实施例中具体得到的详细的每一层的参数如表1和表2所示。表1:编码器架构层输入大小输出大小卷积3791×33791×16下采样3791×16948×16卷积948×16948×16下采样948×16237×16卷积237×16237×16下采样237×1660×16卷积60×1660×32下采样60×3215×32全连接15×328表2:解码器架构层输入大小输出大小全连接815×32上采样15×3260×32卷积60×3260×32上采样60×32237×32卷积237×32237×16上采样237×16948×16卷积948×16948×16上采样948×163791×16卷积3791×163791×3表1、表2的输入大小和输出大小是实验效果较好的。但是不作为对本申请的限制，可以自行设置后面的通道数。下述结合附图8，对所述表情迁移模型的应用方法进行说明。其中，图8示出了本说明书一实施例提供的一种三维人脸表情迁移的方法的处理流程图，具体包括以下步骤：802：从视频中截取出一帧一帧的图像，进行人脸重建得到三维人脸；人脸重建就是把二维照片中的二维人脸生成对应的三维人脸，每一帧图片重建成一个三维人脸。804：将三维人脸输入表情迁移模型，进行三维人脸表情迁移，表情迁移到虚拟角色的三维人脸上；表情迁移模型通过附图7所示的方法训练得到，指定将三维人脸经过编码器编码输出编码向量后，编码向量输入第二解码器进行解码，得到解码向量，实现三维人脸表情迁移，将视频截取的多帧图像重建得到的三维人脸的表情迁移至虚拟角色的三维人脸例如虚拟角色的无表情人脸上。步骤806：基于虚拟角色的表情迁移后的三维人脸生成动画，展示从原视频中迁移过来的表情。由于可以利用人脸表情迁移至虚拟角色形成虚拟角色表情，因此形成的虚拟角色的表情更加丰富，且解决传统方法做游戏人物表情费时费力的问题。与上述方法实施例相对应，本说明书中还提供了表情迁移模型的训练装置实施例，图9示出了本说明书一实施例提供的一种表情迁移模型的训练装置的结构示意图。所述表情迁移模型包括编码器、第一解码器以及第二解码器，如图9所示，该装置包括：第一获取模块902，被配置为获取第一三维人脸样本和第二三维人脸样本；训练模块904，被配置为基于所述编码器和所述第一解码器对所述第一三维人脸样本进行训练，基于所述编码器和所述第二解码器对所述第二三维人脸样本进行训练；判断模块906，被配置为判断是否达到训练停止条件，并且在达到训练停止条件的情况下，停止训练过程。上述为本实施例的一种表情迁移模型的训练装置的示意性方案。需要说明的是，该表情迁移模型的训练装置的技术方案与上述的表情迁移模型的训练方法的技术方案属于同一构思，表情迁移模型的训练装置的技术方案未详细描述的细节内容，均可以参见上述表情迁移模型的训练方法的技术方案的描述。与上述方法实施例相对应，本说明书还提供了利用表情迁移模型的表情迁移装置，图10示出了本说明书一实施例提供的一种表情迁移装置的结构示意图。所述表情迁移模型包括编码器、第一解码器以及第二解码器并且通过上述任一项所述的训练方法预先训练，如图10所示，该装置包括：第二获取模块1002，被配置为获取待迁移表情的第一三维人脸；迁移模块1004，被配置为基于所述编码器和所述第二解码器对所述第一三维人脸进行表情迁移，得到第二三维人脸。上述为本实施例的一种表情迁移装置的示意性方案。需要说明的是，该表情迁移装置的技术方案与上述的利用表情迁移模型的表情迁移方法的技术方案属于同一构思，表情迁移装置的技术方案未详细描述的细节内容，均可以参见上述利用表情迁移模型的表情迁移方法的技术方案的描述。图11示出了根据本说明书一实施例提供的一种计算设备1100的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接，数据库1150用于保存数据。计算设备1100还包括接入设备1140，接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。在本说明书的一个实施例中，计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图11所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。计算设备1100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。其中，处理器1120用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述所述的表情迁移模型的训练方法，或者上述所述的利用表情迁移模型的表情迁移方法的操作步骤。上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的表情迁移模型的训练方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述表情迁移模型的训练方法的技术方案的描述。本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于实现上述所述的表情迁移模型的训练方法，或者上述所述的利用表情迁移模型的表情迁移方法的操作步骤。上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的表情迁移模型的训练方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述表情迁移模型的训练方法的技术方案的描述。上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属
技术领域：
技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。当前第1页12