面部建模模型的训练方法、建模方法、装置及设备与流程

本申请实施例涉及人工智能领域，特别涉及一种面部建模模型的训练方法、建模方法、装置及设备。

背景技术：

1、在计算机视觉技术领域，生成可驱动的面部有着广泛的应用。在应用中，重建面部需根据输入信号改变视角与表情等，应具有自然的说话神态且与驱动信号同步。

2、相关技术中，采用音频驱动面部的方式进行面部重建。而采用音频驱动的方式，由于不同人声音等存在较大差异，导致训练得到的网络可能存在不同的生成结果，造成驱动不准确的情况。因此，在另一种方式中，可通过文本驱动面部的方式进行面部重建。

3、然而，相关技术中，基于文本驱动的方式仅可生成二维面部图像，无法实现对三维面部的驱动，模拟效果较差。

技术实现思路

1、本申请实施例提供了一种面部建模模型的训练方法、建模方法、装置及设备，通过对面部的解耦控制，实现三维面部建模，提高模拟真实性。所述技术方案如下：

2、一方面，本申请实施例提供了一种面部建模模型的训练方法，所述方法包括：

3、获取样本面部图像，所述样本面部图像中包含在同一时刻不同视角下采集得到的面部图像；

4、将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码；

5、将所述面部区域潜码以及所述面部动作潜码输入所述面部建模模型的神经辐射场进行三维面部重建，得到三维面部图像；

6、基于所述三维面部图像与所述样本面部图像间的三维重建损失，对所述面部建模模型的所述编码器以及所述神经辐射场进行训练。

7、另一方面，本申请实施例提供了一种三维面部建模方法，所述方法包括：

8、在接收到输入文本的情况下，确定所述输入文本对应的文本音素；

9、基于音素潜码索引，查询所述文本音素对应的目标区域潜码以及目标动作潜码，所述音素潜码索引用于指示音素与潜码序列的对应关系，所述潜码序列基于面部建模模型的编码器对音素对应的面部图像进行特征编码得到；

10、将所述目标区域潜码与所述目标动作潜码输入所述面部建模模型的神经辐射场进行三维重建，得到所述文本音素对应的面部动作图像；

11、基于各帧面部动作图像，生成所述输入文本对应的三维面部动作动画。

12、另一方面，本申请实施例提供了一种面部建模模型的训练装置，所述装置包括：

13、图像获取模块，用于获取样本面部图像，所述样本面部图像中包含在同一时刻不同视角下采集得到的面部图像；

14、特征编码模块，用于将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码；

15、三维重建模块，用于将所述面部区域潜码以及所述面部动作潜码输入所述面部建模模型的神经辐射场进行三维面部重建，得到三维面部图像；

16、模型训练模块，用于基于所述三维面部图像与所述样本面部图像间的三维重建损失，对所述面部建模模型的所述编码器以及所述神经辐射场进行训练。

17、另一方面，本申请实施例提供了一种三维面部建模装置，所述装置包括：

18、音素确定模块，用于在接收到输入文本的情况下，确定所述输入文本对应的文本音素；

19、潜码查询模块，用于基于音素潜码索引，查询所述文本音素对应的目标区域潜码以及目标动作潜码，所述音素潜码索引用于指示音素与潜码序列的对应关系，所述潜码序列基于面部建模模型的编码器对音素对应的面部图像进行特征编码得到；

20、三维重建模块，用于将所述目标区域潜码与所述目标动作潜码输入所述面部建模模型的神经辐射场进行三维重建，得到所述文本音素对应的面部动作图像；

21、动画生成模块，用于基于各帧面部动作图像，生成所述输入文本对应的三维面部动作动画。

22、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的面部建模模型的训练方法，或实现如上述方面所述的三维面部建模方法。

23、另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的面部建模模型的训练方法，或实现如上述方面所述的三维面部建模方法。

24、另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的面部建模模型的训练方法，或实现如上述方面所述的三维面部建模方法。

25、本申请实施例提供的技术方案带来的有益效果至少包括：

26、本申请实施例中，通过对多视角下的样本面部图像进行特征编码，得到样本面部图像对应的面部区域潜码以及面部动作潜码，用于表征不同面部区域的区域特征以及面部的动作特征，之后，利用面部区域潜码以及面部动作潜码进行三维重建，得到三维面部图像，从而基于三维面部图像与样本面部图像间的差异，训练得到可对面部解耦控制的面部建模模型。当模型用于三维面部建模时，由于可对不同面部区域以及面部动作分别解耦控制，可生成不同面部区域与不同面部动作组合的面部图像，在三维面部建模过程中，仅需调整需改变的部分潜码，可实现长序列三维面部建模，可提高文本驱动面部过程中面部模拟真实性。

技术特征：

1.一种面部建模模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述神经辐射场包含区域神经辐射场、动作神经辐射场以及渲染神经辐射场；

3.根据权利要求2所述的方法，其特征在于，所述将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码，包括：

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于三维面部图像与所述样本面部图像间的三维重建损失，对所述面部建模模型的所述编码器以及所述神经辐射场进行训练，包括：

5.根据权利要求1至3任一所述的方法，其特征在于，所述编码器包含编码网络以及解耦神经辐射场；

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述基于不同时刻下的所述上部区域潜码、所述下部区域潜码以及所述面部动作潜码，确定解耦损失，包括：

8.根据权利要求7所述的方法，其特征在于，所述基于所述第一上部区域潜码、所述第一面部动作潜码以及所述第二下部区域潜码，确定上部解耦损失，包括：

9.根据权利要求7所述的方法，其特征在于，所述基于所述第二面部动作潜码、所述第一上部区域潜码以及所述第一下部区域潜码，确定动作解耦损失，包括：

10.一种三维面部建模方法，其特征在于，所述方法包括：

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

12.一种面部建模模型的训练装置，其特征在于，所述装置包括：

13.一种三维面部建模装置，其特征在于，所述装置包括：

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至9任一所述的面部建模模型的训练方法，或，实现如权利要求10至11任一所述的三维面部建模方法。

15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至9任一所述的面部建模模型的训练方法，或，实现如权利要求10至11任一所述的三维面部建模方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令以实现如权利要求1至9任一所述的面部建模模型的训练方法，或，实现如权利要求10至11任一所述的三维面部建模方法。

技术总结
本申请公开了一种面部建模模型的训练方法、建模方法、装置及设备，涉及人工智能领域。包括：获取样本面部图像，样本面部图像中包含在同一时刻不同视角下采集得到的面部图像；将样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码；将面部区域潜码以及面部动作潜码输入面部建模模型的神经辐射场进行三维面部重建，得到三维面部图像；基于三维面部图像与样本面部图像间的三维重建损失，对面部建模模型的编码器以及神经辐射场进行训练。本申请实施例提供的方法，可训练得到对面部解耦控制的面部建模模型，实现三维面部建模，可提高模拟真实性。

技术研发人员：李小雨,陈本旺,王璇,张琦,单瀛
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15