技术特征：
1.一种数字人表情生成方法，其包括：捕捉表演者的表情视频；选择所述表情视频中的多个帧或者全部帧，使用主动外观模型进行拟合来为选择的每一帧获得多个面部特征点；基于为所述多个帧或者全部帧中的每一帧获得的所述多个面部特征点和预先确定的从人脸表情拟合到数字人的3d模型的映射关系，计算用于驱动所述数字人的3d模型的表情的多个控制器的数值；其中得到所述主动外观模型包括以下步骤：基于训练集中所标注的多个面部特征点训练形状模型、纹理模型，并且通过扰动实验获得回归矩阵，该回归矩阵表示通过所述扰动实验获得的参数变化与纹理残差之间的关系，其中所述训练集包括多张包含人脸表情的图片。2.如权利要求1所述的数字人表情生成方法，其中得到所述从人脸表情拟合到数字人的3d模型的映射关系包括以下步骤：为所述训练集中的每个人脸表情调节所述多个控制器的数值，得到相似度高的对应的数字人的表情；基于调节后的所述多个控制器的数值以及所述训练集中所述标注的多个面部特征点的坐标得到从所述人脸表情拟合到数字人的3d模型的映射关系。3.如权利要求1所述的数字人表情生成方法，其中所述使用所述主动外观模型进行拟合，为选择的每一帧获得多个面部特征点的步骤包括：(1)根据给定的初始化参考点获得纹理特征；(2)获得纹理特征与平均纹理特征之间的差值作为纹理残差，通过调整所述纹理模型的参数来获得新的平均纹理特征；(3)根据回归矩阵和所述纹理残差，求得参数变化矩阵，得到形状参数和新的纹理特征，对步骤(2)和(3)迭代直到超过设置的纹理残差的阈值或者最大的迭代次数之后停止迭代。4.如权利要求3所述的数字人表情生成方法，其中所述纹理模型的参数通过以下纹理模型等式来调整：其中g是纹理特征，是平均纹理特征，φ
ɡ
是纹理特征空间的基向量，b
ɡ
是纹理模型的参数，用纹理特征模型的特征值表示。5.如权利要求1所述的数字人表情生成方法，其中所述计算用于驱动所述数字人的3d模型的表情的所述多个控制器的数值的步骤包括将所述多个面部特征点的坐标带入以下等式，求得所述多个控制器的数值，
其中为基函数，x为所述多个面部特征点的坐标，n为所选择的帧的数量，y为所述多个控制器的数值；权重w基于所述训练集中所述标注的多个面部特征点用所述等式预先计算，作为从所述人脸表情拟合到数字人的3d模型的映射关系。6.如权利要求1所述的数字人表情生成方法，其中所述训练集中包含的所述多张图片是在预先获得的表情视频中选出的多个关键帧。7.一种数字人表情模型生成方法，其包括：基于训练集中标注的多个面部特征点训练形状模型和纹理模型，通过扰动实验获得回归矩阵，该回归矩阵表示通过所述扰动实验获得的参数变化与纹理残差之间的关系，该训练集包括多张包含人脸表情的图片，作为多个关键帧；为每个关键帧的表情调节多个控制器的数值，得到相似度高的对应的数字人的表情，该多个控制器用于控制数字人的3d模型的表情；基于调节后的所述多个控制器的数值以及所述标注的多个面部特征点的坐标确定从所述人脸表情拟合到数字人的3d模型的映射关系。8.如权利要求7所述的数字人表情模型生成方法，其中所述扰动实验包括缩放尺度的扰动值的变化、旋转角度的扰动值的变化、平移的扰动值的变化、形状模型的形状参数的扰动值的变化和纹理模型的参数的扰动值的变化。9.如权利要求7所述的数字人表情模型生成方法，其中基于所述调节后的所述多个控制器的数值以及所述标注的多个面部特征点的坐标确定从人脸表情拟合到数字人的3d模型的映射关系的所述步骤包括使用以下等式进行拟合，其中为基函数，x为所述多个面部特征点的坐标，n为所述多个关键帧的数量，y为所述多个控制器的数值；通过求解上述等式，为每个关键帧获得一组权重w，将为所述多个关键帧所得到的权重作为从所述人脸表情拟合到所述数字人的3d模型的映射关系。10.如权利要求7所述的数字人表情模型生成方法，其中所述训练集是在预先获得的表情视频中选出的所述多个关键帧。11.如权利要求7所述的数字人表情模型生成方法，其中每个控制器的数值表示数字人
的某一个特定表情的呈现强度。12.一种计算机可读存储介质，其上存储有计算机程序，其中，当该程序被处理器执行时实现如权利要求1至6中任一项所述的方法；或者，当该程序被处理器执行时实现如权利要求7至11中任一项所述的方法。13.一种数字人表情生成装置，其包括摄像机，用于捕捉表演者的表情视频；视频捕捉控制器，从所述摄像机接收拍摄的视频，并且向所述摄像机发送拍摄指令；处理器；存储器，存储有一个或者多个计算机程序，所述一个或者多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，实现如权利要求1至6中任一项所述的数字人表情生成方法或者如权利要求7至11中任一项所述的数字人表情模型生成方法。14.一种vr设备的外挂系统，其包括第一组摄像机，面对使用者的眼部，该第一组摄像机包括至少两台具有红外功能的摄像机；第二组摄像机，面对使用者的嘴部，该第二组摄像机包括一台或多台摄像机；第一组led灯，被设置在所述第一组摄像机的附近；连接结构，其将所述外挂系统固定到所述vr设备上；同步控制器，其从所述第一组和第二组摄像机接收人脸表情数据，并且向所述第一组和第二组摄像机发送同步拍摄的信号；处理器；存储器，其存储计算机程序，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法或者如权利要求7至11中任一项所述的方法。
技术总结
本公开提供数字人表情及其模型生成方法、装置和VR设备的外挂系统。数字人表情生成方法包括捕捉表演者的表情视频；选择表情视频中的多个帧或全部帧，使用主动外观模型进行拟合来为选择的每一帧获得多个面部特征点；基于为每一帧获得的多个面部特征点和预先确定的从人脸表情拟合到数字人的3D模型的映射关系，计算用于驱动数字人的3D模型的表情的多个控制器的数值；其中得到主动外观模型包括以下步骤：基于训练集中所标注的多个面部特征点训练形状模型、纹理模型，并且通过扰动实验获得回归矩阵，该回归矩阵表示通过扰动实验获得的参数变化与纹理残差之间的关系。本公开的实施例实现将人脸表情实时迁移到数字人的3D模型，精准追踪面部表情。追踪面部表情。追踪面部表情。
技术研发人员：请求不公布姓名
受保护的技术使用者：奥丁信息科技有限公司
技术研发日：2022.09.21
技术公布日：2023/3/24