一种基于大数据的虚拟数字人渲染方法、系统及终端设备与流程

本发明涉及数字人渲染，特别是涉及一种基于大数据的虚拟数字人渲染方法、系统及终端设备。

背景技术：

1、数字人是指使用计算机技术和人工智能技术创建的虚拟人物或数字化人物，它们能够模拟类似于人类的行为、思维和外貌，也称为虚拟数字人。数字人可以理解为将人类的外貌特征和动作表现转换为数字化的模型，从而可以在虚拟世界中实现人物模拟。数字人的目标是创造逼真的虚拟人类，使其在虚拟世界、媒体、娱乐、教育和商业等领域中发挥重要作用，比如目前已经在应用的数字人主播、游戏和电影中的数字人角色、数字人客服和文史旅游讲解员等。虚拟数字人渲染包括对人物的外表、肤色、面部表情、动作和服装等方面的模拟和渲染，渲染方法有三维建模、动画、材质映射和光照效果等。大数据是指规模庞大、高度多样且以高速生成的数据集合。这些数据通常具有“3v”特征，即数据量大（volume）、数据类型多样（variety）、数据生成速度快（velocity）。

2、传统的虚拟数字人渲染使用专业建模和动画工具，手工创建数字人物的模型和动画，也有使用传感器和摄像头捕捉真实人体的面部表情和动作，然后应用到虚拟数字人渲染中。例如公开号为cn115526974a的发明专利提出了一种基于docker虚拟化数字人合成渲染方法和系统，利用k8s快速部署的docker容器实现数字人快速部署和渲染；公开号为cn116309995a的发明专利提出了一种数字人驱动数据同步及帧率自适应的渲染方法和装置，实现了数字人驱动起来后整体渲染效果的同步。但是，上述传统方法需要人力和时间，并且难以实现高度的个性化，借助传感器和摄像头实现渲染需要复杂的设备和环境，同时也可能受限于捕捉到的数据质量，存在虚拟数字人还原度低的问题。

技术实现思路

1、本发明要解决的是现有技术中虚拟数字人还原度低的技术问题。为了解决上述技术问题，本发明提供了一种基于大数据的虚拟数字人渲染方法、系统及终端设备。

2、第一方面，本发明实施例提供了基于大数据的虚拟数字人渲染方法，包括：

3、根据多模态参考数据构建虚拟数字人渲染模型；所述多模态参考数据至少包括二维人脸图像参考数据、表情参考数据和音频特征参考数据；

4、将多模态数据输入所述虚拟数字人渲染模型，以使所述虚拟数字人渲染模型根据所述多模态数据生成对应的虚拟数字人渲染视频；

5、对所述虚拟数字人渲染视频进行还原度评价，得到所述虚拟数字人渲染视频的渲染还原度评价指数。

6、优选地，所述根据多模态参考数据构建虚拟数字人渲染模型，包括：

7、根据所述二维人脸图像参考数据构建虚拟数字人三维人脸模型；

8、根据所述表情参考数据和所述音频特征参考数据，在所述虚拟数字人三维人脸模型上进行映射得到虚拟数字人交互驱动模型；

9、利用所述虚拟数字人交互驱动模型驱动虚拟数字人完成所述音频特征参考数据对应的交互动作；

10、根据所述交互动作合成对应的表情动画和肢体动画，并根据所述表情动画和所述肢体动画对所述虚拟数字人进行渲染，以构建虚拟数字人渲染模型。

11、优选地，所述根据所述二维人脸图像参考数据构建虚拟数字人三维人脸模型，包括：

12、将所述二维人脸图像参考数据划分为二维人脸图像训练参考数据和二维人脸图像验证参考数据；

13、对所述二维人脸图像训练参考数据进行关键点提取，并根据得到的人脸图像关键点获取所述二维人脸图像训练参考数据对应的三维人脸图像深度图；

14、对所述三维人脸图像深度图进行三维重建，得到虚拟数字人三维人脸模型。

15、优选地，在所述对所述三维人脸图像深度图进行三维重建，得到虚拟数字人三维人脸模型之后，还包括：

16、根据所述二维人脸图像验证参考数据对所述虚拟数字人三维人脸模型进行验证，得到所述虚拟数字人三维人脸模型的人脸还原性能指数；

17、采用如下公式获取所述人脸还原性能指数：

18、

19、其中，表示人脸还原性能指数，表示二维人脸图像验证参考数据中二维人脸参考图像的编号，表示二维人脸图像验证参考数据中二维人脸参考图像的数量，表示二维人脸图像验证参考数据中第张二维人脸参考图像的结构相似性指数，表示二维人脸图像验证参考数据中第张二维人脸参考图像的感知损失数据，表示结构相似性指数的修正因子，表示感知损失数据的修正因子，表示结构相似性指数阈值，表示感知损失数据阈值。

20、优选地，在所述根据所述表情参考数据和所述音频特征参考数据，在所述虚拟数字人三维人脸模型上进行映射得到虚拟数字人交互驱动模型之后，还包括：

21、根据预设交互动作的音频特征数据对所述虚拟数字人交互驱动模型进行验证，得到所述音频特征数据对应的交互还原数据；所述交互还原数据包括动作准确性数据、动作完整性数据和动作耗用时间数据；

22、根据所述交互还原数据得到对应的交互还原分数，并根据所述交互还原分数进行组合计算得到对应的交互还原性能指数；所述交互还原分数包括交互准确性分数、交互完整性分数和交互实时性分数。

23、优选地，采用如下公式获取所述交互准确性分数：

24、

25、其中，表示交互准确性分数，表示预设交互动作的编号，表示预设交互动作的数量，表示第种预设交互动作的动作准确性数据，表示第种预设交互动作的动作准确性参考数据，表示动作准确性数据的修正因子；

26、采用如下公式获取所述交互完整性分数：

27、

28、其中，表示交互完整性分数，表示预设交互动作的编号，表示预设交互动作的数量，表示第种预设交互动作的动作完整性数据，表示第种预设交互动作的动作完整性参考数据，表示动作完整性数据的修正因子；

29、采用如下公式获取所述交互实时性分数：

30、

31、其中，表示交互实时性分数，表示预设交互动作的编号，表示预设交互动作的数量，表示第种预设交互动作的动作耗用时间数据，和分别表示第一动作耗用时间参考数据和第二动作耗用时间参考数据，表示动作耗用时间数据的修正因子；

32、采用如下公式获取所述交互还原性能指数：

33、

34、其中，表示交互还原性能指数，表示交互准确性分数的修正因子，表示交互完整性分数的修正因子，表示交互实时性分数的修正因子，表示交互准确性分数，表示交互完整性分数，表示交互实时性分数，表示自然常数。

35、优选地，所述对所述虚拟数字人渲染视频进行还原度评价，得到所述虚拟数字人渲染视频的渲染还原度评价指数，包括：

36、获取所述虚拟数字人渲染视频中虚拟数字人图像的第一点云数据和所述虚拟数字人图像对应的参考图像的第二点云数据；

37、将所述第一点云数据和所述第二点云数据进行对比，得到所述虚拟数字人图像的相似度分数；

38、根据所述虚拟数字人渲染视频的分辨率、帧率和真实度评分进行组合计算，得到所述虚拟数字人渲染视频的性能评价分数；

39、根据所述相似度分数和所述性能评价分数进行组合计算，得到所述虚拟数字人渲染视频的渲染还原度评价指数。

40、优选地，采用如下公式获取所述相似度分数：

41、

42、其中，表示虚拟数字人图像的相似度分数，表示虚拟数字人图像的编号，表示虚拟数字人图像的数量，表示第张虚拟数字人图像的倒角距离，表示参考图像的倒角距离，表示第张虚拟数字人图像的搬土距离，表示参考图像的搬土距离；

43、采用如下公式获取所述性能评价分数：

44、

45、其中，表示虚拟数字人渲染视频的性能评价分数，表示虚拟数字人渲染视频的编号，表示虚拟数字人渲染视频的数量，表示第个虚拟数字人渲染视频的分辨率，和分别表示虚拟数字人渲染视频的第一参考分辨率和虚拟数字人渲染视频的第二参考分辨率，表示第个虚拟数字人渲染视频的帧率，和分别表示虚拟数字人渲染视频的第一参考帧率和虚拟数字人渲染视频的第二参考帧率，表示第个虚拟数字人渲染视频的真实度评分，表示真实度评分的修正因子；

46、采用如下公式获取所述渲染还原度评价指数：

47、

48、其中，表示虚拟数字人渲染视频的渲染还原度评价指数，表示自然常数，表示虚拟数字人图像的相似度分数，表示相似度分数的修正因子，表示虚拟数字人渲染视频的性能评价分数，表示性能评价分数的修正因子。

49、第二方面，本发明实施例提供了一种基于大数据的虚拟数字人渲染系统，包括：

50、渲染模型构建模块，用于根据多模态参考数据构建虚拟数字人渲染模型；所述多模态参考数据至少包括二维人脸图像参考数据、表情参考数据和音频特征参考数据；

51、渲染视频生成模块，用于将多模态数据输入所述虚拟数字人渲染模型，以使所述虚拟数字人渲染模型根据所述多模态数据生成对应的虚拟数字人渲染视频；

52、还原度评价模块，用于对所述虚拟数字人渲染视频进行还原度评价，得到所述虚拟数字人渲染视频的渲染还原度评价指数。

53、第三方面，本发明实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的虚拟数字人渲染方法。

54、本发明实施例一种基于大数据的虚拟数字人渲染方法、系统及终端设备与现有技术相比，其有益效果在于：实现了虚拟数字人的高度还原，有效解决了现有技术中虚拟数字人还原度低的问题；实现了交互动作的准确性、完整性和实时性的全面评价，进而实现了更准确地评价虚拟数字人交互驱动模型的交互动作还原度；实现了虚拟数字人渲染模型的还原度的直观评价，进而实现了更准确地评价虚拟数字人渲染模型的还原度。