基于大数据的数字孪生三维人物动作自动生成方法

文档序号:35226620发布日期:2023-08-24 22:43阅读:32来源:国知局

本发明涉及三维动作自动生成,具体是基于大数据的数字孪生三维人物动作自动生成方法。


背景技术:

1、近年来随着3d技术的发展,各个领域都区域3d化,动画、动漫、游戏等都不局限于二维化了,诞生出了越来越多的3d动漫、3d游戏,这些动画、游戏中的游戏人物的动作往往运用了数字孪生的原理,对真实实体进行动态仿真,将真实实体的动作转用到了虚拟人物上,使得虚拟人物的动作与真实人物动作基本一致。

2、中国专利公开了人体动作三维数据采集和复现的处理方法及系统(公布号cn111080776a),该专利技术过多角度人物图像同步采集,集中快速完成人体三维建模,通过拍摄人体运动视频,基于视频信息,通过深度学习进行人体姿态估计,提取人体动作,结合绑定好骨骼的三维人体模型进行三维重建,生成有动作的人体模型,并进行虚拟展示,复现人体运动全过程,并且通过深度学习方法,提高了模型计算人体动作的精确度,为各种人体动作的采集与复现提供了必要的支持;但是这种三维人物动作自动生成方法与openpose三维仿真、opengl三维仿真等已有的方法一样均是通过建立人体关节链模型的方法实现三维动作的生成,均是肢体动作的生成,都没有对真实人物的当前动作所对应的面部动作进行自动生成,创造出的肢体动作所对应的面部动作往往是后期加上的,从而导致面部表情往往不够拟人化,显得木讷呆滞,缺少韵味,并难以与肢体动作对应起来。因此,本领域技术人员提供了基于大数据的数字孪生三维人物动作自动生成方法,以解决上述背景技术中提出的问题。


技术实现思路

1、本发明的目的在于提供基于大数据的数字孪生三维人物动作自动生成方法,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、基于大数据的数字孪生三维人物动作自动生成方法,包括以下步骤:

4、s1、获取真实人物视频:从数据库中选择想要生产三维动作的真实人物动作视频;

5、s2、三维骨骼关键点提取:对视频进行畸变处理,采用关键点算法获取视频中的三维骨骼关键点的时序坐标序列信息;

6、s3、面部表情关键点提取:对真实人物动作视频中的人物面部进行处理,获取面部二维关键点的时序坐标序列信息;

7、s4、三维人物动作生成:将面部二维关键点的时序坐标序列和三维骨骼关键点的时序坐标序列输入预先构建的三维虚拟形象模型,自动生成与真实人物动作对应的三维人物动作;通过数字孪生的原理,创作出仿真动作。

8、作为本发明再进一步的方案:所述s1中的数据库包括各个领域的真实人物以及人物动作视频,所述数据库定时选择并添加互联网中的人物动作视频,用于数据库的更新;所述s1中的真实人物动作视频包括同一个人物的同一个时间点的同一个部位的不同角度的拍摄视频。

9、作为本发明再进一步的方案:所述s2中的关键点算法为3d人体骨骼关键点检测算法。

10、作为本发明再进一步的方案:所述s2中的三维骨骼关键点为三维骨骼模型中的关键部位;所述时序坐标序列信息为关键点在三维骨骼坐标中的坐标信息。

11、作为本发明再进一步的方案:所述关键部位为旋转关节,所述旋转关节包括头部与胸部之间的旋转关节、左大臂与左小臂之间的旋转关节、左小臂与左手之间的旋转关节、右大臂与右小臂之间的旋转关节、右小臂与右手之间的旋转关节、左大腿与左小腿之间的旋转关节、左小腿与左脚之间的旋转关节、右大腿与右小腿之间的旋转关节、右小腿与右脚之间的旋转关节。

12、作为本发明再进一步的方案:所述三维骨骼坐标采用人体直立、双臂自然下垂的标准姿态的坐标系统,其具体为:人体正面朝向记为z轴正方向,人体的左边记为x轴正方向,垂直向上记为y轴正方向;定义人体腰部为基坐标系,原点坐标为(0,0,0)。

13、作为本发明再进一步的方案:所述s3中的人物面部处理的具体方式为:提取真实人物视频中人物每一个动作对应的一个正面的面部图像,将正面的面部定义为二维坐标系,将鼻部记为坐标原点,将鼻部的左边记为x轴正方向,鼻部的上边记为y轴正方向,提取面部重要部位在人物每一个动作时对应的坐标,所有重要部位的所有坐标点构成面部二维关键点的时序坐标序列信息。

14、作为本发明再进一步的方案:所述重要部位包括面部器官与面部肌肉;所述面部器官包括耳、鼻、嘴和眼睛,所述面部肌肉包括下颌肌、颈阔肌、唇降肌、提唇肌、咬肌、鼻翼扩张肌、鼻背肌、眼轮匝肌、额肌、颊肌、口轮匝肌、颧下肌、颧上肌、鼻中隔提肌、颞肌和皱眉肌。

15、作为本发明再进一步的方案:所述面部器官的二维关键点包括耳部的外侧边缘中心位置处、鼻部的中心位置处、上唇的中心位置处、下唇的中心位置处和眼球的中心位置处;所述面部肌肉的二维关键点包括下颌肌的中心位置处、颈阔肌的中心位置处、唇降肌的中心位置处、提唇肌的中心位置处、咬肌的中心位置处、鼻翼扩张肌的中心位置处、鼻背肌的中心位置处、眼轮匝肌的中心位置处、额肌的中心位置处、颊肌的中心位置处、口轮匝肌的中心位置处、颧下肌的中心位置处、颧上肌的中心位置处、鼻中隔提肌的中心位置处、颞肌的中心位置处和皱眉肌的中心位置处。

16、与现有技术相比,本发明的有益效果是:

17、本发明通过数据库可以储存各个领域的真实人物以及人物动作视频,数据库连接互联网,还可以在互联网中选择和添加新的人物动作视频,保证了数据库的定时更新,方便了动画人物建模或游戏人物建模或其它领域建模所需的动作选择;三维骨骼关键点提取可以获取每一个真实人物动作的三维骨骼关键点的时序坐标序列信息,并通过与三维虚拟形象模型,自动生成与真实人物动作对应的三维人物动作,通过数字孪生的原理,创作出仿真动作;面部表情关键点提取方法可以获取每一个动作对应的面部二维关键点的时序坐标序列信息,从而实现了每一个动作对应一种表情,使得动画人物建模或游戏人物建模或其它领域建模创造出的人物形象更加拟人化,趋向于真实人物,避免了创造出来的人物形象虽然动作没有什么缺点,但表情木讷呆滞而让人难以接受。



技术特征:

1.基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述s1中的数据库包括各个领域的真实人物以及人物动作视频,所述数据库定时选择并添加互联网中的人物动作视频,用于数据库的更新;所述s1中的真实人物动作视频包括同一个人物的同一个时间点的同一个部位的不同角度的拍摄视频。

3.根据权利要求1所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述s2中的关键点算法为3d人体骨骼关键点检测算法。

4.根据权利要求1所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述s2中的三维骨骼关键点为三维骨骼模型中的关键部位;所述时序坐标序列信息为关键点在三维骨骼坐标中的坐标信息。

5.根据权利要求4所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述关键部位为旋转关节,所述旋转关节包括头部与胸部之间的旋转关节、左大臂与左小臂之间的旋转关节、左小臂与左手之间的旋转关节、右大臂与右小臂之间的旋转关节、右小臂与右手之间的旋转关节、左大腿与左小腿之间的旋转关节、左小腿与左脚之间的旋转关节、右大腿与右小腿之间的旋转关节、右小腿与右脚之间的旋转关节。

6.根据权利要求5所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述三维骨骼坐标采用人体直立、双臂自然下垂的标准姿态的坐标系统,其具体为:人体正面朝向记为z轴正方向,人体的左边记为x轴正方向,垂直向上记为y轴正方向;定义人体腰部为基坐标系,原点坐标为(0,0,0)。

7.根据权利要求1所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述s3中的人物面部处理的具体方式为:提取真实人物视频中人物每一个动作对应的一个正面的面部图像,将正面的面部定义为二维坐标系,将鼻部记为坐标原点,将鼻部的左边记为x轴正方向,鼻部的上边记为y轴正方向,提取面部重要部位在人物每一个动作时对应的坐标,所有重要部位的所有坐标点构成面部二维关键点的时序坐标序列信息。

8.根据权利要求7所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述重要部位包括面部器官与面部肌肉;所述面部器官包括耳、鼻、嘴和眼睛,所述面部肌肉包括下颌肌、颈阔肌、唇降肌、提唇肌、咬肌、鼻翼扩张肌、鼻背肌、眼轮匝肌、额肌、颊肌、口轮匝肌、颧下肌、颧上肌、鼻中隔提肌、颞肌和皱眉肌。

9.根据权利要求8所述的基于大数据的数字孪生三维人物动作自动生成方法,其特征在于,所述面部器官的二维关键点包括耳部的外侧边缘中心位置处、鼻部的中心位置处、上唇的中心位置处、下唇的中心位置处和眼球的中心位置处;所述面部肌肉的二维关键点包括下颌肌的中心位置处、颈阔肌的中心位置处、唇降肌的中心位置处、提唇肌的中心位置处、咬肌的中心位置处、鼻翼扩张肌的中心位置处、鼻背肌的中心位置处、眼轮匝肌的中心位置处、额肌的中心位置处、颊肌的中心位置处、口轮匝肌的中心位置处、颧下肌的中心位置处、颧上肌的中心位置处、鼻中隔提肌的中心位置处、颞肌的中心位置处和皱眉肌的中心位置处。


技术总结
本发明涉及三维动作自动生成技术领域,公开了基于大数据的数字孪生三维人物动作自动生成方法,S1、获取真实人物视频:从数据库中选择想要生产三维动作的真实人物动作视频;S2、三维骨骼关键点提取;S3、面部表情关键点提取;S4、三维人物动作生成;本发明通过数据库可以储存各个领域的真实人物以及人物动作视频;三维骨骼关键点提取可以获取每一个真实人物动作的三维骨骼关键点的时序坐标序列信息,并通过与三维虚拟形象模型,自动生成与真实人物动作对应的三维人物动作;面部表情关键点提取方法可以实现了每一个动作对应一种表情,使得动画人物建模或游戏人物建模或其它领域建模创造出的人物形象更加拟人化,趋向于真实人物。

技术研发人员:尤海宁,赵丽,刘灏
受保护的技术使用者:南京师范大学
技术研发日:
技术公布日:2024/1/14
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1