支持多源异构动捕设备的虚拟人驱动方法与系统

文档序号:32395357发布日期:2022-11-30 10:06阅读:来源:国知局

技术特征:
1.一种支持多源异构动捕设备的虚拟人驱动方法,其特征在于,包括如下步骤:s1、关节映射建立待驱动虚拟数字人和基于动捕设备本身定义的骨架模型之间的关节映射表;s2、数据采集接口定义与实现定义标准的动捕设备的统一数据采集接口,并为每个动捕设备实现该接口;s3、原始数据采集基于定义的统一数据采集接口,从多个动捕设备中采集原始运动数据;s4、数据处理基于旋转角度和位移信息对采集到的原始运动数据进行统一处理,即得到全身姿态数据;s5、虚拟数字人运动驱动基于全身姿态数据对虚拟数字人进行运动驱动。2.根据权利要求1所述的一种支持多源异构动捕设备的虚拟人驱动方法,其特征在于,所述步骤s1的具体步骤为:s11、获取目标骨架和源骨架使用bvh文件定义虚拟数字人的估计模型,并解析获取骨骼之间的关节关系,形成目标骨架sk
tgt
;使用bvh文件定义每个动捕设备本身定义的骨架模型,并解析获取骨骼之间的关节关系,形成源骨架其中,上标i表示第i个动捕设备;s12、关节匹配匹配目标骨架sk
tgt
和源骨架之间的每一个相同关节;s13、关节对齐关节匹配后,以源骨架为参考,从源骨架的根关节开始迭代地修改目标骨架中各关节的关节角度,使目标骨架与源骨架姿态相同,记录此时目标骨架中的目标关节的旋转角度r
tgtinit
、目标骨架中的目标关节的世界坐标f
tgt
、对应源骨架中的源关节的世界坐标f
src
;s14、若源骨架的自由度中包含有位移信息,转到步骤s15,否则,根据步骤s13得到的结果形成第i个关节映射表;s15、计算目标骨架sk
tgt
与源骨架之间的腿长比,作为位移系数ratio
leg
,并与步骤s13得到的结果形成第i个关节映射表。3.根据权利要求2所述的一种支持多源异构动捕设备的虚拟人驱动方法,其特征在于,所述步骤s2的具体步骤为:s21、根据动捕设备的操作特性,抽象动捕设备的共性操作,形成包含“参数配置”、“设备打开”、“设备标定”、“数据获取”、“消息处理”和“设备关闭”操作的统一数据采集接口;s22、使用插件的方式,为每一个拟接入应用系统的动捕设备实现统一数据采集接口。4.根据权利要求3所述的一种支持多源异构动捕设备的虚拟人驱动方法,其特征在于,所述步骤s4的具体步骤为:
s41、根据各动捕设备采集到的原始运动数据,基于各动捕设备对应的关节映射表中对应关节之间的旋转角度变换关系,对源骨架中的每一个关节的原始运动数据进行空间变换,得到目标骨架中对应关节的旋转角度,其中,旋转角度变换关系包括目标骨架中的目标关节的旋转角度r
tgtinit
、目标骨架中的目标关节的世界坐标f
tgt
、对应源骨架中的源关节的世界坐标f
src
;s42、若各关节映射表中包含位移系数ratio
leg
,转到步骤s43,否则,转到步骤s44;s43、根据各关节映射表中的位移系数ratio
leg
,缩放源骨架的位移数据,得到目标骨架中对应关节的位移数据,并转到步骤s44;s44、融合所有动捕设备变换后的运动数据,得到包含多个部位运动信息的全身姿态数据。5.根据权利要求4所述的一种支持多源异构动捕设备的虚拟人驱动方法,其特征在于,所述步骤s41中得到的目标骨架中各关节的旋转角度的计算公式为:其中,表示f
src
的逆,表示f
tgt
的逆,r
src
表示动捕设备采集到的源关节的旋转角度;步骤s42中得到的目标骨架中各关节的位移数据的计算公式为:l
tgt
=l
src
*ratio
leg
其中,l
tgt
表示目标骨架中各关节的位移数据,l
src
表示动捕设备采集到的源关节的位移数据。6.一种支持多源异构动捕设备的虚拟人驱动系统,其特征在于,包括:关节映射模块:建立待驱动虚拟数字人和基于动捕设备本身定义的骨架模型之间的关节映射表;设备操作模块:定义标准的动捕设备的统一数据采集接口,并为每个动捕设备实现该接口;数据采集模块:基于定义的统一数据采集接口,从多个动捕设备中采集原始运动数据;数据后处理模块:基于旋转角度和位移信息对采集到的原始运动数据进行统一处理,即得到全身姿态数据;虚拟人驱动模块:基于全身姿态数据对虚拟数字人进行运动驱动。7.根据权利要求6所述的一种支持多源异构动捕设备的虚拟人驱动系统,其特征在于,所述关节映射模块包括:骨骼解析子模块:使用bvh文件定义虚拟数字人的估计模型,并解析获取骨骼之间的关节关系,形成目标骨架sk
tgt
;使用bvh文件定义每个动捕设备本身定义的骨架模型,并解析获取骨骼之间的关节关系,形成源骨架其中,上标i表示第i个动捕设备;关节匹配子模块:匹配目标骨架sk
tgt
和源骨架之间的每一个相同关节;关节对齐子模块:关节匹配后,以源骨架为参考,从源骨架的根关节开始迭代
地修改目标骨架中各关节的关节角度,使目标骨架与源骨架姿态相同,记录此时目标骨架中的目标关节的旋转角度r
tgtinit
、目标骨架中的目标关节的世界坐标f
tgt
、对应源骨架中的源关节的世界坐标f
src
;若源骨架的自由度中包含有位移信息,计算目标骨架sk
tgt
与源骨架之间的腿长比,作为位移系数ratio
leg
,并与上述得到的结果形成第i个关节映射表,否则,直接根据上述得到的结果形成第i个关节映射表。8.根据权利要求6所述的一种支持多源异构动捕设备的虚拟人驱动系统,其特征在于,所述设备操作模块包括:统一数据采集接口模块:根据动捕设备的操作特性,抽象动捕设备的共性操作,形成包含“参数配置”、“设备打开”、“设备标定”、“数据获取”、“消息处理”和“设备关闭”操作的统一数据采集接口;数据采集插件模块:使用插件的方式,为每一个拟接入应用系统的动捕设备实现统一数据采集接口。9.根据权利要求8所述的一种支持多源异构动捕设备的虚拟人驱动系统,其特征在于,所述数据后处理模块包括:坐标变换子模块:根据各动捕设备采集到的原始运动数据,基于各动捕设备对应的关节映射表中对应关节之间的旋转角度变换关系,对源骨架中的每一个关节的原始运动数据进行空间变换,得到目标骨架中对应关节的旋转角度,其中,旋转角度变换关系包括目标骨架中的目标关节的旋转角度r
tgtinit
、目标骨架中的目标关节的世界坐标f
tgt
、对应源骨架中的源关节的世界坐标f
src
;位移约束子模块:若节映射表中包含位移系数ratio
leg
,根据各关节映射表中的位移系数ratio
leg
,缩放源骨架的位移数据,得到目标骨架中对应关节的位移数据,否则,不计算位移数据;数据融合子模块:融合所有动捕设备变换后的运动数据,得到包含多个部位运动信息的全身姿态数据。10.根据权利要求9所述的一种支持多源异构动捕设备的虚拟人驱动系统,其特征在于,所述坐标变换子模块中得到的目标骨架中各关节的旋转角度的计算公式为:其中,表示f
src
的逆,表示f
tgt
的逆,r
src
表示动捕设备采集到的源关节的旋转角度;步骤位移约束子模块中得到的目标骨架中各关节的位移数据的计算公式为:l
tgt
=l
src
*ratio
leg
其中,l
tgt
表示目标骨架中各关节的位移数据,l
src
表示动捕设备采集到的源关节的位移数据。

技术总结
本发明公开了一种支持多源异构动捕设备的虚拟人驱动方法与系统,属于计算机应用领域,解决现有技术通常针对某型的动捕设备进行专用的数据采集与虚拟人驱动,不支持新增的动捕设备,尤其是具有不同拓扑结构的新设备,从而造成兼容性较低的问题。本发明建立待驱动虚拟数字人和基于动捕设备本身定义的骨架模型之间的关节映射表;定义标准的动捕设备的统一数据采集接口,并为每个动捕设备实现该接口;基于定义的统一数据采集接口,从多个动捕设备中采集原始运动数据;基于旋转角度和位移信息对采集到的原始运动数据进行统一处理,即得到全身姿态数据;基于全身姿态数据对虚拟数字人进行运动驱动。本发明用于虚拟人驱动。本发明用于虚拟人驱动。本发明用于虚拟人驱动。


技术研发人员:程铮 陈川 陈东义
受保护的技术使用者:电子科技大学
技术研发日:2022.08.30
技术公布日:2022/11/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1