一种基于3D手部姿态估计方法的实验AR模拟系统与流程

文档序号:37235015发布日期:2024-03-06 16:54阅读:来源:国知局

技术特征:

1.一种基于3d手部姿态估计方法的实验ar模拟系统,其特征在于包括:

2.根据权利要求1所述的实验ar模拟系统,其特征在于,所述3d手部姿态估计模块还包括:基于获得双手的手部关键点的2.5d数据使用oneeuro滤波算法对其进行滤波处理,消除数据序列之间的高频抖动;oneeuro滤波的参数动态调整包括以下步骤:

3.根据权利要求1所述的实验ar模拟系统,其特征在于,所述双手的手部关键点为手掌的关节点位构成的42个关键点,所述42个关键点的数据包括两种数据,一种以手腕关键点为原点的世界坐标,世界坐标表示手部各个关键点相对于手腕的相对位置,其中z轴位置可以看作是相对于手腕的相对深度;另一种则包含了关键点在屏幕上x轴与y轴两个方向偏移量的相对坐标,相对坐标可以用来表示人手相对于屏幕的2d位移。

4.根据权利要求1所述的实验ar模拟系统,其特征在于,所述计算出当前帧手部关键点的深度值,包括以下步骤:

5.根据权利要求1所述的实验ar模拟系统,其特征在于,所述手势识别模块将计算完深度之后的完整3d关键点数据以一个三维的形式可视化;包括以下步骤:

6.根据权利要求5所述的实验ar模拟系统,其特征在于,所述手势识别模块为由四层线性层组成的深度学习神经网络,基于手部3d关键点数据,提取关键点坐标为输入,每只手共用21个3d关键点,将关键点展平为63个元素,随后输入线性网络最后回归得到3个元素,经过softmax函数处理获得三种手势的概率;

7.根据权利要求1所述的实验ar模拟系统,其特征在于,所述物品抓取与使用模块包括:

8.根据权利要求7所述的实验ar模拟系统,其特征在于,所述使用模块能:

9.根据权利要求1所述的实验ar模拟系统,其特征在于,所述实验评估模块,能根据真实的电学物理实验过程评分标准为参考,对虚拟仿真实验的各个过程进行分数设置,系统能记录用户的实验过程,在实验结束之后按百分制显示过程得分;实验结果评估:在虚拟实验中用户根据各类指示器的数值进行计算,在实验结束时将计算结果输入系统,系统会对比用户的计算结果,并按百分制进行打分。


技术总结
本发明提供了一种基于3D手部姿态估计方法的实验AR模拟系统,用户可以通过手机相机观察虚拟实验器材和环境,并在实时画面中通过手部与出现的虚拟实验器材进行操作,如拖拽元件、连接电路等。本系统使用Unity引擎结合ArCore构建AR环境,基于Mediapipe的手部姿态估计模型通过手机的相机图像实时获取使用者的手部关键点,并通过深度计算和滤波算法对数据进行处理,使得用户的手部动作能够准确地在虚拟实验环境中模拟,使用者可在不依赖特殊硬件的条件下,用手抓取或操控AR环境下的虚拟实验器材,实现裸手的自然交互,如动态调节电阻、改变电源电压等,能让学生体验到实验中的各种真实操作,此外,系统还可以对学生的实验过程与结果进行评估。

技术研发人员:杨志军,朱文奇
受保护的技术使用者:杨志军
技术研发日:
技术公布日:2024/3/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1