1.一种基于3d手部姿态估计方法的实验ar模拟系统,其特征在于包括:
2.根据权利要求1所述的实验ar模拟系统,其特征在于,所述3d手部姿态估计模块还包括:基于获得双手的手部关键点的2.5d数据使用oneeuro滤波算法对其进行滤波处理,消除数据序列之间的高频抖动;oneeuro滤波的参数动态调整包括以下步骤:
3.根据权利要求1所述的实验ar模拟系统,其特征在于,所述双手的手部关键点为手掌的关节点位构成的42个关键点,所述42个关键点的数据包括两种数据,一种以手腕关键点为原点的世界坐标,世界坐标表示手部各个关键点相对于手腕的相对位置,其中z轴位置可以看作是相对于手腕的相对深度;另一种则包含了关键点在屏幕上x轴与y轴两个方向偏移量的相对坐标,相对坐标可以用来表示人手相对于屏幕的2d位移。
4.根据权利要求1所述的实验ar模拟系统,其特征在于,所述计算出当前帧手部关键点的深度值,包括以下步骤:
5.根据权利要求1所述的实验ar模拟系统,其特征在于,所述手势识别模块将计算完深度之后的完整3d关键点数据以一个三维的形式可视化;包括以下步骤:
6.根据权利要求5所述的实验ar模拟系统,其特征在于,所述手势识别模块为由四层线性层组成的深度学习神经网络,基于手部3d关键点数据,提取关键点坐标为输入,每只手共用21个3d关键点,将关键点展平为63个元素,随后输入线性网络最后回归得到3个元素,经过softmax函数处理获得三种手势的概率;
7.根据权利要求1所述的实验ar模拟系统,其特征在于,所述物品抓取与使用模块包括:
8.根据权利要求7所述的实验ar模拟系统,其特征在于,所述使用模块能:
9.根据权利要求1所述的实验ar模拟系统,其特征在于,所述实验评估模块,能根据真实的电学物理实验过程评分标准为参考,对虚拟仿真实验的各个过程进行分数设置,系统能记录用户的实验过程,在实验结束之后按百分制显示过程得分;实验结果评估:在虚拟实验中用户根据各类指示器的数值进行计算,在实验结束时将计算结果输入系统,系统会对比用户的计算结果,并按百分制进行打分。