一种基于3D手部姿态估计方法的实验AR模拟系统与流程

本发明涉及ar技术中通过手部识别技术与虚拟物品进行交互的，主要应用于裸手状态下进行虚拟实验的模拟操作，具体为一种基于3d手部姿态估计方法的实验ar模拟系统。

背景技术：

1、随着近年的社会发展，越来越多的学科开始线上化，而其中实验类的课程是发展难点。在课后环境中，学生往往不具备开展实验课的客观条件，如中学物理电学实验需要准备各类型的实验器材，会产生额外费用，增加学生家庭负担。因此基于xr技术的虚拟实验模拟开始进入教学领域，而在这其中vr与mr具有极佳的效果，但是其成本较高不利于推广，因此使用低成本的ar技术进行实验模拟便成为了一种可行度较高的方案。

2、首先ar技术现在最普遍的载体为手机。目前通过ar技术结合学科实验的教学方法主要有两种，一是通过手机扫描二维码或者特定图案出现一段相关实验的演示，其本质为播放动画，并不具备交互性，对教学效果的提升有限。二是通过手机屏幕上点击或者拖动来操控的ar应用，其虽具备一定的交互性，但仍未突破传统交互手段的限制，学生难以实际用手全方位的体验实验中的具体操作。因此，研究能够根据用户手部动作进行操作的中学物理电学实验ar模拟系统，对促进实验类课程发展具有现实意义。

3、目前的虚拟实验通常需要特殊的穿戴设备或手柄等硬件来实现。主要原因是传统的虚拟实验通常需要高精度的追踪和传感技术来准确模拟实验过程中的手部动作或触摸操作。这些硬件设备通常具有复杂的结构和高度专门化的设计，因此造成了较高的成本，还需要穿戴或使用特殊设备来进行虚拟操作。另外，这些硬件设备还需要维护和管理，涉及到设备的安装、校准、充电、维修等等，给使用者带来了额外的工作和费用。

4、另一方面，在软件和算法方面，虚拟实验需要实时地对手部动作进行跟踪和解析，复杂的运动算法和模型处理过程需要较高的计算资源和复杂的编程实现。这导致虚拟实验的软件程序算法相对复杂，无法在一般的手机上运行。

5、总的来说，虚拟实验所需的特殊硬件设备、维护成本、复杂的软件算法等因素，使得现阶段的虚拟实验系统成本较高，难以实现在智能上运行，限制了学生在进行虚拟实验中学习的模式发展。

技术实现思路

1、为解决上述现有技术存在的不足和缺陷，发明人经过研发设计，现提供了一种能够直接在智能手机上运行的实验ar模拟系统，使用户能在没有真实实验器材，在不依赖特殊硬件的情况下，实现了用户与系统中实验器材的裸手交互，可以给用户更加贴近真实实验的体验。为中学物理电学实验的虚拟化提供一种新的解决方案，显著降低实验教学的门槛。

2、具体的，本发明是这样实现的：一种基于3d手部姿态估计的中学物理电学实验ar模拟系统，其分为六个模块，包括：ar模块、3d手部姿态估计模块、手势识别模块、虚拟实验器材模块、物品抓取与使用模块、实验评估模块组成。

3、所述的ar模块，用于依靠相机的实时画面在现实环境中构建ar实验环境，由若干子模块组成，具体包括：

4、手机相机部分：此部分的作用在于通过手机的相机获取现实场景的图像信息，并将图像作为基础数据输入给后续的多个模块。

5、arcore部分：用于搭建增强现实应用程序的软件平台；arcore可以定位特定的现实环境中的图案，此外使用手机的传感器和相机，arcore可以准确感知手机的位置和姿态，并改变显示的虚拟物体的位置和姿态。

6、ar场景部分：用于构建虚拟的实验场景，是虚拟实验器材的一个载体，其具体表现为一个试验台的模型，可以在其上放置虚拟实验器材，其由所述的arcore依靠现实环境中的特定图案定位并生成。

7、所述的3d手部姿态估计模块，用于捕捉用户的手部3d关键点数据，由三部分组成，具体包括：

8、手部姿态估计部分：以所述ar模块的相机实时图像为输入数据，使用mediapipe下的手部姿态估计模型实时的识别相机图像中人的手部关键点，并返回双手的共计42个关键点的2.5d数据，关键点数据包括两种，第一种是以手腕关键点为原点的世界坐标，第二种是包含了关键点在屏幕上x轴与y轴两个方向偏移量的相对坐标。

9、滤波部分：和所述手部姿态估计部分连接，使用oneeuro滤波算法对获取到的手部关键点数据进行滤波处理，消除数据序列之间的高频抖动。

10、oneeuro滤波算法公式为：

11、

12、

13、其中，xi为时间ti处采集的信号，此处为3d关键点坐标，而为滤波后的值，α为自适应平滑因子。

14、深度计算部分：和所述滤波部分连接，将获取到的滤波后的数据作为输入；包括以下步骤：

15、步骤1：以获取到的第一帧人手关键点数据为基准进行计算，按照手掌关节的连接顺序，依次计算每个手部关节之间的关键点距离，将结果相加，计算结果视为手部关键点之间的总长度，并将计算结果作为基准长度。

16、步骤2：依靠权利2所述的arcore部分返回相机与定位图案之间的距离。

17、步骤3：后续帧获取到的手部关键点数据按照步骤1进行相同处理，并计算手部关键点的基准长度与当前帧手部关键点长度的大小比例。当前帧的比例计算公式为：示手部关键点的基准长度，li表示当前帧数的手部关键点长度。随后根据比例计算深度，深度计算公式为：di＝d·pi(1+zi·s)，其中d为手机相机到定位图案之间第一帧的深度距离，zi表示当前帧手部关键点在z轴上的位置，s是一个自行设定的缩放系数。

18、手部可视化部分：用于将所述深度计算部分计算完深度之后的完整3d关键点数据以一个三维的形式可视化。具体形式表现为一个由点和线组成的3d手部模型，辅助用户进行操控。

19、所述的手势识别模块，用于依靠3d手部姿态估计模块中获取到的手部关键点进行手势识别，可将用户的手部动作识别出三种类型，分别为抓握、松手、其他手势。本模块是由四层线性层组成的深度学习神经网络，由权利要求3所述的滤波部分处理完毕的关键点坐标作为输入，每只手共用21个3d关键点，将关键点展平为63个元素，随后输入线性网络最后回归得到3个元素，经过softmax函数处理即可获得三种手势的概率。

20、softmax函数公式为：

21、所述的虚拟实验器材模块，是可以与用户进行交互，并用于进行电学实验的各类虚拟实验器材，具体包括：

22、导线：控制所述虚拟实验器材之间的连接，形成虚拟的电流通路。

23、电池组：是虚拟电路的核心，当电池组通过导线与其他实验器材连接时，则判定系统通电。

24、电阻：电阻分为两种，定值电阻与滑动电阻。用于接入虚拟电路模拟电阻。

25、指示器：是一系列会对当前虚拟电路中电流以及电压变化做出反应的虚拟实验器材，如电压表、电流表、小灯泡等。

26、开关：用于关闭和开启整个虚拟电路。

27、所述的物品抓取与使用模块，用于与所述虚拟实验器材模块中的虚拟实验器材进行交互，分为以下部分：

28、抓取部分：和所述ar模块、3d手部姿态估计模块、手势识别模块连接；包括以下步骤：

29、步骤1：使用所述3d手部姿态估计模块获取的人手关键点3d坐标，使用小拇指根关键点、食指根关键点、手腕关键点进行法向量计算确定手掌的朝向，法向量计算公式为：n＝e1×e2＝(v1-v2)×(v1-v3)。随后取三点的重心作为掌心关键点，重心计算公式为：

30、步骤2：使用所述手势识别模块对用户手部动作的识别，获取当前用户的手部动作类型，如果为抓握，则在掌心关键点向手掌法向量方向发射一条射线，如果在10cm的范围内，射线检测到所述ar模块的虚拟实验器材存在，则判定为此实验器材被用户抓握。

31、步骤3：根据步骤2所述，当实验器材被用户抓握时，实验器材的位置被实时调整为人手的掌心位置，实验物品根据射线打到位置的法向量，调整自身朝向。

32、步骤4：使用所述手势识别模块对用户手部动作的识别，如果为松手动作则结束抓握状态将虚拟实验器材放下。

33、使用模块：由所述ar模块中的ar场景当作虚拟实验器材的载体。不同的实验器材具有不一样的功能。在电路为可用状态后，如果抓握时射线打到的是虚拟实验器材上特殊功能的按钮，则抓握触发的事件由抓握物品改变为器材使用，比如滑动电阻的金属划片随着用户手部的移动也会左右移动，进而改变电阻。

34、所述的实验评估模块，用于对用户的虚拟实验过程与结果进行评估与打分，分为以下部分：

35、实验过程评估：根据真实的中学电学物理实验过程评分标准为参考，对虚拟仿真实验的各个过程进行分数设置，系统会记录用户的实验过程，在实验结束之后按百分制显示过程得分。

36、实验结果评估：现实中的电学物理实验需要学生对电阻、电流等数值进行计算。在虚拟实验中学生也需要根据各类指示器的数值进行计算，在实验结束时需要将计算结果输入系统，系统会对比用户的计算结果，并按百分制进行打分。

37、本发明的工作原理介绍：本发明通过结合ar技术、手部姿态估计、手势识别和虚拟实验器材模拟等多个模块，实现了基于3d手部姿态估计的中学物理电学实验ar模拟系统。通过手机相机和arcore构建虚拟实验环境，使用手部姿态估计模块捕捉用户手部动作并进行深度计算，建立虚拟3d手部模型，并能通过手势识别模块对手势进行分类，实现虚拟实验器材的抓取和使用，从而提供了一种高度交互性和沉浸感的虚拟实验体验。

38、本发明的有益技术效果：

39、(1)提供了一种便利易用的ar中学物理电学实验体验的交互方式：通过将虚拟实验器材与用户实时的手部模型控制相结合，在手机端的实时画面中构建ar实验环境，能够让学生身临其境地参与电学实验，使用户能在没有真实实验器材的情况下进行实验，显著降低实验教学的门槛，提供更加沉浸式的学习体验。

40、(2)提供便利的交互方式：通过使用手部姿态估计和手势识别模块，用户可以直接通过手部动作在虚拟实验环境中进行操作，在不依赖特殊硬件的情况下，实现了用户与系统中实验器材的裸手交互，可以给用户更加贴近真实实验的体验，提供了更加方便和迅速的交互方式。

41、(3)轻量化的实时手部姿态捕捉和深度计算：使用手部姿态估计模块捕捉用户手部的3d关键点数据，并通过滤波和深度计算技术对关键点数据进行处理，使得用户的手部动作能够准确、直观、实时地在虚拟实验环境中模拟，且算法的优化和轻量化，能使得这种实时模拟能够在移动智能设备上运行，且无需接触其他特殊设备辅助参与，也无需复杂和大量的运算量处理，显著降低学生进行虚拟实验学习的门槛。

42、(4)手部姿态捕捉精准度高：通过滤波算法对获取到的手部关键点数据进行滤波处理，消除数据序列之间的高频抖动，提高了关键点数据的平滑性和准确性，从而提高了手势识别和深度计算的精度。