一种用于化工教培的增强现实教学改进方法及系统与流程

本发明涉及化工教培，具体是指一种用于化工教培的增强现实教学改进方法及系统。

背景技术：

1、冷模实验是在没有化学反应的条件下研究装置的传递规律的化工实验，在冷模实验教培中常常涉及到高温、低温和其他潜在的危险条件，一般的冷模实验教学面对多种类型的实验时，需要耗费大量的材料和昂贵的设备，且实验过程复杂、操作灵活性差，学生需要多次重复才能熟练掌握实验技能、适应多种不同的实验环境；传统的冷模实验教学在使用实验设备时需要频繁地调整和精准地操作，操作不当时很容易发生意外事故，且在不熟悉实验反应机理时接触危险物质存在极大的安全风险问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种用于化工教培的增强现实教学改进方法及系统，针对一般的冷模实验教学面对多种类型的实验时，需要耗费大量的材料和昂贵的设备，且实验过程复杂、操作灵活性差，学生需要多次重复才能熟练掌握实验技能、适应多种不同的实验环境的问题，本方案使用增强现实跟踪注册技术匹配三维虚拟模型和实际场景，使用fast边缘检测算法和brief算法进行实际场景图像特征点的提取和描述，采用epnp算法解算相机位姿，有效提高了实际场景和虚拟场景匹配的准确性，增强了各种冷模实验需求的适应度，实现了对实际场景的精准感知；针对传统的冷模实验教学在使用实验设备时需要频繁地调整和精准地操作，操作不当时很容易发生意外事故，且在不熟悉实验反应机理时接触危险物质存在极大的安全风险问题，本方案构建lstm模型提取手势图像的时空特征，实现了冷模实验操作的实时反馈和互动，结合openpose算法构建手势识别网络准确捕捉学生手势，实现对实验设备的实时操作控制，降低了冷模实验潜在的安全风险，减少了实验室建设和维护的成本。

2、本发明采用的技术方案如下：本发明提供的一种用于化工教培的增强现实教学改进方法，该方法包括以下步骤：

3、步骤s1：实验设计，创建冷模实验的三维虚拟模型，包括实验场景、实验设备、实验材料，获得三维虚拟模型图像，设计冷模实验程序，包括冷模实验流程、设备操作方法和反应机理程序；

4、步骤s2：跟踪注册，通过相机和传感器获得实际场景的实时数据，包括用户的位置、头部角度、运动情况，按照用户的视场将三维虚拟模型和实际场景匹配；

5、步骤s3：手势检测，构建lstm模型提取手势图像的空间特征，建立手势识别网络提取手势图像的特征并识别手势；

6、步骤s4：交互设计，创建冷模实验环境，定义用户与冷模实验环境的互动场景，根据冷模实验互动场景需求设计与手势相关的交互动作，确定手势的含义和相应的操作，评估用户的实验行为并提供个性化的指导。

7、进一步地，在步骤s2中，所述跟踪注册，具体包括以下步骤：

8、步骤s21：图像获取，使用相机拍摄实际场景不同视角下的图像，获得实际场景图像，读取三维虚拟模型图像，实际场景图像和三维虚拟模型图像组成实验图像；

9、步骤s22：特征提取，使用fast边缘检测算法检测实验图像中的角点作为特征点，步骤如下：

10、步骤s221：选择中心像素点，在每张实验图像中选取一个灰度值较大的像素点作为中心像素点；

11、步骤s222：构建圆周，在中心像素点圆周上选择均匀分布的16个像素点，所用公式如下：

12、；

13、式中，和表示中心像素点的横、纵坐标，和表示圆周上第个像素点的横、纵坐标，表示圆周的半径；

14、步骤s223：阈值判断，设定灰度阈值判断中心像素点与周围像素点之间的灰度差异，如果有连续12个像素点的灰度值与中心像素点的灰度值差值超过灰度阈值，则中心像素点为特征点，所用公式如下：

15、；

16、式中，表示像素点的灰度值，表示中心像素点的灰度值，为灰度阈值；

17、步骤s224：非极大值抑制，对检测到的特征点进行非极大值抑制，消除冗余特征点，保留灰度值最大的特征点；

18、步骤s23：特征描述，对特征点使用brief算法生成特征点描述符，步骤如下：

19、步骤s231：选取测试点对，在特征点周围随机选择一个测试点，特征点和测试点构成一组测试点对，选择多组测试点对用于生成特征点描述符；

20、步骤s232：计算像素差异，计算每组测试点对的像素差异，所用公式如下：

21、；

22、式中，表示像素差异，为特征点，为测试点；

23、步骤s233：生成描述符，将特征点的所有测试点对生成的二进制位串联在一起，生成特征点描述符，所用公式如下：

24、<mi>d=[</mi><msub><mi>d</mi><mn>1</mn></msub><mi>,</mi><msub><mi>d</mi><mn>2</mn></msub><mi>,…,</mi><msub><mi>d</mi><mi>n</mi></msub><mi>]</mi>；

25、式中，为特征点描述符；

26、步骤s24：特征匹配，定义实际场景图像中的特征点为2d特征点，三维虚拟模型图像中的特征点为3d特征点，计算2d特征点描述符与3d特征点描述符的汉明距离，设定汉明距离阈值，将小于汉明距离阈值的2d特征点和3d特征点定义为2d-3d特征点对，所用公式如下：

27、；

28、式中，表示汉明距离，表示实际场景图像中的特征点描述符，表示三维虚拟模型图像中的特征点描述符，表示计算描述符中值为1的位数，表示汉明距离阈值；

29、步骤s25：相机位姿解算，根据特征匹配的结果使用epnp算法解算相机的位姿，步骤如下：

30、步骤s251：选择匹配特征点对，选择一组2d-3d特征点对；

31、步骤s252：定义相机内参矩阵，所用公式如下：

32、；

33、式中，表示相机内参矩阵，和分别表示实验图像水平和垂直方向上的焦距，和表示实验图像光学中心的横、纵坐标；

34、步骤s253：归一化坐标，根据相机内参矩阵将2d-3d特征点对的坐标转换为相机坐标系下的归一化坐标，所用公式如下：

35、；

36、；

37、式中，和分别表示3d特征点和2d特征点的初始坐标，和分别表示3d特征点和2d特征点的在相机坐标系下的坐标，表示相机内参矩阵的逆矩阵，表示3d特征点的三维坐标，表示2d特征点的二维坐标；

38、步骤s254：建立线性方程组，构建相机信息矩阵和相机变换矩阵并建立线性方程组，相机信息矩阵包含相机的参数和特征点的信息，相机变换矩阵包含相机旋转矩阵和相机平移向量，所用公式如下：

39、；

40、；

41、；

42、式中，表示相机信息矩阵，表示相机变换矩阵，和分别表示第对匹配的3d特征点和2d特征点的坐标，表示相机的旋转向量，表示相机在x轴、y轴、z轴方向上的平移向量；

43、步骤s255：奇异值分解，分解相机信息矩阵，计算相机变换矩阵，所用公式如下：

44、；

45、；

46、式中，是包含奇异向量的正交矩阵，是包含奇异值的对角矩阵，是相机旋转矩阵，是相机平移向量；

47、步骤s256：反归一化，将相机旋转矩阵和相机平移向量反归一化，得到相机位姿，所用公式如下：

48、；

49、式中，表示相机的旋转向量，表示相机在x轴、y轴、z轴方向上的平移向量；

50、步骤s26：虚实融合，将三维虚拟模型与实际场景进行匹配，根据实时的相机位姿调整三维虚拟模型的位置和方向，确保三维虚拟模型与实际场景一致。

51、进一步地，在步骤s3中，所述手势识别，具体包括以下步骤：

52、步骤s31：数据采集，收集egogesture手势图像数据库作为数据集；

53、步骤s32：数据预处理，对数据集进行预处理，包括去噪、裁剪、归一化，随机选取70%手势图像作为训练集，30%手势图像作为测试集；

54、步骤s33：时空特征提取，构建lstm模型提取手势图像的时空特征，lstm模型由输入门、遗忘门、记忆细胞、输出门构成，步骤如下：

55、步骤s331：输入门，所用公式如下：

56、；

57、式中，是输入门，是激活函数，是当前时刻的输入，是上一时刻的隐藏状态，是输入门的权重，是上一时刻隐藏状态到输入门的权重，是输入门的偏置；

58、步骤s332：遗忘门，所用公式如下：

59、；

60、式中，是遗忘门，是激活函数，是当前时刻的输入，是上一时刻的隐藏状态，是遗忘门的权重，是上一时刻隐藏状态到遗忘门的权重，是遗忘门的偏置；

61、步骤s333：输出门，所用公式如下：

62、；

63、式中，是输出门，是激活函数，是当前时刻的输入，是上一时刻的隐藏状态，是输出门的权重，是上一时刻隐藏状态到输出门的权重，是输出门的偏置；

64、步骤s334：细胞更新，所用公式如下：

65、；

66、式中，是记忆细胞的状态，是激活函数，表示逐元素相乘，是记忆细胞的权重，是上一时刻隐藏状态到记忆细胞的权重，是记忆细胞的偏置；

67、步骤s335：隐藏状态，所用公式如下：

68、；

69、式中，表示隐藏状态；

70、步骤s34：手势识别，使用openpose算法构建手势识别网络进行手势识别，手势识别网络由vgg-19模型、pcm模型、pafs模型构成，步骤如下：

71、步骤s341：检测手势关键点，构建vgg-19模型提取手势特征，vgg-19模型由输入层、卷积层、全连接层组成，输入层输入手势图像，卷积层提取手势特征，全连接层输出手势特征向量，所用公式如下：

72、；

73、式中，表示输入的手势图像，分别表示第一次卷积操作的权重矩阵和偏置，分别表示第二次卷积操作的权重矩阵和偏置，分别表示第三次卷积操作的权重矩阵和偏置，是非线性激活函数；

74、步骤s342：生成手势热图，构建pcm模型生成手势热图，每个热图对应一个关键点，关键点包括手指关节和手腕，热图的值表示对应关键点的置信度，所用公式如下：

75、；

76、式中，表示在阶段中的损失，表示关键点总数，表示损失权重，表示第个关键点在像素处的置信度，表示第个关键点的实际值在像素处的置信度；

77、步骤s343：生成手势结构图，构建pafs模型生成向量表示两个关键点之间的连接信息，包括手指之间的连接关系和手指到手腕的连接关系，重建手势的整体结构，所用公式如下：

78、；

79、式中，表示在阶段中的损失，表示向量总数，表示损失权重，表示第个预测值，表示第个实际值；

80、步骤s344：模型评估，使用测试集评估手势识别网络的整体误差，所用公式如下：

81、；

82、式中，表示手势识别网络的整体误差。

83、本发明提供的一种用于化工教培的增强现实教学改进系统，包括实验设计模块、跟踪注册模块、手势检测模块和交互设计模块；

84、所述实验设计模块创建冷模实验的三维虚拟模型，包括实验场景、实验设备、实验材料，设计冷模实验程序，包括冷模实验流程、设备操作方法和反应机理程序，将三维虚拟模型发送至跟踪注册模块和交互设计模块，将冷模实验程序发送至交互设计模块；

85、所述跟踪注册模块接收来自实验设计模块的三维虚拟模型，通过相机和传感器获得实际场景的实时数据，包括用户的位置、头部角度、运动情况，按照用户的视场将三维虚拟模型和实际场景匹配得到匹配结果，将匹配结果发送至手势检测模块和交互设计模块；

86、所述手势检测模块接收来自跟踪注册模块的匹配结果，构建lstm模型提取手势图像的空间特征，建立手势识别网络提取手势图像的特征并识别手势，将手势识别网络发送至交互设计模块；

87、所述交互设计模块接收来自实验设计模块的三维虚拟模型和冷模实验程序、来自跟踪注册模块的匹配结果和来自手势检测模块的手势识别网络，创建冷模实验环境，定义用户与冷模实验环境的互动场景，根据冷模实验互动场景需求设计与手势相关的交互动作，确定手势的含义和相应的操作，评估用户的实验行为并提供个性化的指导。

88、采用上述方案本发明取得的有益效果如下：

89、（1）针对一般的冷模实验教学面对多种类型的实验时，需要耗费大量的材料和昂贵的设备，且实验过程复杂、操作灵活性差，学生需要多次重复才能熟练掌握实验技能、适应多种不同的实验环境的问题，本方案使用增强现实跟踪注册技术匹配三维虚拟模型和实际场景，使用fast边缘检测算法和brief算法进行实际场景图像特征点的提取和描述，采用epnp算法解算相机位姿，有效提高了实际场景和虚拟场景匹配的准确性，增强了各种冷模实验需求的适应度，实现了对实际场景的精准感知。

90、（2）针对传统的冷模实验教学在使用实验设备时需要频繁地调整和精准地操作，操作不当时很容易发生意外事故，且在不熟悉实验反应机理时接触危险物质存在极大的安全风险问题，本方案通过lstm模型提取手势图像的时空特征，实现了冷模实验操作的实时反馈和互动，结合openpose算法构建手势识别网络准确捕捉学生手势，实现对实验设备的实时操作控制，降低了冷模实验潜在的安全风险，减少了实验室建设和维护的成本。