一种面向人本制造的人机安全交互个性化虚拟培训方法

本发明涉及车间培训的数字化，智能化，特别是指一种面向人本制造的人机安全交互个性化虚拟培训方法。

背景技术：

1、本发明的应用场景是车间新员工培训或者是机械类学生的实习培训场景。传统的培训方式存在一些问题，例如在培训人员现场操作设备进行演示时，员工只能通过观看来学习设备的操作，存在安全隐患和浪费生产资料等问题。此外，每个人的基础知识、学习能力和操作习惯差异较大，统一的培训计划和难易程度可能导致培训效果不佳。

2、随着智能制造的发展，出现了全新的人机交互场景，人与机器的关系也进化到了“融合”的新阶段。传统培训作为人机融合的重要手段存在诸多限制。

技术实现思路

1、针对上述背景技术中存在的不足，本发明提出了一种面向人本制造的人机安全交互个性化虚拟培训方法，解决了现有工业培训当中存在安全隐患，未考虑不同人的个性化特点的技术问题。

2、本发明的技术方案如下：一种面向人本制造的人机安全交互个性化虚拟培训方法，具体步骤如下：

3、s1、构建虚拟培训系统的培训环境；

4、s2、生成个性化的虚拟安全培训计划；

5、s3、记录受训人员的培训数据，并根据困难进行求助；

6、s4、对受训人员进行评分，并根据评分生成复训计划。

7、进一步地，步骤s1具体为：

8、s1.1、根据训练场景构建三维模型，存入模型库中。并通过多模型匹配方法，将三维模型和动画与现实训练场景进行匹配。

9、首先在unity3d和3dmax三维建模软件建立训练设备的三维模型，例如机械手臂，夹具，物料，传送带，加工工位和仓库等一系列三维模型。然后建立训练设备机械手臂的运动和加工动画，传送带运送物料的动画。为了指导学员进行操作，需制作指示器模型，例如箭头等。为了避免学员在现实中会出现违规操作，需建立安全提示的动画和模型。这些模型和动画存放到模型库中，用于在培训方案生成过程中的模型匹配和培训过程中的动画调用。

10、s1.2、构建数据库，首先记录学员的身份信息，包括学员的名字，身高，性别，专业等，用于在个性化培训计划生成时分类。然后记录相关数据，主要包括设备数据和培训过程数据，设备数据包括设备型号、功能、性能、不安全操作等，以便于能够根据不同的设备场景制定不同的计划；培训过程数据包括培训时间，培训次数，求助专家次数；培训结果数据包括培训成绩。以上数据组成数据库用于对学员进行训练评估。

11、s1.3、构建语音库，语音库存放语音指令和语音指示。在hololens2的“train yourvoice for speech recognition”(训练语音识别)选项中进行语音识别训练，并把训练好的语音导入到语音库。培训人员可使用语音指令对系统进行操作，同时在培训时系统可以用语音指示对培训人员的操作进行引导。

12、s1.4、构建培训模板库，培训模板库中储存了培训方案和复训方案模板。在本地mysql数据库中创建一个专门存放虚拟培训方案的库，并给它一个清晰的名称。可以给予相关的关键词和描述，以便于搜索和识别。例如，可以命名为“人机安全交互个性化虚拟培训方案”。根据需要，可以将方案按照不同的标准进行分类和组织，以方便浏览和检索。例如，可以按照应用场景、行业领域或技术特点进行分类。在方案文件中，添加详细的描述和说明，包括方案的目标、原理、实施步骤、使用要点等。这些信息可以帮助其他人理解方案的内容和应用。根据受训人员的专业知识与培训场景的相似性，可把培训计划的难度分为低，中，高。中难度的计划定位通用培训计划，低难度培训计划设置为语音提示，文字提示和动画提示全部开启，高难度计划只开启部分提示或不开启提示。

13、进一步地，不是s1.1中多模型匹配采用了多策略相似度匹配方法，具体步骤如下：

14、s1.1.1、模型对齐。首先，采用三点对齐法，将匹配模型与待匹配模型进行初始对齐。分别从待匹配模型和匹配模型中选取三对比对点{p1,p2,p3}和{q1,q2,q3}，根据比对点分别在模型上构建局部坐标系，通过矩阵变换，将模型上的两局部坐标系对齐，首先变换p1到q1，然后，变换矢量到最后变换平面p1p2p3到平面q1q2q3。

15、s1.1.2、基于面相似度的初始匹配。如图3所示，以源模型a和目标模型b为例，说明根据组成模型的面的邻接情况和面的边数计算模型间相似度的方法。模型a为源模型，模型b为要匹配的目标模型。源模型a由七个面组成，其中面α1与面α2、α5、α7邻接，面α2与面α1、α3、α6、α7邻接，面α3与面α2、α4、α6、α7邻接；面α4与面α3、α5、α7邻接，面α5与面α1、α4、α6、α7邻接，面α6和α7、α1、α2、α3、α4、α5邻接；另外，面α1与四个平面向邻接，所以面α1有4条边；同理，可以算出源模型a其他面的边数。采用同样的方法，可得出目标模型b的七个面的邻接面与边数，即β1到β7的边数分别为4、4、4、4、4、5、5。确定两模型的组成面的邻接情况和面的边数之后，利用公式(1)计算模型a的面αi和模型b的面βj之间的相似度。

16、

17、其中，num(f)为计数函数，计算源模型或匹配模型中平面f的边数，max(x,y)表示取x与y之间的最大值。由相似度函数可以看出，两平面相似度与平面边数有关，边数相差较小，则平面相似度高，那么平面所在模型相似度也高。使用s(αi,βj)构造模型a与模型b之间的面相似度矩阵sab，如式(2)所示。其中，m表示模型a面数，n表示模型b面数，在相似度矩阵sab中，面αi、βj之间的相似度为：s(αi,βj)。

18、

19、通过上述分析可知，模型之间的相似度是由模型上所有对应面的相似度共同决定的。对于两个模型而言，如果它们的组成面相似度越高，那么这两个模型之间的相似度也就越高；反之，则两模型相似度越低。根据式(1)可构造两模型间的面相似度矩阵，如式(3)所示。由相似度矩阵则可得出模型间平面间的相似度，进而可得出模型的大致相似度。相似度矩阵不是两模型平面间相似度的直观表示，也间接表示了模型间的相似度。为了提高模型搜索的精确性，本文规定当两模型间超60％面与面的相似度不小于0.6时，才能进行精确相似度计算。

20、

21、s1.1.3、基于点偏差对模型相似度进行计算。

22、计算两模型面与面的相似度初始值得到的是模型初始相似度，为进一步提高模型匹配精度，在模型相似度初次比对的基础上，利用模型点偏差比对算法，进行两模型间的精准比对，求出相似度最高的匹配模型。

23、首先，在待匹配模型上等步长对模型上所有面采点，然后将待匹配模型与模型库的模型进行坐标对齐变换，最后计算待匹配模型的点与在数据库目标模型上投影点的距离。具体来说，点投影在匹配板件模型上可分为三种情况：投影在匹配板件模型的三角形面上(点面投影)、边上(点边投影)或与其顶点(点点投影)重合的位置。

24、其中，对于“点点投影”，假设点在匹配模型上的投影与三角形的顶点重合，即待匹配模型中的点与匹配模型构成点点投影偏差计算模型，则待匹配模型与匹配板件模型的偏差计算方法采用该点与三角形顶点的距离来表示，即公式(4)。

25、

26、对于“点边投影”，使用公式(5)计算待匹配模型上点p在匹配板件模型上的投影点p′相对于空间直角坐标系中坐标原点所对应的向量；判断待匹配模型上的点的投影点是否在目标模型三角形边上，计算公式如式(6)，其中，p′在三角形边上，即为待匹配模型的点与模型库匹配板件模型的偏差。

27、

28、

29、对于“点面投影”，根据公式(7)计算待匹配模型上一点p在匹配板件模型上的投影点p′相对于空间直角坐标系中坐标原点所对应的向量。根据公式(8)判断p′是否在匹配模型表面三角形abc区域内。式中sδabc、sδapc、sδapb、sδbpc分别为相对应三角形的面积，δ为允许偏差，一般取0.01或者0.001。p′在δabc区域内，即为待匹配模型中点与模型库匹配模型的偏差。

30、

31、|sδabc-sδapc-sδapb-sδbpc|≤δ (8)

32、s1.1.4、基于k-d树结构点进行偏差搜索。

33、根据s2.1.3中三种投影距离计算模型的偏差表达方法，待匹配模型上的点与匹配模型上投影点的偏差值，一定不大于待匹配模型与匹配模型上三角形顶点距离最小点的距离。即，待匹配模型上任一点在匹配模型上的投影，一定在以该点为球心，以该点与目标模型上三角形顶点最小距离为半径的球域空间内，投影点所在的三角形点、线、面一定在该球域空间内或者与该球域空间有交集。所以，在基于k-d树结构点偏差搜索中，在计算点与投影点的距离时，只需以该球域空间内或者以该球域空间相交的点线面为对象进行求解，大大缩小了穷举法搜索过程的搜索范围，减少了迭代次数，降低了搜索难度，提高搜索效率。另外，通过约束匹配模型投影点位置的方法缩小搜索范围，可将待匹配模型与匹配模型的偏差穷举比对问题转化为在约束范围内求解的问题，其中偏差计算的目标函数为式(9)。为了判断待匹配模型在目标模型上的投影点是否在约束范围内，构建约束函数，如式(10)。为了判断待焊板件模型在匹配板件模型上的投影点是否在三角形区域内，依据点面偏差计算模型构建约束函数，如式(11)。为了判断待匹配模型在目标模型上的投影点是否在三角形边上，依据点边计算偏差模型原理，构建约束函数，如式(12)。各式中，δ为允许偏差，一般为0.01或者0.001。根据以上待匹配模型与匹配模型的比对过程，可快速在模型库中找出与待匹配模型最为相似的模型。

34、

35、stg(x,y,z)＝(x-x0)2+(y-y0)2+(z-z0)2-r2≤δ (10)

36、sth(x,y,z)＝|sδabc-sδapc-sδapb-sδbpc|≤δ (11)

37、

38、进一步地，步骤s2具体为：

39、s2.1、受训人员登录系统后，通过hololens2的深度相机对受训环境进行识别。

40、hololens2的深度摄像机对当前设备所贴的二维码图片进行扫描，传入部署在hololens2中vuforia增强现实应用平台中，识别当前训练环境的设备型号，对设备进行定位。hololens2的深度摄像机对设备进行扫描，通过空间映射生成网格模型，并做平滑处理。通过s1.1给出的多策略相似度匹配方法从模型库中匹配出与网格模型最为相似的三维模型，在hololens2眼镜中生成与设备重合的虚拟现实影像，在虚拟现实影像中以射线加ui面板的形式展示出该训练场景的装备，工艺，危险操作注意事项等选项。

41、s2.2、根据培训环境的识别结果，从s1建立的培训模板库中调出训练设备的通用培训计划模版。培训计划模版以流程/步骤的形式体现，每一步计划都会出现一个虚拟面板，虚拟面板会有文字和箭头等指示，例如“训练设备实训平台的开机操作”；第一步：将设备的电源插头安装牢固；第二步：将设备正常通电后，打开中控箱，从左到右依次打开空气开关qf1和qf2，等。

42、s2.3、根据s1建立的模型库和语音库，通过对应的标签，虚拟模型、操作提示、语音和符号自动匹配到该步骤对应的位置，组成虚拟培训场景。例如在第二步“将设备正常通电后，打开中控箱，从左到右依次打开空气开关qf1和qf2”中，会有指示箭头模型指向空气开关qf1和qf2，并且在现实中qf1和qf2会有空气开关打开的动画一直播放。且会进行语音播报“请从左到右依次打开空气开关qf1和qf2”。

43、s2.4、根据s1所建立的数据库中受训人员的专业知识和操作场景中每个具体操作所需的知识，可以通过计算知识向量的相似性来评估受训人员的能力，并将其分为“高”、“中”和“低”等级。为每个受训人员和每个具体操作构建知识向量。知识向量是由各种知识元素(例如领域专业知识、操作步骤知识)组成的向量，其中每个元素可以表示为二进制值或数值，表示知识的存在或熟练程度。使用相似性度量方法来比较知识向量之间的相似性，对于每个受训人员，计算其知识向量与操作场景下每个具体操作所需知识向量之间的相似性得分。基于相似性得分，将受训人员的能力分为不同等级，如“高”、“中”和“低”。这可以通过设定阈值或者采用聚类分析等方法来实现。根据受训人员的能力等级，调整其培训计划的难度。如果受训人员被评估为“高”能力，可以提供更高难度的培训任务，以挑战其知识和技能。如果被评估为“低”能力，可以提供更基础的培训，建立必要的基本知识和技能。

44、知识向量和的不相似性kdij(knowledge difference)由公式(13)，其中r代表知识的量级(例如，取值为2)。两个知识向量的不相似性是通过知识向量和夹角的正旋sinθij计算。因为知识向量中元素的取值都为大于或等于0的整数，所以夹角的范围是0°～90°。当夹角为0°时，说明所需的知识相同，这时kdij＝1；当夹角为90°时，说明所需的知识完全不同，这时kdij＝r。

45、（13）

46、进一步地，步骤s3具体为：

47、在培训过程中，hololens2的深度摄像机会全程追踪受训人员的姿态，并与模型库中的正确操作姿态动画进行对比，记录受训人员的错误姿态次数。全程记录人员每个步骤的培训时间，培训次数，失误次数和求助次数，并存到数据库。受训人员遇到困难时，可通过激活语音提示，文字提示和动画提示的方式，来解决困难，还可通过hololens2的语音和视频通话的方式向专家远程求助。若有重大困难可通过共享虚拟现实的方式连接另一个佩戴hololens2的专家，让受训人员和专家处于同一个虚拟现实环境下，专家可依据虚拟现实影像更详细的讲解每一个操作步骤。

48、进一步地，步骤s4具体为：根据受训人员培训计划的难度，每个步骤所得的分数和每个步骤的所占的权重，对每个受训人员的每个操作步骤进行打分。

49、使用以下公式计算每个步骤的得分如公式(14)：

50、s＝p*w*m (14)

51、然后，将每个步骤的得分相加，得出受训人员的总得分。将所有受训人员的总得分进行比较，根据得分的相似性将受训人员进行分组。为每个受训人员生成成绩报告，包括每个操作步骤的具体得分、总得分以及分组信息。根据成绩和培训报告，确定哪些操作步骤需要进一步训练。对于那些在特定步骤上表现较差的受训人员，制定针对性的复训计划。

52、本发明采用上述技术方案，能够带来如下有益效果：本发明通过三维模型、多模型匹配方法和虚拟现实眼镜共同作用建立了一种可高度适配与现实培训环境的虚拟培训系统，通过虚拟环境对受训人员的生产技能进行快速培训，能够避免安全事故的发生，减少培训成本及时间，从而节约人力资源和成本。