一种基于视觉动捕的掘进机操控教学辅助培训系统

本发明涉及教学辅助培训，具体来说，涉及一种基于视觉动捕的掘进机操控教学辅助培训系统。

背景技术：

1、近年来，我国人口老龄化现象十分明显，在煤炭行业等劳动密集型产业表现为劳动力成本逐年增加，熟练劳动者数量逐年减少。实际生产中井下作业工况复杂，开采煤矿的掘进机操作不当极易引发事故，更加需要驾驶员拥有足够驾驶经验，操作严格符合国家安全生产法、煤矿安全培训规定。对此，急需提高驾驶人员操作技术水平、熟练程度，使其充分掌握操作要点，提高生产效率，能够有效应对生产中可能遇到的复杂工况，避免生产事故。

2、目前，掘进机操作练习受到诸多限制，传统的实景操作采用教员讲解模式，燃油、设备等训练成本高，使用率低，对安全保障要求较高，学员无法直接操作设备练习。模拟操作教学设备采用计算机仿真与设备模型结合，如中国专利（cn218214438u）公开的煤矿掘进机模拟操作教学装置通过设计的底板装置在训练过程中给予用户物理反馈，但模拟座舱无规律的过度振动十分影响人机交互体验感，降低了培训效率，如中国专利(cn213518763u)公开的新型掘进机操作培训系统包含培训专用空间、仿真掘进机模型、混合现实头盔和培训控制平台，操作体验更加真实，但整套系统对于设备、场地要求高，培训流程较为复杂，大大提升培训成本，如中国专利（cn109509374a）公开的掘进机虚拟实训操作教学仪及训练方法采用计算机软件与硬件结合，通过工作台控制仿真掘进机，但操作较复杂，未考虑到培训过程中用户疲劳感，造成注意力不集中，影响效率与成绩的问题。同时以上所述教学设备均通过物理操作台进行控制，涉及一定机械结构，对设备、场地有一定要求，存在成本问题。

3、针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

1、针对相关技术中的问题，本发明提出一种基于视觉动捕的掘进机操控教学辅助培训系统，以克服现有相关技术所存在的上述技术问题。

2、为此，本发明采用的具体技术方案如下：

3、一种基于视觉动捕的掘进机操控教学辅助培训系统，包括摄像单元、显示单元及处理单元；

4、摄像单元用于实时拍摄用户手部与眼部姿态；

5、显示单元用于实时显示仿真掘进机操作画面及仿真环境反馈效果；

6、处理单元包括手势识别处理单元和仿真掘进机操作系统；

7、其中，手势识别处理单元在解决视频高光亮点与用户手势遮盖问题的基础上，通过检测用户手部与眼部的关键节点空间数据来判断用户手势命令与注意力集中程度；

8、仿真掘进机操作系统用于接收命令实现操控，并将操作、环境反馈画面传输至显示单元。

9、进一步的，手势识别处理单元包括预处理单元、遮盖处理单元、关键点检测单元及通信单元；

10、其中，预处理单元对采集的实时视频数据进行去除高光亮点处理，再将处理过的实时视频数据发送至遮盖处理单元，进行屏幕显示区域划分，建立屏幕区域与实际空间的映射关系，并发送至关键点检测单元，关键点检测单元检测用户手部与眼部的关键节点空间坐标数据，并在判断手势命令与用户注意力集中程度后输出命令信号至通信单元，通信单元通过tcp/ip通信传输信号至仿真掘进机操作系统。

11、进一步的，预处理单元对采集的实时视频数据进行去除高光亮点处理包括：

12、通过分析实时视频数据的高光特性，将视频画面由rgb颜色空间转至hsv颜色空间，其中，视频画面图像中任意点像素值的公式为：

13、；

14、式中，i表示像素值，分别表示图像在点的色调值、饱和度值、亮度值，表示为图像中所有像素点集合；

15、通过设定饱和度、亮度阈值，逐帧提取实时视频表面高光区域图像，并使用图像均值滤波的方式处理高光区域；

16、将处理后的高光区域和原图像中非高光区域进行图像融合，并输出融合后的视频至遮盖处理单元。

17、进一步的，遮盖处理单元在进行屏幕显示区域划分，建立屏幕区域与实际空间的映射关系，并发送至关键点检测单元时包括：

18、对手部移动区域进行定义，将屏幕显示区域划分为摄像头拍摄区、手势动作区、手掌框选区、屏幕显示区，则手势动作区与屏幕显示区存在比例关系m：

19、；

20、以屏幕显示区左下角和手势动作区左下角为坐标原点（0，0），手部关键节点空间坐标相对于手势动作区表示为（），相对于屏幕显示区表示为（），屏幕显示区的长度与宽度记为、，则在手势运动中，坐标位置在手势动作区和屏幕显示区之间存在映射关系：

21、；

22、；

23、建立手势框图，使用非最大值抑制算法对所有手势框图按照置信度进行排序，选择当前置信度最高的手势框图开始循环遍历视频，将当前置信度最高的手势框图添加到最终选择列表中，移除与当前已选择手势框图具有高重叠度的其他手势框图，更新剩余手势框图的集合，再寻找更新后集合中置信度最高的手势框图，重复上述操作直至所有手势框图被处理，输出处理完毕后置信度最高的手势框图送至关键点检测单元。

24、进一步的，检测用户手部的关键节点空间坐标数据并进行手势判断包括：

25、判断用户食指指尖节点是否在屏幕显示区的十个虚拟按键功能区中单一虚拟按键停留2s，且食指指尖节点在垂直于摄像单元的方向上有超过5厘米的深度变化，若是，则触发对应虚拟按键功能，若否，则不触发虚拟按键功能；

26、判断用户是否通过五指聚合形成类似真实握杆动作，整体手部在屏幕显示区的四个推杆功能区的单一虚拟推杆停留2s，且整体手部在垂直于摄像单元的方向上超过5厘米的深度变化，若是，则触发对应推杆功能，若否，则不触发推杆功能；

27、判断用户是否通过食指和中指合并，且两指指尖节点在屏幕显示区内垂直于摄像单元的方向上有超过5厘米的深度变化，若是，则触发对应走刀路线设置功能，两指指尖节点的空间坐标位置即为设定的走刀起始点与结束点，根据a*寻路算法结合用户设置的顺序进行连线，得到虚拟走刀路线，若否，则不设定走刀起始点与结束点；

28、判断用户是否双手握拳，若是，则触发急停命令，若否，则不触发急停命令；

29、将按键手势命令、推杆手势命令、走刀手势命令及急停手势命令对应的信号输出至通信单元，用以驱动对应仿真掘进机功能。

30、进一步的，检测用户手部的关键节点空间坐标数据并进行手势判断还包括：

31、利用自适应质心-卡尔曼滤波算法对采集过程中出现的高频跳动问题进行处理；

32、利用卷积神经网络训练手势检测模型，并利用训练后的手势检测模型对采集的手势进行辅助判断。

33、进一步的，检测用户手部与眼部的关键节点空间坐标数据，并判断用户注意力集中程度包括：

34、实时统计用户手部操作频率与检测用户眼部关键节点，并以用户手部操作发送命令的时间间隔作为依据判断用户注意力集中程度，当超过操作命令平均时间间隔，则判定为注意力不集中；

35、通过摄像单元获取用户双眼关键节点空间坐标数据，并分别计算用户左眼和右眼的纵横比ear：

36、；

37、式中，ear表示纵横比，依次代表外眼角、上眼皮左右、内眼角、下眼皮左右六个节点空间坐标数据，表示l2范数；

38、取用户左眼和右眼的纵横比的平均值作为最终的眼睛纵横比，并判断最终的眼睛纵横比是否超出阈值范围，若是，则判定为注意力不集中，若否，则结合用户手部操作频率判断注意力是否集中的判定结果，当用户手部操作频率判断用户为注意力不集中时，则判定为注意力不集中。

39、进一步的，仿真掘进机操作系统包括登陆单元、理论学习单元及掘进机操作练习单元；

40、其中，登陆单元中用户利用通信单元发送的命令信号选择虚拟键盘按键进行个人账户信息登录，理论学习单元中用户学习掘进机操作理论知识、操作规范及操作教程，并在学习理论知识完毕后，掘进机操作练习单元中自动打开仿真掘进机第三视角画面，用户利用手势选择仿真环境中掘进机与巷道各个部件，并利用通信单元发送的命令信号操控仿真掘进机。

41、进一步的，在掘进机操作阶段走刀路线设置命令中，掘进机操作练习单元自动提示岩石和土壤性质及隧道设计要求设定，并给出推荐掘进速度、搭配刀盘转速、推进力参数，用户利用食指指尖节点进行数据设定，当用户设置的走刀路线节点过于集中、有效掘采率过低时，仿真掘进机操作系统根据a*寻路算法自动优化路径，寻找最优简短路径，提示用户进行改进；

42、其中，根据a*寻路算法自动优化路径寻找最优简短路径包括：

43、将用户设置的走刀路线画面栅格化，初始化设置开列表与闭列表，用户设置的起始点归入开列表，遍历开列表计算每一个结点的代价函数f：

44、

45、

46、

47、式中，g为起点到当前结点的欧氏距离，h为当前结点到终点的曼哈顿距离，为平行于显示单元的二维空间坐标；

48、查找列表中代价函数f最小的结点a，将其作为当前待处理的结点，重复如下操作：

49、一）对当前待处理的结点a相邻的所有结点处理，若不可抵达或在闭列表中，则忽略，否则继续处理；

50、二）若相邻结点b不在开列表中，则将其加入开列表，并将当前待处理的结点a设置为父结点，结点b设置为当前待处理的结点，计算结点b的f、g、h值，若相邻结点b在开列表中，则检查起点到b的路径是否更好，参考标准为g值，若g值更小，则路径效果更好，自动将其父结点e作为当前待处理的结点，重新计算g、f值；

51、三）将二）处理后的结点a移动到闭列表，不再关注；

52、当满足下列任一条件，则程序终止；

53、条件一、终点加入开列表；

54、条件二、无法查找到终点，且此时开列表为空；

55、若终点已找到，查找最短路径：从终点开始，每个结点都沿着父结点运动，直至起点，所得最短路径即为最优简短路径。

56、进一步的，显示单元中的仿真环境利用unity3d中的粒子和光源模块实现掘进机工作时的烟雾、喷水和灯光模拟效果，利用网格变形算法，将截割头作为地形网格变形的关键要素控制地形网格的凹陷程度，筛选截割头碰撞点周围顶点后，利用参考变形公式改变网格顶点坐标，预设不同形状石块模型，配合粒子效果，实现钻探后煤层的破碎状态视觉仿真；

57、其中，参考变形公式为：

58、

59、

60、式中，（x变，y变）表示改变后的坐标，（x原，y原）表示改变前的坐标，为刀具直径，为切削角，为切削深度，为刀具切削力，为刀具角速度。

61、本发明的有益效果为：

62、1）本发明提出一种新的掘进机操控教学辅助培训系统，结合视觉动捕和虚拟现实技术，采用多种算法精确识别手势，系统鲁棒性大大提升，结合仿真算法最大程度模拟真实工况，实用性强，充分考虑人机交互体验感，操作简便，提高训练效率，缩短训练周期，采用单目视觉方法捕捉手部姿态，对硬件设备要求低，可部署在多个平台，易于推广使用。

63、2）本发明通过采用多种算法精确识别手势，针对视频中存在的高光亮点，预处理单元通过所设计的算法，优化视频质量，避免了因高光对后续操作的影响；针对用户手势遮盖导致操作失灵问题，遮盖单元通过非最大值抑制算法，建立屏幕映射区，明确画面中的操作区域对应关系，大大提高识别的稳定性与准确性；关键点检测单元使用自适应质心-卡尔曼滤波算法去除空间数据抖动减小误差，利用神经网络快速精准检测判断用户手部关键节点空间数据，根据用户手势触发虚拟按键与虚拟推杆功能，多种算法结合使得系统鲁棒性大大提升。

64、3）本发明设计手势操作便捷，方便用户快速入门操作，理论学习部分大大缩减传统实景操作中教练员的讲解时间，保障用户的安全，各操作项目均可反复进行学习并提供操作报告供用户复盘，仿真掘进机系统环境通过unity3d粒子系统，结合网格变形算法，最大程度模拟真实掘采工况，根据用户手势操作频率与眼部姿态特征，仿真掘进机操作系统判断用户注意力集中程度，给予用户提醒，提高人机交互体验感，提高操作效率，缩短训练周期。

65、4）本发明依赖于单目rgb视频输入，系统可跨平台操作，配置环境简单，支持计算机使用cpu生成实时检测，在笔记本上帧率在15~30fps，延迟<50ms，所设计虚拟按键、虚拟推杆，替代了传统训练中的操作硬件，节省训练成本，相对同类框架，在应用场景中优势明显，易于推广使用。