一种航空器地面指挥信号训练系统及其操作方法与流程

本发明属于航空应用领域，具体涉及一种航空器地面指挥信号训练系统及其操作方法。

背景技术：

在飞机的起飞和降落过程中，受环境、设备、工作步骤等因素的影响，有时飞行员与地面机务人员的沟通交流只能通过手势或肢体动作信号。飞机的运营具有国际性，涉及不同的企业和国家，航空器地面指挥信号手势作为一种通用“语言”，是保障飞机安全运营的基础。航空器地面指挥信号手势稍有差错，轻则造成飞机起飞延误，重则造成严重空难事故。众多航空器地面指挥信号手势的“无声”传递，需要机务人员不断练习、形成默契。

传统的航空器地面指挥信号手势训练途径单一，通过书面或视频进行初步学习，然后通过教员一对一或一对多的指导来进行训练，缺点明显。教员一对一的指导训练，将花费教员大量的时间与精力，训练效率较低；教员一对多的训练指导，可能导致遗漏某些个体学员存在的问题，训练效果不佳。并且，学员航空器地面指挥信号考核是否合格由教员评价，评价结果较为主观且花费大量时间。

技术实现要素：

针对传统的航空器地面指挥信号手势训练途径的不足，本发明的目的在于提供一种航空器地面指挥信号训练系统及其操作方法，该系统利用kinect获取人体骨骼关节三维坐标运动轨迹数据，结合动态时间规整算法对训练人员的手势进行实时评价，能够对航空器地面指挥信号手势进行培训。

为解决现有技术问题，本发明采取的技术方案为：

一种航空器地面指挥信号训练系统，包括kinect传感器、数据处理控制系统、显示设备和音响设备，数据处理控制系统与kinect传感器、显示设备和音响设备通信连接；

所述kinect传感器用于获取信号手势标准样本初始数据和学员做出信号手势时的身体骨骼运动数据；

所述数据处理控制系统包括信息录入模块、数据处理模块、数据存储模块和输出控制模块，信息录入模块用于录入学员的个人信息，数据处理模块用于对kinect传感器获取的学员信号手势数据进行处理得到信号手势判别结果，数据存储模块存储信号手势标准样本库、信号手势教学视频、学员个人信息及相应训练和考核数据；

输出控制模块控制显示设备和音响设备播放信号手势教学视频、学员的信号手势识别结果和提示内容，以实现人机交互；

所述数据处理模块包括信号手势识别模块、信号手势处理模块和信号手势判别模块，信号手势识别模块从kinect获取学员的各骨骼关节随时间变化的三维坐标运动轨迹数据；信号手势处理模块提取学员信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹，计算基准骨骼关节与每个特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹；信号手势判别模块使用时间动态规整算法衡量学员各特征骨骼节点的一维坐标运动轨迹数据与标准样本库里相同手势各特征骨骼节点的一维坐标运动轨迹数据的相似性，从而对学员信号手势进行评分；

所述特征骨骼关节为能够识别出每个信号手势的最少特征骨骼关节；所述基准骨骼关节为颈下脊椎。

进一步改进的是，所述特征骨骼关节有8个，包括左拇指、左手指、左腕、左肘、右拇指、右手指、右腕与右肘。

作为改进的是，所述信号手势标准样本库建立步骤包括：

步骤201，利用kinect获取不同体型、不同性别的人在不同的环境下做各种标准信号手势的各骨骼关节随时间变化的三维坐标运动轨迹数据；

步骤202，提取每个信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹数据；

步骤203，计算每个信号手势基准骨骼关节与各特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹，每做一个信号手势动作就生成一组特征骨骼关节随时间变化的一维坐标运动轨迹；

步骤204，筛除异常数据，异常数据包括各关节位置随时间变化的时间序列（帧）中相邻两帧之间欧式距离超过0.07m，时间序列欧式距离最大值和最小值相差超过1.1m；

步骤205，存储各信号手势的一维特征数据，建立信号手势标准样本库。

作为改进的是，所述显示设备为投影仪或显示屏。

一种航空器地面指挥信号手势训练系统的操作方法，包括以下步骤：

步骤s1，输入学员个人信息，所述个人信息，包括姓名、学号、专业、年龄、性别等；

步骤s2，模式选择，根据需求选择训练模式或考核模式，若选择训练模式，则进入步骤s3，若选择考核模式，则进入步骤s10；

步骤s3，根据需要选择训练的信号手势内容，并设有全选功能；

步骤s4，根据需要选择是否观看信号手势视频，学员通过观看信号手势视频学习信号手势，也可以选择不观看信号手势视频直接做出信号手势；

步骤s5，学员做出信号手势；

步骤s6，显示设备上显示信号手势识别结果；

步骤s7，将学员训练的评分结果进行存储与汇总；

步骤s8，判断学员做的信号手势是否达标，若达标则进入步骤s9，若不达标，则回到步骤s4；

步骤s9，判断学员选择的训练内容是否全部完成，若完成则结束，否则进入下一个信号手势的训练，进入步骤s4；

步骤s10，根据需要选择考核的信号手势内容，并设有全选和随机功能供选择；

步骤s11，显示设备和音响设备对需要考核的信号手势进行文字或语音提示；

步骤s12，学员根据文字或语音提示做出相应的信号手势；

步骤s13，显示设备显示信号手势识别结果；

步骤s14，将学员考核的评分结果进行存储与汇总；

步骤s15，判断学员选择的考核内容是否全部完成，若完成则结束，否则进入下一个信号手势的考核，进入步骤s11。

所述系统无论是训练模式还是考核模式，将学员信号手势的一维特征与其标准样本库里对应的同一手势样本的一维特征进行匹配，降低了信号手势匹配的复杂度，减少了数据处理的时间。

有益效果：

与现有技术相比，本发明的优势在于：

（1）改变了航空器地面指挥信号训练主要依靠教员人工指导的现象，在一定程度上为航空器地面指挥员/引导员的信号手势培训提供一种有效的方法，既可以用于训练，又可以用于考核，提高了训练和考核的效率；

（2）标准样本库中的各种信号手势数据来自不同体型、不同性别、不同环境，因此系统的训练方法具有较高识别效率和较强的鲁棒性；

（3）做信号手势的过程中不需要手持设备，交互自然，使用方便；

（4）将学员的信号手势与其标准样本库里对应的同一手势样本的一维特征进行匹配，降低了信号手势判别的复杂度，减少了处理数据的时间。

附图说明

图1为本发明一种航空器地面指挥信号手势训练系统的结构图,其中，101为kinect传感器，102为数据处理控制系统，102-1为信息录入模块，102-2为数据处理模块，102-3为数据存储模块，102-4为输出控制模块，103为显示设备，104为音响设备；

图2为本发明kinect选取的特征骨骼关节示意图；

图3为本发明“正常停止”信号手势的特征骨骼关节随时间变化的一维坐标运动轨迹图；

图4为本发明标准样本库建立示意图；

图5为本发明一种航空器地面指挥信号手势训练系统操作流程图；

图6为本发明信号手势一维特征匹配示意图。

具体实施方式

下面结合附图来对本发明作进一步详细说明。

如图1所示，本发明提供了一种航空器地面指挥信号训练系统，包括kinect传感器、数据处理控制系统、显示设备和音响设备；

数据处理控制系统与kinect传感器、显示设备和音响设备通信连接；

kinect传感器用于获取信号手势标准样本初始数据和学员做出信号手势时的身体骨骼运动数据；

数据处理控制系统包括信息录入模块、数据处理模块、数据存储模块和输出控制模块，信息录入模块用于录入学员的个人信息，如姓名、学号、专业、年龄、性别等，数据处理模块用于对学员信号手势数据进行处理，并与标准样本库进行匹配，得到信号手势判别结果，数据存储模块存储信号手势标准样本库、信号手势教学视频、学员个人信息及相应训练和考核数据；

输出控制模块控制显示设备和音响设备播放信号手势教学视频、学员的信号手势识别结果和提示内容，以实现人机交互，显示设备可选择投影仪或者显示屏；

所述航空器地面指挥信号手势采用国际通用的mh/t3010航空器地面指挥信号手势，数据存储模块中的标准样本库和信号手势教学视频内容包含mh/t3010规定的所有航空器地面指挥信号手势；

所述kinect传感器能够识别人体25个骨骼关节，数据处理模块中的信号手势处理模块的特征骨骼关节为能够识别出每个信号手势的最少骨骼关节，以及一个基准骨骼关节，本发明选择的特征骨骼关节有8个，如图2所示，包括左拇指、左手指、左腕、左肘、右拇指、右手指、右腕、右肘，基准骨骼关节为颈下脊椎。

所述的数据处理模块包括信号手势识别模块、信号手势处理模块和信号手势判别模块；信号手势识别模块从kinect获取学员做出信号手势时的各骨骼关节随时间变化的三维坐标运动轨迹数据；信号手势处理模块提取学员信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹，计算基准骨骼关节与各特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹，以“正常停止”信号手势为例，得到的特征骨骼关节随时间变化的一维坐标运动轨迹如图3所示；

信号手势判别模块使用时间动态规整算法衡量学员各特征骨骼节点的一维坐标运动轨迹数据与标准样本库里相同手势各特征骨骼节点的一维坐标运动轨迹数据的相似性，从而对学员信号手势进行评分；

如图4所示，所述数据存储模块中的标准样本库建立的步骤包括：

步骤201，利用kinect获取不同体型、不同性别的人在不同的环境下做各种标准信号手势的各骨骼关节随时间变化的三维坐标运动轨迹数据；

步骤202，提取每个信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹数据；

步骤203，计算每个信号手势基准骨骼关节与各特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹，每做一个信号手势动作就生成一组（8个）特征骨骼关节随时间变化的一维坐标运动轨迹；

步骤204，筛除异常数据，异常数据包括各关节位置随时间变化的时间序列（帧）中相邻两帧之间欧式距离超过0.07m，时间序列欧式距离最大值和最小值相差超过1.1m；

步骤205，存储各信号手势的一维特征数据，建立标准样本库。

所述的数据存储模块对数据处理模块中的学员信号手势的一维特征和信号手势识别结果进行存储，便于教员掌握学员的学习、训练和考核情况；当学员做完一个信号手势后，显示设备音响播放模块会显示识别结果，给学员一个实时的反馈结果。

如图5所示，本发明提供了一种航空器地面指挥信号手势训练系统，其特征在于系统操作流程如下：

步骤s1，输入学员个人信息，如姓名、学号、专业、年龄、性别等；

步骤s2，模式选择，根据需求选择训练模式或考核模式，若选择训练模式，则进入步骤s3，若选择考核模式，则进入步骤s10；

步骤s3，根据需要选择训练的信号手势内容，并设有全选功能；

步骤s4，根据需要选择是否观看信号手势视频，学员通过观看信号手势视频学习信号手势，也可以选择不观看信号手势视频直接做出信号手势；

步骤s5，学员做出信号手势，kinect获取学员做信号手势时的各骨骼关节数据，提取学员信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹，计算基准骨骼关节与特征骨骼关节的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹，使用时间动态规整算法衡量学员手势的一维特征骨骼节点数据与标准样本库里的一维特征骨骼节点数据的相似性，从而判断该学员手势是否正确，并进行评分；

步骤s6，显示设备上显示信号手势识别结果；

步骤s7，将学员训练的评分结果进行存储与汇总；

步骤s8，判断学员做的信号手势是否达标，若达标则进入步骤s9，若不达标，则回到步骤s4；

步骤s9，判断学员选择的训练内容是否全部完成，若完成则结束，否则进入下一个信号手势的训练，进入步骤s4；

步骤s10，根据需要选择考核的信号手势内容，并设有全选和随机功能供选择；

步骤s11，显示设备和音响设备对需要考核的信号手势进行文字或语音提示；

步骤s12，学员根据文字或语音提示做出相应的信号手势，kinect获取学员做信号手势时的各骨骼关节数据，提取学员信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹，计算基准骨骼关节与特征骨骼关节的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹，使用时间动态规整算法衡量学员手势的一维特征骨骼节点数据与标准样本库里的一维特征骨骼节点数据的相似性，从而判断该学员手势是否正确，并进行评分；

步骤s13，显示设备显示信号手势识别结果；

步骤s14，将学员考核的评分结果进行存储与汇总；

步骤s15，判断学员选择的考核内容是否全部完成，若完成则结束，否则进入下一个信号手势的考核，进入步骤s11；

如图6所示，无论是训练模式还是考核模式，将学员的信号手势的一维特征与其标准样本库里对应的同一手势样本的一维特征进行匹配，降低了信号手势匹配的复杂度，减少了数据处理的时间。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。