一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备

1.本发明涉及民用航空空中交通管理领域，特别是一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备。


背景技术：

2.空中交通管制的任务是保障空中交通安全有序地运行，不过日益增长的空中交通流量使得民航空中交通管制业务面临前所未有的复杂交通态势，飞行冲突愈发频繁，给航空安全带来了巨大的挑战，也对空管管制指挥调度提出了更高的要求。由于飞行员缺少有效手段感知飞行环境，因此为了保证航班飞行安全，飞行员必须严格按照空中交通管制员的飞行引导调整飞行姿态，这导致管制员与飞行员之间能否对管制指令做到正确地传达和反馈，会对空中交通安全产生极大影响。同时，飞行员在执行管制指令过程中的任何行为均潜在地影响空中交通安全。目前日益增长的工作负荷会严重降低管制员的指挥效率和安全水平，在航班密集区域内更为严重，极易出现“错、忘、漏”等情况，同时，长时间的高强度紧张工作会导致管制员和飞行员双方生理和心理的疲劳，造成“人为因素”安全隐患。
3.所以如今需要一种基于深度学习的飞机驾驶舱安全辅助系统及装置来管控人在回路给空中交通安全带来的安全风险，预先感知潜在风险和不稳定因素，防微杜渐，提高空管安全防护的性能与效率。


技术实现要素：

4.本发明的目的在于为民航驾驶舱飞行员提供飞行辅助和安全检测系统，减少人在回路给空中交通带来的安全隐患，提供一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备。
5.为了实现上述发明目的，本发明提供了以下技术方案：一种基于深度学习的飞机驾驶舱安全辅助方法，包括以下步骤：s1：实时获取地空通话语音信号，对所述地空通话语音信号进行预处理以及按句切分处理，输出若干单句语音信号；所述预处理包括语音采样、滤波以及预加重；s2：将所述单句语音信号输入预构筑的多任务空管语音识别模型，提取并输出所述单句语音信号对应的转录文本、说话人角色和语种信息；s3：将所述转录文本分别输入到预构筑的空管指令翻译模型和空管指令理解模型，输出中英文双语管制指令，以及管制指令中的重要信息；所述重要信息包括呼号、指令意图以及指令参数；s4：获取航迹数据，提取各个航班的飞行数据，根据所述飞行数据、所述指令意图以及所述指令参数预测各个所述航班的飞行轨迹，根据所述飞行轨迹生成并输出局部空中交通态势的感知；s5：进行安全检测并输出安全检测结果；所述安全检测包括基于轨迹的安全辅助检测和基于空管指令的安全辅助检测；
所述多任务空管语音识别模型为编码器-分类器结构，通过预先标注的数据集训练得到；所述分类器由全连接层构成；所述说话人角色包括管制员和飞行员；所述语种信息包括中文和英文；所述空管指令翻译模型和空管指令理解模型为编码器-解码器结构，通过预先标注的数据集训练得到。作为本发明的优选方案，所述空管指令翻译模型和所述空管指令理解模型采用bart-base模型。
6.本发明提出了一种基于深度学习的飞机驾驶舱安全辅助方法，通过基于深度学习的多任务空管语音识别模型、指令翻译模型和指令理解模型，对获取到的飞行员的地空通话语音信号进行处理和分析，通过深度学习方法实时检测对应航班的航线是否正常，以及飞行员的工作状态。减少了人在回路给空中交通安全带来的安全威胁，为民航空中交通管制提供了有效的安全辅助措施，提高了空管系统的运行效率。
7.作为本发明的优选方案，所述s4包括：s41：通过航电系统接收航迹数据，得到当前航班的飞行数据，并根据所述飞行数据以及所述指令意图预测当前航班的飞行轨迹；所述飞行数据包括航班位置、飞行速度和飞行姿态；s42：通过航电系统接收航迹数据，得到其他航班的飞行数据，根据所述飞行数据预测其他航班的飞行轨迹；s43：整合空域内所有航班的预测飞行轨迹，形成局部空中交通态势的感知。
8.作为本发明的优选方案，所述s4中采用基于深度神经网络的概率统计算法预测各个所述航班的飞行轨迹；所述概率统计算法的步骤如下：基于深度神经网络分层级的结构，使用高斯过程处理不同层节点之间的非线性映射关系；再以深度高斯过程的预测均值作为航班的预测标称轨迹，以深度高斯过程的预测方差作为航班的预测可信偏差范围，输出为飞行轨迹。
9.作为本发明的优选方案，所述航班预测的飞行轨迹概率分布函数为：；其中，表示高斯过程，为航班位置，为航班的预测位置，为高斯过程中的均值函数，为协方差函数。
10.作为本发明的优选方案，所述s5包括：s51：进行基于轨迹的安全辅助检测；所述基于轨迹的安全辅助检测包括潜在飞行冲突检测和飞行行为一致性检测；s52：进行基于空管指令的安全辅助检测；包括管制通话规范性检测、飞行员复诵正确性检测以及基于空管通话语音和文本的工作状态检测；s53：输出安全检测结果。本发明能够同时对管制对话进行管制用语规范性检查、飞行员复诵一致性检查、航班潜在飞行冲突检查、飞行行为一致性检查和工作状态检测，有效地为空中交通管制指挥提供安全辅助措施和安全保障。
11.作为本发明的优选方案，所述s51包括：s511：进行潜在飞行冲突检测：计算潜在飞行冲突概率，当其超过预设置的阈值，输出结果为存在潜在飞行冲突；否则输出结果为无潜在飞行冲突；
其中，所述潜在飞行冲突概率的计算方式为：在检测时间内，通过马尔科夫链蒙特卡洛方法在各个航班各个时刻的预测飞行轨迹分布中采集若干样本点，计算当前航班与任意航班在各个时间的相对距离是否满足预设的安全间隔要求，将不满足安全间隔要求的样本点个数与总样本点个数的比值作为发生潜在冲突的概率；s512：进行飞行行为一致性检测：通过航电系统接收航迹数据，计算现有航迹和预测航迹之间的差值，判断当前航班是否偏离航线；并根据所述s3得到的所述指令意图以及所述指令参数，判断当前航班是否按管制指令调整飞行参数；当所述航班未按时执行管制指令，输出结果为未按时进行管制指令操作；当现有航迹不在预测轨迹的可信区间内，输出结果为偏离航线；当所述航班未按管制指令调整飞行参数，输出结果为未按管制指令操作；否则输出结果为飞行行为一致。本发明通过基于统计概率分布的航班轨迹预测方法和以此为基础的冲突检测方法，能在考虑管制意图的情况下预测未来一段时间的航班飞行轨迹，提高空中交通运行效率并降低管制员的工作负荷；相较于现有机载设备中的碰撞检测系统，设计的冲突检测方法能够更早地发现局部空中交通态势中的潜在飞行冲突，由于飞行轨迹预测精度较高，潜在飞行冲突检测方法的性能也得到了进一步提高，能够更好地支撑空中交通管制业务。
12.作为本发明的优选方案，所述s52包括：s521：根据管制意图与指令参数之间的对应关系，构建空管指令规范知识库；s522：进行管制通话规范性检测：将所述s3中输出的所述指令意图输入到所述空管指令规范知识库，检查所述指令意图与所述指令参数是否对应；s523：进行指令复诵正确性检测：对飞行员和管制员的指令内容进行比较，判断飞行员指令复诵内容的正确性；s524：根据所述单句语音信号的语音以及所述转录文本，输出飞行员的工作状态。设计了基于空管语音和对应指令文本的工作状态检测方法，能够以更高的准确率对管制员和飞行员的工作状态进行综合检测，能够减少空中交通管制中的安全隐患。
13.作为本发明的优选方案，所述工作状态包括：状态良好：判断标准为所述单句语音信号语气平和、无明显卡顿和情绪波动，对应的转录文本无重复或多次修改；中度疲劳：判断标准为所述单句语音信号声音沉闷、偶尔出现卡顿，对应的转录文本存在部分词语多次重复或修改的情况；重度疲劳：判断标准为所述单句语音信号语速变慢、声音有气无力、吐字不清，对应的转录文本存在频繁重复或修改、语义不清的情况；状态紧张：判断标准为所述单句语音信号语速急促、声音较大、情绪波动较大，对应的转录文本出现部分字词频繁重复的情况。
14.作为本发明的优选方案，所述s524的工作状态判断通过工作状态检测模型实现；所述工作状态检测模型包括基于语音的编码器和分类器，以及基于文本的编码器和分类器；所述编码器包括一维卷积层、激活函数层和基于双向长短期记忆的循环神经网络
层；所述分类器由全连接层构成。
15.一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
16.与现有技术相比，本发明的有益效果：1.本发明提出了一种基于深度学习的飞机驾驶舱安全辅助方法，通过基于深度学习的多任务空管语音识别模型、指令翻译模型和指令理解模型，对获取到的飞行员的地空通话语音信号进行处理和分析，通过深度学习方法实时检测对应航班的航线是否正常，以及飞行员的工作状态。减少了人在回路给空中交通安全带来的安全威胁，为民航空中交通管制提供了有效的安全辅助措施，提高了空管系统的运行效率。
17.2.本发明能够同时对管制对话进行管制用语规范性检查、飞行员复诵一致性检查、航班潜在飞行冲突检查、飞行行为一致性检查和工作状态检测，有效地为空中交通管制指挥提供安全辅助措施和安全保障。
18.3.本发明通过基于统计概率分布的航班轨迹预测方法和以此为基础的冲突检测方法，能在考虑管制意图的情况下预测未来一段时间的航班飞行轨迹，提高空中交通运行效率并降低管制员的工作负荷；相较于现有机载设备中的碰撞检测系统，设计的冲突检测方法能够更早地发现局部空中交通态势中的潜在飞行冲突，由于飞行轨迹预测精度较高，潜在飞行冲突检测方法的性能也得到了进一步提高，能够更好地支撑空中交通管制业务。
附图说明
19.图1为本发明实施例1所述的一种基于深度学习的飞机驾驶舱安全辅助方法的流程示意图。
20.图2为本发明实施例2所述的一种基于深度学习的飞机驾驶舱安全辅助方法中多任务空管语音识别模型结构图。
21.图3为本发明实施例2所述的一种基于深度学习的飞机驾驶舱安全辅助方法中空管指令翻译模型结构图。
22.图4为本发明实施例2所述的一种基于深度学习的飞机驾驶舱安全辅助方法中空管指令理解模型结构图。
23.图5为本发明实施例2所述的一种基于深度学习的飞机驾驶舱安全辅助方法中飞行行为一致性检测方法流程示意图。
24.图6为本发明实施例2所述的一种基于深度学习的飞机驾驶舱安全辅助方法中指令复诵正确性检测方法流程示意图。
25.图7为本发明实施例2所述的一种基于深度学习的飞机驾驶舱安全辅助方法中工作状态检测模型结构图。
26.图8为本发明实施例3所述的一种利用了实施例1所述的一种基于深度学习的飞机驾驶舱安全辅助方法的一种电子设备的结构示意图。
具体实施方式
27.下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解
为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
28.实施例1如图1所示，一种基于深度学习的飞机驾驶舱安全辅助方法，包括以下步骤：s1：实时获取地空通话语音信号，对所述地空通话语音信号进行预处理以及按句切分处理，输出若干单句语音信号；所述预处理包括语音采样、滤波以及预加重。
29.s2：将所述单句语音信号输入预构筑的多任务空管语音识别模型，提取并输出所述单句语音信号对应的转录文本、说话人角色和语种信息。
30.s3：将所述转录文本分别输入到预构筑的空管指令翻译模型和空管指令理解模型，输出中英文双语管制指令，以及管制指令中的重要信息；所述重要信息包括呼号、指令意图以及指令参数。
31.s4：获取航迹数据，提取各个航班的飞行数据，根据所述飞行数据、所述指令意图以及所述指令参数预测各个所述航班的飞行轨迹，根据所述飞行轨迹生成并输出局部空中交通态势的感知。
32.s5：进行安全检测并输出安全检测结果；所述安全检测包括基于轨迹的安全辅助检测和基于空管指令的安全辅助检测。
33.所述多任务空管语音识别模型为编码器-分类器结构，通过预先标注的数据集训练得到；所述分类器由全连接层构成；所述说话人角色包括管制员和飞行员；所述语种信息包括中文和英文。
34.所述空管指令翻译模型和空管指令理解模型为编码器-解码器结构，通过预先标注的数据集训练得到。
35.实施例2本实施例为实施例1所述方法的一种具体实施方式，包括以下步骤：s1：实时获取地空通话语音信号，对所述地空通话语音信号进行预处理以及按句切分处理，输出若干单句语音信号；所述预处理包括语音采样、滤波以及预加重。
36.s11：通过空管管制内话系统实时采集空管地空通话系统中的地空通话语音信号。
37.s12：对所述地空通话语音信号进行预处理和切分。
38.s121：对采集到的语音进行实时预处理，包括语音采样、滤波、预加重等。
39.s122：将所述地空通话语音通话中的音频信号按25ms的长度分为连续的语音信号帧，使用webrtc的语音活动检测器判断每个语音信号帧中是否存在有效声音；若连续的20个音频信号帧全部存在有效声音，则认为句子开始，若连续的20个音频信号帧中有至少12个音频信号帧不存在有效声音，则认为句子结束。
40.s123：根据s122的结果将连续的管制通话语音分割成指令语音段，每段语音仅包含单个说话人的单条指令。
41.s2：将所述单句语音信号输入预构筑的多任务空管语音识别模型，提取并输出所述单句语音信号对应的转录文本、说话人角色和语种信息。所述说话人角色包括管制员和飞行员，所述语种信息包括中文和英文。
42.s21、将所述单句语音输入训练完成的所述多任务空管语音识别模型中。
43.s22、模型输出多任务标签概率，将概率最大的类别作为说话人角色和语种分类任
务的分类结果。
44.s23、模型输出语音帧对应的转录文本概率，根据最大概率解码方法输出指令语音对应的文本转录结果。
45.其中，预构筑的多任务空管语音识别模型为编码器-分类器结构，模型结构如图2所示，所有分类器共用编码器部分，所述编码器采用wav2vec 2.0模型，所述识别分类器网络均由一层全连接层组成，分类器有语音识别器、说话人角色分类器和语种分类器。所述多任务空管语音识别模型的搭建包括以下流程：s201、使用真实环境下采集的无标注空管语音样本对编码器部分的wav2vec 2.0进行预训练直至网络收敛。
46.s202、使用真实环境下采集并进行标注的空管语音样本对所述多任务空管语音识别模型进行微调训练直至网络收敛。
47.s203、对所述多任务空管语音识别模型进行模型压缩，对模型参数进行量化，并针对移动化设备进行优化，在不影响模型性能的条件下减小模型所需存储空间并加快模型推理速度。
48.s3：将所述转录文本分别输入到预构筑的空管指令翻译模型和空管指令理解模型，输出中英文双语管制指令，以及管制指令中的重要信息；所述重要信息包括呼号、指令意图以及指令参数。其中，所述指令意图是管制员根据空中交通态势引导航班飞行的总体意图，如上升、转弯等；指令参数描述了航班执行管制指令过程中需要遵守的实施细节，包含运动参数或者目的飞行状态，如速度、上升率、目的高度等。
49.其中，所述空管指令翻译模型和所述空管指令理解模型均基于bart架构，为编码器-解码器结构，模型结构分别如图3和图4所示，模型使用bart-base模型，在模型训练时英文以单词为单位，中文以字为单位。具体包括以下搭建流程：s31：使用真实环境下采集的空管指令文本样本对所述空管指令翻译模型和所述空管指令理解分别进行预训练直至网络收敛。
50.s32：使用真实环境下采集并进行双语标签标注的空管指令文本样本对所述空管指令翻译模型进行微调训练直至网络收敛；使用真实环境下采集并进行指令意图和指令参数标签标注的空管指令文本样本对所述空管指令理解模型进行微调训练直至网络收敛。
51.s4：获取航迹数据，提取各个航班的飞行数据，根据所述飞行数据、所述指令意图以及所述指令参数预测各个所述航班的飞行轨迹，根据所述飞行轨迹生成并输出局部空中交通态势的感知。
52.s41：通过现有的航电系统接收数据，得到当前航班的飞行数据（如航班位置、飞行速度和飞行姿态等信息），在考虑管制意图的情况下预测本航班的飞行轨迹。
53.s411：基于s3中获取的指令意图和指令参数生成当前的短期航迹。
54.s412：使用基于深度神经网络的概率统计算法预测航班在未来一段时间的飞行轨迹，针对时段中每一时刻预测航班的轨迹位置及其可信区间。
55.其中，预测方法使用深度高斯过程，保持深度神经网络分层级的结构，同时使用高斯过程处理不同层节点之间的非线性映射关系，以深度高斯过程的预测均值作为航班的预测标称轨迹，预测方差作为航班的预测可信偏差范围；假设飞机位置为，则预测得到的服从高斯过程的航班轨迹概率分
布函数为：；其中，表示高斯过程，为航班位置，为航班的预测位置，为高斯过程中的均值函数，为协方差函数。
56.s42：通过现有的航电系统接收数据，得到其他航班的飞行数据，如航班位置、飞行速度和飞行姿态等信息，预测其他航班的飞行轨迹，预测方法同样使用深度高斯过程。
57.s43：整合局部空域内所有航班的飞行轨迹，形成局部空中交通态势的感知。
58.s5：进行安全检测并输出安全检测结果；所述安全检测包括基于轨迹的安全辅助检测和基于空管指令的安全辅助检测。
59.s51：进行基于轨迹的安全辅助检测，包括潜在飞行冲突检测和飞行行为一致性检测；s511：进行潜在飞行冲突检测，检测局部空中交通态势是否存在发生潜在飞行冲突的风险。即计算潜在飞行冲突概率，当其超过预设置的阈值，输出结果为存在潜在飞行冲突；否则输出结果为无潜在飞行冲突。
60.在潜在冲突检测的时间范围内，使用马尔科夫链蒙特卡洛方法在每一航班、每一时刻的预测飞行轨迹分布中采集大量样本点，在横向、纵向和高度方向上计算任一飞机对之间在任一时间的距离是否满足各空间维度的安全间隔要求，将不满足安全间隔要求的样本点个数与总样本点个数的比值作为发生潜在冲突的概率。
61.基于蒙特卡罗统计模拟思想，通过从两者轨迹分布采集大量样本点计算其发生飞行冲突的概率。在任意时刻t，从两架飞机的飞行轨迹分布中采样足够大的个轨迹点，判断轨迹点对之间是否存在横向（x）、纵向（y）或高度方向（z）上的不满足安全间隔距离的情况，即，；其中，表示第架飞机在时间时的横向位置，表示x方向上的安全距离阈值，表示y方向上的安全距离阈值，表示z方向上的安全距离阈值。
62.在所有的采样点中有个轨迹点之间的距离不满足安全间隔距离，那么两架飞机发生冲突的概率则可认为是：；采样时使用马尔科夫链蒙特卡洛方法从高斯过程的时序分布中采样轨迹点位置，单个分布的轨迹点采样方法如下：假设为航班进行冲突检测时刻的初始位置，即采样初始位置；对任意时刻使用如下方法进行航班位置采样，直至冲突探测的时限时间段。其中，为同一航班飞行轨迹分布的边缘分布。
63.；最后，向飞行员显示冲突发生概率，若发生冲突的概率大于安全阈值，则输出告警信息。
64.s512：如图5所示，进行飞行行为一致性检测，通过现有的航电系统接收航迹数据，检测管制指令执行过程中航班的飞行行为是否与预期相符；
当所述航班未按时执行管制指令，输出结果为未按时进行管制指令操作；当现有航迹不在预测轨迹的可信区间内，输出结果为偏离航线；当所述航班未按管制指令调整飞行参数，输出结果为未按管制指令操作；否则输出结果为飞行行为一致。
65.s5121：通过现有的航电系统接收航迹数据，得到本航班飞行数据的变化情况，检测飞行员在接收到管制指令之后是否在规定时间内开始执行管制指令；s5122：通过现有的监视设备采集本航班实时飞行轨迹，与s412得到的预测飞行轨迹进行比较，若航班实时飞行轨迹不在预测轨迹的可信区间内，则输出告警信息提醒飞行员偏离航线；s5123：基于s3得到的指令意图和指令参数，判断航班最终是否严格按照管制指令规定的参数调整飞行姿态，具体包括检测高度变化是否满足指令要求、位置航向变化是否满足指令要求、速度变化是否满足指令要求，若结果与管制指令存在不一致则输出告警信息提醒飞行员未按管制指令操作。
66.s52：进行基于空管指令的安全辅助检测，包括管制通话规范性检测和飞行员复诵正确性检测。
67.s521：构建空管指令规范知识库，对空管指令的各种规范进行采集、提取和整理。
68.通过分析管制规程，建立管制意图与指令参数之间的对应关系，按类别收录空管领域所有指令的格式与规范，包括每种指令术语、参数的规范化表达、每种指令意图所对应的可能指令参数类型等，其中，空管指令规范知识库的内容来自中国民用航空局发布的关于《民用航空空中交通无线电通话用语》（英语和汉语）的标准和国际民用航空组织发布的空中交通管制标准程序中对于空中交通无线电通话用语的规范化术语要求。
69.s522：进行管制通话规范性检测，将s3得到的管制意图输入空管指令规范知识库，检查管制意图与指令参数或指令类型是否对应；若指令理解结果中无明确意图或指令不符合术语规范，则提醒通话双方确认管制指令意图，避免对指令产生歧义；s523、进行指令复诵正确性检测，基于s3得到的管制意图和s2得到的说话人角色区分结果，对飞行员和管制员的指令内容进行比较，判断飞行员指令复诵内容的正确性，具体流程如图6所示。其检测结果具体包括：检测结果1：若连续的语音说话人角色分类结果为管制员，则检测结果为未进行指令复诵，输出无复诵告警信息；检测结果2：若检测到飞行员进行指令复诵，但复诵时间超出规定时间，则检测结果为未在规定时间内进行指令复诵，输出超时未复诵告警信息；检测结果3：若检测到飞行员按时进行指令复诵，但复诵内容中的指令意图与管制员发布的指令意图不匹配，则检测结果为指令意图复诵错误，输出指令意图附送错误告警信息；检测结果4：若检测到飞行员按时进行指令复诵，但复诵内容中的指令参数与管制员发布的指令参数不匹配，则检测结果为指令参数复诵错误，输出指令参数复诵错误告警信息；检测结果5：若检测到飞行员按时进行复诵，且复诵内容无误，则输出检测结果为
复诵正确。
70.s524：进行工作状态检测，对s1输出的单句语音信号和s2得到的对应转录文本分别进行工作状态检测，检测管制通话过程中是否出现语气消沉、打呵欠、指令文本重复或多次更正等现象；并结合两种信息，综合判断当前说话人的工作状态。
71.将输出的单句语音信号和s2得到的对应转录文本输入工作状态检测模型，输出基于语音、基于文本和综合的工作状态检测结果，具体分类和判断标准包括：状态良好：判断标准为管制语音语气平和、无明显卡顿和情绪波动，对应的转录文本无重复或多次修改；中度疲劳：有可能表现出注意力不集中、反应时间变长等生理现象，工作效率降低，进而导致出现监听指令复诵不足、航空器呼号出错、雷达监控不足等现象等潜在飞行安全隐患，判断标准为管制语音声音沉闷、偶尔出现卡顿，对应的转录文本存在部分词语多次重复或修改的情况；重度疲劳：有可能表现出反应迟钝等生理现象，从而出现无法响应突发异常事件、发布错误指令或错误地执行指令等直接造成飞行事故的可能，可能对管制工作产生重大隐患，判断标准为管制语音语速变慢、声音有气无力、吐字不清等，对应的转录文本存在频繁重复或修改、语义不清的情况；状态紧张：有可能正面临特情和突发事件，出现工作人员无法正确应对的情况，在此状态下，极易产生人为因素导致的安全隐患，可能需要根据实际情况协助工作人员调整精神状态或增派人员，判断标准为管制语音语速急促、声音较大、情绪波动较大，对应的转录文本可能出现部分字词频繁重复的情况。
72.其中，所述工作状态检测模型包括以下搭建流程：a、搭建工作状态检测模型框架，模型结构如图7所示，具体流程如下：a1、分别提取语音和文本特征，将所述语音和文本分别输入对应的特征提取器中，语音使用mfcc特征，文本使用词嵌入特征，特征维度为768。
73.a2、分别进行语音和文本特征编码，构建语音和文本的特征编码器，两个特征编码器使用相同结构，均由2个一维卷积层（conv1d layer）、激活函数层（gelu）和1个循环神经网络层组成；循环神经网络采用双向长短期记忆神经网络，特征维度为768，隐藏层维度为1024。
74.a3、分别对得到的特征编码进行工作状态分类，分别构建基于语音和文本的工作状态分类器，两个分类器结构相同，均由1个全连接层构成。
75.a4、进行综合工作状态分类，构建综合工作状态分类器，分类器由一个全连接层构成，输入为语音、文本特征编码器的输出和。
76.b、使用真实环境下采集并进行标注的空管指令语音、文本样本对所述工作状态检测模型进行训练直至网络收敛。
77.s53、显示所述中英文双语指令，显示实时局部空中交通态势，显示所述管制指令意图和参数，显示所述预测的航班飞行轨迹。
78.实施例3如图8所示，一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所
述至少一个处理器执行，以使所述至少一个处理器能够执行前述实施例所述的一种基于深度学习的飞机驾驶舱安全辅助方法。所述输入输出接口可以包括显示器、键盘、鼠标、以及usb接口，用于输入输出数据；电源用于为电子设备提供电能。
79.本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（read only memory，rom）、磁碟或者光盘等各种可以存储程序代码的介质。
80.当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
81.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。