一种飞行员异常状态监测与预警系统及方法与流程

本发明专利涉及民航飞行员航线飞行安全监测技术，具体涉及一种飞行员异常状态监测与预警系统及方法。

背景技术：

1、机组人为因素是当前民航飞行事故的主要触发源，飞行员飞行错觉、不经意违规、恶意操纵和习惯性违规等异常状态和行为是其中占比不低于50％的核心原因。为了降低民航飞行事故的发生率，提高智能化技术进入座舱后人机权限分配的效能，国内外面向飞行员异常状态参数监测和行为判别开展了多方面的研究，但当前主要是研究心理变量与飞行安全外部表征，如qar超限和飞行操作评价，来对其进行判别告警，或是通过hfacs模型预测事故发生次数，都是属于间接测量方法，对作业人员状态的判别存在飞行任务绩效与生心理状态耦合的误差和延迟，无法响应座舱复杂作业条件下的异常状态改出的实时性要求。

技术实现思路

1、本发明提供一种飞行员异常状态监测与预警系统，针对飞行中引发航空事故的典型人为因素，构建一套主动式/预防式的飞行员异常状态监测与预警系统，通过对心电、眼动、面部表情和握杆力等多源异构生理行为参数的时间同步和特征对齐，实现实时状态下对飞行员异常情绪、异常行为和飞行错觉三种典型状态的动态能力曲线监测，以及与任务绩效效能等级相关的预测告警，为预防恶意操纵、改善习惯性违规和不经意疏失、改出飞行错觉、优化飞行任务绩效提供科学画像模型，为飞行员非技术能力评估提供定量化、自动化和标准化的测评手段，支撑航线飞行的安全预警和能力训练的定制化。

2、第一方面，本技术提供一种飞行员异常状态监测与预警系统，系统包括：生理与行为数据采集子系统、异常状态识别子系统、异常状态监测及告警子系统、综合分析与可视化管理子系统，其中：

3、生理与行为数据采集子系统包含生理数据接收模块、多模态数据融合处理模块和数据分发模块，用于接收采集设备上报的数据，并对其进行数据融合处理，并将原始数据、经过计算的特征数据以及识别模型结果传输至多模态数据分发系统进行统一分发；

4、异常状态识别子系统包含数据预处理模块、数据特征提取模块、异常状态综合分析运算模块、数据通信加密模块，用于不同模态生理行为数据的预处理、特征提取，以及模型识别算法，形成n种心理行为评估结果，并具有将运算结果数据融合以及分发功能；

5、异常状态监测及告警子系统，包含异常状态监测模块和告警模块，支持n种心理行为状态原始参数、特征参数和实时状态等级图形结果进行可视化显示，支持n种不同状态在场景差异、作业人员基线差异条件下的状态能力对比显示，并基于绩效关联给出实时作业能力告警和建议。

6、综合分析与可视化管理子系统是系统的综合管理平台，用于多模态生理心理融合数据管理，用户信息管理，实现系统的认证、授权和访问。

7、第二方面，本技术提供一种飞行员异常状态监测与预警方法，方法应用于如权利要求1所述的飞行员异常状态监测与预警系统，方法包括：

8、步骤1：通过人员管理模块完成个人生理行为基线数据更新，通过任务管理模块进行当天任务条件配置；

9、步骤2：通过多模态生理采集设备和行为采集设备接收生理行为数据，通过飞机/飞行模拟器数据接口接收任务参数；

10、步骤3：将面部表情和握杆力类视频/动作数据由非结构化向结构化转化，将任务参数和生理行为参数进行时间/特征关联；

11、步骤4：通过数据分发模块实时完成关联数据向通信监控系统的发送，以及综合分析系统的分类发送和存储；

12、步骤5：通过滤波、回归算法模型对生理数据进行降噪和完整性验证；

13、步骤6：面向心电/皮电信号进行时域、频域、时频域三个维度特征提取，眼动和握杆力信号进行专用特征提取；

14、步骤7：通过异常状态综合运算分析子系统输入预处理模块的特征数据，调用飞行员异常状态算法模型，给出状态判别结果并完成存储；

15、步骤8：通过加密算法对系统数据进行通信加密；

16、步骤9：通过监测模块在数据、特征、识别模型结果三个层面上对系统评估的状态及结果进行展示，告警模块对系统实时判别的结果进行语音告警；

17、步骤10：通过综合分析与可视化管理子系统完成用户信息存储、更新和个人基线状态定制化。

18、具体的，步骤4包括：

19、数据分发模块中的实时数据推送通道采用socket常连接模式与监控平台建立数据通讯，支撑数据的监测调用；

20、数据存储通道用于与服务器建立数据传输通道，根据不同的数据类型，将生理数据以及视频-行为数据有指向性的推送到各自的存储空间中，方便数据存储服务器对数据进行统一管理。

21、具体的，步骤5包括：

22、采用butterworth双向带通滤波器，去除基线漂移及工频噪音无效数据成分，抑制噪声并提取有效生理信号成分，以实现精准提取脉搏波峰；

23、采用线性回归模型、基于阶段信号的cnn模型、xgboosting模型方法对信号伪迹进行判断，进行数据完整性验证，实现优化的噪声去除，增强有效生理信号成分；

24、采用巴特沃斯带通滤波、高通/低通单向滤波、均值滤波器进行心电信号平滑、清洗处理。

25、具体的，步骤6包括：

26、通过数据特征提取模块对心电信号进行包括心率、心率变异性时域特征和频域特征的计算；

27、对皮电数据做模态分解，获取皮肤电导水平和皮肤电导反应，对两个成分求解一阶导数、二阶导数基于多模态生理数据的特征向量；

28、在特征层面上再次通过数据融合处理模块进行新特征的时序融合处理。

29、具体的，步骤7包括：

30、异常状态综合运算分析子系统接入不同模态数据的预处理、特征提取结果并完成存储；

31、分层次加载飞行员异常行为模型、异常情绪模型和飞行错觉模型，系统优先加载飞行员异常行为模型，调用握杆力行为特征、皮电特征、任务参数进行5个级的异常行为状态判断，在判断行为无误后加载异常情绪模型，调用面部表情、心电特征、任务参数进行5个情绪强度的状态级判断，在判断情绪处于高绩效区间加载飞行触觉模型，调用眼动特征、心电特征和任务参数，给出2种状态的能力识别结果。

32、具体的，步骤8包括：

33、使用国密非对称加密算法、国密哈希算法、国密对称加密算法进行通信加密；

34、通过非对称加密交换对称加密的密钥，确保密钥的安全交付；

35、通过加入防篡改、放重放请求机制，并在请求过程中使用对称加密进行通信内容加密，防止中间人攻击、重放攻击，确保通信流程安全。

36、具体的，步骤9包括：

37、在数据层上，对实时采集的多模态原始生理数据进行动态实时展示，显示飞行员生理信号随任务参数实时波动的状态；

38、在特征层上，对数据预处理后的心电/皮电、眼动、面部表情和握杆力特征进行筛选展示；

39、在识别结果层，以统计图表和数值的方式对飞行员异常状态识别模型计算结果进行不同飞行员的差异化对比显示，将异常情绪、异常行为、飞行错觉复杂生心理状态的在线实时状态和综合状态进行系统展示；

40、告警模块与三种异常状态不同告警机制和逻辑顺序关联对应，通过听觉预警的蜂鸣器发出特定强度和特定工作频率的预警信号，提示飞行员的异常工作状态。

41、具体的，步骤10包括：

42、通过人员管理模块进行每次任务后个人生理行为数据的更新和基线校正，保证不同飞行员的状态符合个人的纵向基准和不同任务场景的横向基准，并设置个人信息管理授权范围；

43、通过任务管理、参数管理、评估结果管理和时间管理完成原始数据、特征数据和算法模型输出数据的打包存储。

44、本发明提供一种飞行员异常状态监测与预警系统，本发明的优点：

45、1)首次面向民航飞行员异常生心理状态，提出飞行过程中基于生理行为参数的状态监测机制，通过客观直接的量化方法实现对异常状态的实时辨识；

46、2)首次提出心电、眼动、面部表情和握杆力四种多源异构心理行为参数的时间同步和融合特征对齐的方法，可同时支持不少于3种生理心理状态的辨识；

47、3)首次提出面向飞行员飞行任务中的异常情绪、异常行为和飞行错觉三种典型状态的综合判别和告警机制，为人机权限分配策略优化提供了数据支撑。

48、4)系统可支持将飞行训练数据和航线运行数据拉通，支撑飞行员心理能力的科学画像构建。