本发明涉及航空安全,尤其涉及一种识别飞行员执行任务类型的系统与方法。
背景技术:
1、飞行员在遭遇突发情况时需要执行快速检查单(quick reference handbook,qrh),不同的突发情况对应不同的qrh任务流程,因此飞行员视觉注意力分配也会相应的发生变化。一般的,飞行员的主要任务是维持飞机的正常运行,而当遭遇突发情况是,飞行员既需要执行原来稳定飞行的任务,又需要按照快速检查单的步骤执行检查的任务,这意味着,此时飞行员的行为是这两种行为的叠加。这种叠加导致在执行快速检查单的过程中,飞行员的视觉注意力分配呈现出2个特点,第一是不完备性,视觉注意力分配的变化过程不会与执行的检查单类型完全高度吻合;第二是干扰性,对于飞行员而言,其通过眼睛获取信息的过程是一个受到干扰的过程。这些特点使得视觉注意力分配的变化中包含了丰富的信息可以用于识别飞行员执行的检查单任务类型,但在实际识别中又存在一定的挑战。
2、描述飞行员何时开始进入处理突发情况的特定任务程序具有重要意义,其为分析飞行员在执行这些特定任务过程中可能遇到的干扰提供了重要的信号基础,对于机组人员的管理、培训优化,以及事故的分析与预防等方面,都是十分重要的信息。然而,现阶段缺乏专门用于分析飞行员执行任务类型变化情况的模型,以及更缺乏有效的方法来准确判断飞行员何时进入特定的任务程序。
3、使用滑动窗口的方法可以了解在整个过程中飞行员执行任务的变化情况,但是,传统的确定滑动窗口长度的方法均存在一些不足,例如需要大量先验知识对不同的窗口长度进行调试,基于经验确定最终的长度;例如窗口长度一般都是固定的,而不是动态变化调整的。在飞行过程中飞行员可能需要执行许多不同的qrh任务程序,每一个qrh任务程序都有不同的执行时间,并且即便是针对相同的qrh任务程序,不同人员的执行时间也可能有较大差别。因此使用传统的单一固定的窗口长度,将会导致对飞行员执行任务变化情况进行分析存在较大偏差。
4、因此,本领域的技术人员致力于开发一种识别飞行员执行任务类型的系统与方法。
技术实现思路
1、有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是如何真实准确地反映出执行任务类型切换的过程,准确地定位进入特定执行任务类型的时间。
2、本技术为了更好分析飞行员qrh执行任务类型的变化情况,以及更精确地描述飞行员进入特定qrh执行任务程序的时间,提出基于飞行员视觉注意力分配变化的执行任务类型预测模型。采集飞行员在执行特定任务过程中的眼动数据,生成眼动特征序列作为输入数据,任务类型作为输出数据,使用根据视觉注意力分配变化情况,训练出飞行员执行任务类型的执行任务分类模块。然后使用滑动窗口的方法,分析出在具体时刻飞行员最有可能执行的任务类型。根据任务类型随滑动窗口(时间)的移动,确定飞行员进入最有可能执行的任务类型的时间。本技术使用自适应动态调整滑动窗口的后验算法,通过迭代的方式使得滑动窗口长度能随着时间的推移而动态调整,从而得到更加准确的分析结果。
3、本技术的一个实施例中,提供了一种识别飞行员执行任务类型的系统,包括:
4、眼动特征采集模块,采集飞行员的眼动数据,生成眼动特征序列;
5、滑动窗口处理器模块,对于整个飞行过程中的眼动特征序列,设定滑动窗口序列,让滑动窗口序列中的滑动窗口随时间平移,获得滑动窗口内的眼动特征序列;
6、执行任务分类模块,输入滑动窗口内的眼动特征序列,进行特征提取与融合,对执行任务类型进行识别,得到滑动窗口内的最有可能的执行任务类型;
7、滑动窗口自适应模块,根据滑动窗口内的最有可能的执行任务类型,使用自适应动态调整滑动窗口的后验算法,自动迭代计算出最优的滑动窗口长度,滑动窗口长度随时间变化动态调整,动态调整后的滑动窗口组成新的滑动窗口序列;
8、序列分析器模块,输入滑动窗口内的最有可能的执行任务类型,精确计算飞行员进入最有可能的执行任务类型的时间点,描述整个飞行过程中执行任务类型切换的情况和单个执行任务类型的时间。
9、眼动特征采集模块、滑动窗口处理器模块、执行任务分类模块和序列分析器模块依次通信连接,执行任务分类模块和滑动窗口自适应模块通信连接。
10、可选地,在上述实施例中的识别飞行员执行任务类型的系统中,眼动特征采集模块使用眼动仪。
11、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,眼动仪使用tobii glasses 3。
12、可选地,在上述任一实施例中的识别飞行员执行任务类型的系统中,眼动数据包括采样点信息,采样点信息包括:时间戳、眼动类型、注视仪表盘的位置。
13、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,眼动类型包括凝视(fixation)和扫视(saccade)。
14、可选地,在上述任一实施例中的识别飞行员执行任务类型的系统中,执行任务分类模块包括:
15、特征提取单元,将一次执行任务类型的眼动特征序列作为输入,提取出该执行任务类型情况下表征视觉注意力分配的特征向量;
16、特征筛选单元,对表征视觉注意力分配的特征向量进行降维并筛选,去除特征中的冗余信息;
17、分类器单元,驻留执行任务类型预测模型,输入经过筛选的特征向量,输出滑动窗口内的最有可能的执行任务类型。
18、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,特征提取单元包括:
19、统计学计算子单元,根据滑动窗口内的眼动特征序列,计算表征视觉注意力分配变化的统计学指标并拼接成向量,得到统计学指标的特征向量;
20、aoi转换子单元,把驾驶舱内可见的区域划分为不同的感兴趣区域(area ofinterest,aoi),将飞行员每一个时刻注视的点划分到对应的aoi下,将滑动窗口内的眼动特征序列转换为aoi状态转移序列;对该aoi状态转移序列建立马尔可夫模型,提取转移速率特征向量和aoi内停留的时间分布与指数分布的距离特征向量,描述飞行员视觉注意力分配的变化。
21、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,对统计学指标的特征向量、转移速率特征向量和aoi内停留的时间分布与指数分布的距离特征向量加权并拼接,得到表征视觉注意力分配的特征向量。
22、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,统计学指标包括凝视平均时长、扫视平均时长、扫视平均跨度、眨眼频率、瞳孔平均直径大小。
23、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,不同的感兴趣区域(aoi)包括主飞行显示器(pfd)、导航显示器(mcp)、备用板(standby)、电子集中监视系统(ecam)、控制显示组件(cdu)、飞行控制组件(fcp)、窗外(otw)。
24、可选地,在上述任一实施例中的识别飞行员执行任务类型的系统中,表征视觉注意力分配的特征向量为高维特征向量。
25、可选地,在上述任一实施例中的识别飞行员执行任务类型的系统中,滑动窗口长度的范围为400s-1400s。
26、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,特征筛选单元对高维特征向量的每一维度特征通过方差分析(anova)的方法检验,分析在该维度上不同的执行任务类型之间是否存在显著性差异,不高于显著性水平,则判定不存在显著性差异,舍弃该维度特征。
27、优选地,在上述实施例中的识别飞行员执行任务类型的系统中,显著性水平 a= 0.05。
28、可选地,在上述任一实施例中的识别飞行员执行任务类型的系统中,执行任务类型预测模型基于支持向量机(support vector machine,svm)。
29、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,执行任务类型预测模型训练过程包括:
30、s1000、采集试验数据,设计执行任务类型试验,采集多个任务场景下的飞行员的眼动数据;
31、s2000、提取任务场景切片数据,试验结束后,每个飞行员执行每个任务场景的过程被单独提取出来作为任务场景切片数据,所述任务场景切片数据包含飞行员编号、任务场景编号(即执行任务类型编号)以及对应的眼动数据;
32、s3000、提取表征视觉注意力分配的特征向量,所述特征提取单元从所述任务场景切片数据对应的眼动数据中获取表征视觉注意力分配的特征向量;
33、s4000、筛选特征向量,特征筛选单元对所述表征视觉注意力分配的特征向量的每一维特征通过方差分析的方法检验,分析在该维度上不同的执行任务类型之间是否存在显著性差异,若不高于显著性水平,则判定不存在显著性差异,舍弃该维度特征;
34、s5000、训练完成,将经过筛选的特征向量作为输入,执行任务类型作为输出,使用支持向量机(support vector machine,svm)建立输入到输出的映射,得到所述执行任务类型预测模型。
35、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,执行任务类型试验中包括10-30名有经验的飞行员,年龄在30到50岁之间;所有的飞行员组合为10-30个机组,每一个机组包括一名主驾驶员(pm)与一名副驾驶员(pf)。
36、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,多个任务场景包括正常飞行中的有固定流程的任务场景和飞行过程中出现的故障任务场景。
37、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,正常飞行中的有固定流程的任务场景包括人工手动飞行、标准仪表离场。
38、进一步地,在上述实施例中的识别飞行员执行任务类型的系统中,飞行过程中出现的故障任务场景包括燃油不平衡、驾驶舱正常照明功能丧失。
39、可选地,在上述任一实施例中的识别飞行员执行任务类型的系统中,多个任务场景中每一个任务场景持续时间为20-30分钟,一轮试验时间大约为90min,一轮试验结束后机组人员休息30-50分钟。
40、基于上述任一实施例,本技术的另一个实施例中,提供了一种识别飞行员执行任务类型的方法,包括如下步骤:
41、s100、采集眼动数据,采集飞行员的眼动数据,生成眼动特征序列;
42、s200、获得眼动特征序列,对于整个飞行过程中的眼动特征序列,设定滑动窗口序列,让滑动窗口序列中的滑动窗口随时间平移,获得滑动窗口内的眼动特征序列;
43、s300、预测执行任务类型,输入滑动窗口内的眼动特征序列,进行特征提取与融合,对执行任务类型进行识别,预测滑动窗口内的最有可能的执行任务类型;
44、s400、动态调整滑动窗口,根据滑动窗口内的最有可能的执行任务类型,使用自适应动态调整滑动窗口的后验算法,自动迭代计算出最优的滑动窗口长度,滑动窗口长度随时间变化动态调整,动态调整后的滑动窗口组成新的滑动窗口序列;
45、s500、识别执行任务类型,输入滑动窗口内的最有可能的执行任务类型,精确计算飞行员进入最有可能的执行任务类型的时间点,描述整个飞行过程中执行任务类型切换的情况和单个执行任务类型的时间。
46、可选地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s100包括:
47、s110、采集飞行员的眼动数据,使用眼动仪采集飞行员的眼动数据,包括采样点信息,采样点信息包括:时间戳、眼动类型、注视仪表盘的位置;
48、s120、生成眼动特征序列,对眼动数据进行预处理,包括去除噪声、校正偏差,生成眼动特征序列。
49、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,眼动类型包括凝视(fixation)和扫视(saccade)。
50、可选地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s200包括:
51、s210、设定滑动窗口序列,对于整个飞行过程中的眼动特征序列,设定滑动窗口序列,设置滑动窗口长度的初始值;
52、s220、获得滑动窗口内的眼动特征序列,滑动窗口序列中的滑动窗口随时间平移,获得滑动窗口内的眼动特征序列。
53、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,滑动窗口长度的初始值= w*训练中得到的所有执行任务的执行时间的平均值,其中 w为系数。
54、优选地,在上述实施例中的识别飞行员执行任务类型的方法中, w=0.8。
55、可选地,在上述任一实施例中的识别飞行员执行任务类型的方法中,步骤s300包括:
56、s310、提取特征向量,将所述滑动窗口内的眼动特征序列作为输入,提取出该执行任务类型情况下表征视觉注意力分配的特征向量;
57、s320、降维并筛选,对表征视觉注意力分配的特征向量进行降维并筛选,去除特征中的冗余信息;
58、s330、预测执行任务类型,把经过筛选的特征向量输入训练好的执行任务类型预测模型,输出滑动窗口内的最有可能的执行任务类型。
59、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s310包括:
60、s311、计算统计学指标的特征向量,根据滑动窗口内的眼动特征序列,计算表征视觉注意力分配变化的统计学指标并拼接成向量,得到统计学指标的特征向量;
61、s312、提取转移速率特征向量和距离特征向量,把驾驶舱内可见的区域划分为不同的感兴趣区域(area of interest,aoi),将飞行员每一个时刻注视的点划分到对应的aoi下,将滑动窗口内的眼动特征序列转换为aoi状态转移序列;对该aoi状态转移序列建立马尔可夫模型,提取转移速率特征向量和aoi内停留的时间分布与指数分布的距离特征向量,描述飞行员视觉注意力分配的变化。
62、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,统计学指标包括凝视平均时长、扫视平均时长、扫视平均跨度、眨眼频率、瞳孔平均直径大小。
63、可选地,在上述任一实施例中的识别飞行员执行任务类型的方法中,执行任务类型预测模型基于支持向量机(support vector machine,svm)。
64、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,执行任务类型预测模型训练过程包括:
65、s1000、采集试验数据,设计执行任务类型试验,采集多个任务场景下的飞行员的眼动数据;
66、s2000、提取任务场景切片数据,试验结束后,每个飞行员执行每个任务场景的过程被单独提取出来作为任务场景切片数据,所述任务场景切片数据包含飞行员编号、任务场景编号(即执行任务类型编号)以及对应的眼动数据;
67、s3000、提取表征视觉注意力分配的特征向量,从所述任务场景切片数据对应的眼动数据中获取表征视觉注意力分配的特征向量;
68、s4000、筛选特征向量,对所述表征视觉注意力分配的特征向量的每一维特征通过方差分析的方法检验,分析在该维度上不同的执行任务类型之间是否存在显著性差异,若不高于显著性水平,则判定不存在显著性差异,舍弃该维度特征;
69、s5000、训练完成,将经过筛选的特征向量作为输入,执行任务类型作为输出,使用支持向量机(support vector machine,svm)建立输入到输出的映射,得到所述执行任务类型预测模型。
70、可选地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s400包括:
71、s410、自适应动态调整滑动窗口,根据滑动窗口内的最有可能的执行任务类型,使用自适应动态调整滑动窗口的后验算法,自动迭代计算出最优的滑动窗口长度;
72、s420、生成新的滑动窗口序列,滑动窗口长度随时间变化动态调整,动态调整后的滑动窗口组成新的滑动窗口序列,并使用高斯平滑函数进行平滑处理;
73、s430、迭代预测执行任务类型,使用高斯平滑后的滑动窗口序列预测滑动窗口内的最有可能的执行任务类型,直到满足结束条件,得到最终的滑动窗口内的最有可能的执行任务类型,否则迭代执行步骤s410-步骤s430。
74、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s420中的高斯平滑函数的 σ选择范围是大于等于采样点数量/50,小于等于采样点数量/30。
75、优选地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s420中的高斯平滑函数的 σ等于采样点数量/40。
76、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s430中的结束条件为当前滑动窗口序列中滑动窗口长度与上一次迭代滑动窗口序列中对应滑动窗口长度的差的平方和不大于设定的阈值 threshold,公式如下:
77、
78、其中,为当前滑动窗口序列中滑动窗口长度,为上次滑动窗口序列中滑动窗口长度,| |表示向量的模长,为设定的阈值。
79、优选地,在上述实施例中的识别飞行员执行任务类型的方法中,设定的阈值 threshold=5。
80、进一步地,在上述实施例中的识别飞行员执行任务类型的方法中,步骤s500包括:
81、s510、分析最终预测结果,根据最终的执行任务类型的预测结果,得到每一个时刻最有可能的执行任务类型;
82、s520、计算执行任务类型的时间点,计算飞行员进入最有可能的执行任务类型的时间点,描述整个飞行过程中执行任务类型切换的情况和单个执行任务类型的时间。
83、本发明基于飞行员视觉注意力分配变化情况,使用滑动窗口的方法来分析飞行员执行任务类型的切换过程,通过迭代的方式使得滑动窗口长度能随着时间的推移而动态调整,能够准确分析飞行员执行任务类型的变化情况,以及精确地描述飞行员进入执行任务类型的时间。
84、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。