基于视线轨迹的模拟飞行操作测试系统及测试方法与流程

本发明属于眼球追踪技术领域，具体涉及一种基于视线轨迹的模拟飞行操作测试系统及测试方法。

背景技术：

2009年12月在南京市成功举办了首届全国模拟飞行锦标赛，有32只代表队213名运动员争夺30块金牌。模拟飞行作为一项新兴的以航空知识和飞行技艺为核心的运动项目，在中国乃至世界已拥有越来越广泛的活动人群，因此在国内外均有相关的模拟飞行组织。

然后，模拟飞行最大的价值在于可以为飞行员在实际驾驶飞行器前提供模拟训练，避免实际飞行过程中带来的不必要的危险。飞行模拟器或飞行模拟机，又称为模拟驾驶舱，是一种尽可能真实地再现或模拟航空器驾驶感觉的系统。目前，飞行模拟器已广泛地运用于由航空工业设计和研发，以及为民用和军用飞机做飞行员与机组成员培训。

然后，对于飞行员来说，还没有一套很成熟的测试系统和方法来辅助其进行模拟训练和评估。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供了一种基于视线轨迹的模拟飞行操作测试系统及测试方法。

本发明的一个实施例提供了一种基于视线轨迹的模拟飞行操作测试系统，包括：模拟飞行器和测试设备，所述测试设备包括通信模块、处理模块及采集模块，所述处理模块中存储有对于不同飞行操作模式下的第一视线轨迹，所述测试设备佩戴于飞行员的头部位置处以用于通过所述采集设备采集所述飞行员的瞳孔图像；其中，

所述模拟飞行器启动某一模拟飞行操作模式时，向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并转发至所述处理模块，所述处理模块根据所述测试指令调取对应的所述第一视线轨迹并控制所述采集模块采集当前所述飞行员的第二瞳孔图像，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，对比所述第一视线轨迹与所述第二视线轨迹以考核所述飞行员的操作情况。

在本发明的一个实施例中，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，包括：

所述处理模块根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；

所述处理模块根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；

所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。

在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)为：其中，(X,Y)为观测点在所述指定平面中的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。

在本发明的一个实施例中，所述第一视线轨迹的形成，包括步骤：

在某一模拟飞行操作模式下，所述采集模块采集规范飞行的操作者的第一瞳孔图像；

所述处理模块根据所述第一瞳孔图像确定所述第一瞳孔图像的瞳孔边缘位置以确定所述第一瞳孔的中心点位置；

所述处理模块根据预设的映射函数确定所述第一瞳孔的中心点位置对应在指定平面上的第一观测点位置；

所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第一观测点按照时间顺序进行拟合形成所述第一视线轨迹。

在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)为：其中，(X,Y)为观测点在所述指定表面的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。

在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)中的所述模型参数的确定步骤为：

所述模拟飞行器的屏幕上依次显示K个观测点(X,Y)以引导所述飞行员或者所述操作者注视所述K个观测点；所述屏幕所在的平面为所述指定平面；

所述采集模块采集所述飞行员或者所述操作者在观看所述K个观测点时的瞳孔图像，并由所述处理模块获得瞳孔中心点(x,y)；

所述处理器根据所述K个观测点(X,Y)和对应的所述瞳孔中心点(x,y)计算所述模型参数。

本发明的另一个实施例提供了一种基于视线轨迹的模拟飞行操作测试方法，包括：

进入某一模拟飞行操作模式时，接收模拟飞行器的测试指令；

根据所述测试指令调取与所述测试指令对应的第一视线轨迹，所述第一视线轨迹是预先设定好并存储在本地的；

采集飞行员的第二瞳孔图像，并根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹；

对比所述第一视线轨迹和所述第二视线轨迹的偏差率以考核所述飞行员的操作情况。

在本发明的一个实施例中，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，包括：

根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；

根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；

将在所述某一模拟飞行操作模式下的所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。

在本发明的一个实施例中，根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置，包括：

对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；

估算所述第二瞳孔的中心点位置形成初始中心点；

以所述初始中心点为中心沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置点；

对多个所述瞳孔边缘位置点进行拟合处理形成类椭圆曲线，以所述类椭圆曲线的中心作为所述第二瞳孔的中心点位置。

在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)为：其中，(X,Y)为观测点在所述指定平面的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。

本发明实施例，通过视线轨迹的对比，即将合格的飞行员在某一驾驶模式或者场景下的视线轨迹通过大数据分析的方式形成标准化的视线轨迹范围，与被测试的飞行学员的视线轨迹进行比对，将重合度作为考核飞行学员的指标之一，该方式可以有效地对飞行学员进行测试，能够辅助模拟飞行的测试，提高测试效果。

附图说明

图1为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试系统的结构示意图；

图2为本发明实施例提供的一种模拟飞行器的外形结构示意图；

图3为本发明实施例提供的一种测试设备的外形结构示意图；

图4为本发明实施例提供的另一种测试设备的电路结构示意图；

图5为本发明实施例提供的一种视线轨迹对比的示意图；以及

图6为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试方法的示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1及图2，图1为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试系统的结构示意图，图2为本发明实施例提供的一种模拟飞行器的外形结构示意图。该系统10包括模拟飞行器11和测试设备13，其中，该模拟飞行器11与测试设备13通信连接以传输测试指令和对比数据。

请参见图3，图3为本发明实施例提供的一种测试设备的外形结构示意图，测试设备13的形状可以设置为类似于眼镜的形状，包括镜框131和镜腿133，且在镜框131的内侧缘位置设置采集模块，该采集模块可以为多个瞳孔图像采集器135，且多个瞳孔图像采集器135优选均匀设置于内侧缘位置，当然也可以根据实际设计要求，主要分布在上侧或者下侧，或者为了节省成本也可以设置一个瞳孔图像采集器135，此处不做任何限制。

另外，瞳孔图像采集器优选为包括至少一个红外灯源的图像采集器。因为瞳孔内、外对红外线的反射有很明显的差异，拍摄的图像在瞳孔区域光线较强，亮度高；在非瞳孔区则图像较暗，亮度低，因此采用包括红外光源的图像采集器可以更好地拍摄到瞳孔的图像。

请参见图4，图4为本发明实施例提供的另一种测试设备的电路结构示意图。该测试设备13的电路组成可以包括：通信模块、处理器及采集模块。其中，通信模块、采集模块均电连接至处理器。通信模块优选采用WIFI模块，采集模块可以为包括至少一个红外灯源的摄像器。

具体的工作原理如下：

1、第一视线轨迹形成阶段：在某一模拟飞行操作模式下，所述采集模块采集规范飞行的操作者的第一瞳孔图像；所述处理模块根据所述第一瞳孔图像确定所述第一瞳孔图像的瞳孔边缘位置以确定所述第一瞳孔的中心点位置；所述处理模块根据预设的映射函数确定所述第一瞳孔的中心点位置对应在指定平面上的第一观测点位置；所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第一观测点按照时间顺序进行拟合形成所述第一视线轨迹。

请参见图5，图5为本发明实施例提供的一种视线轨迹对比的示意图。通过大数据的分析思路，采集多个合格的飞行员在某一种驾驶模式或者场景下的视线轨迹形成视线轨迹区域，以供后期飞行学员在测试阶段的参考数据。需要说明的是，由于飞行员的身高、坐姿及操作过程中个性化的视线方向等偏离因素，会影响视线轨迹的对比，因此需要通过大数据分析的方式，以大量视线轨迹形成的区域作为标准，消除这些偏离因素的影响，具备鲁棒性。优选采集100个以上的样本。

2、测试阶段，启动某一模拟飞行操作模式时，向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并转发至所述处理模块，所述处理模块根据所述测试指令调取对应的所述第一视线轨迹并控制所述采集模块采集当前所述飞行员的第二瞳孔图像，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，对比所述第一视线轨迹与所述第二视线轨迹以考核所述飞行员的操作情况。

即在有参考视线轨迹后，飞行学员进入模拟飞行器，佩戴测试设备，做好准备工作后，由语音提示开始操作启动测试，此时，测试设备会接收到模拟飞行器的测试指令，启动模拟操作。对应地，处理模块调用对应模式下的图像采集时间点，由采集模块根据处理模块规定的时间对瞳孔图像进行采集，并将采集后的瞳孔图像发送至处理模块，由处理模块进行处理形成该飞行学员的视线轨迹，将该视线轨迹与预先存储的参考视线轨迹区域进行比对以确定该飞行学员的模拟操作成绩。

具体地，所述处理模块根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；所述处理模块根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。

其中，所述映射函数(X,Y)＝F(x,y)为：其中，(X,Y)为观测点在所述指定平面中的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。

对于模型参数的计算方式如下：

所述模拟飞行器的屏幕上依次显示K个观测点(X,Y)以引导所述飞行员或者所述操作者注视所述K个观测点；所述屏幕所在的平面为所述指定平面；

所述采集模块采集所述飞行员或者所述操作者在观看所述K个观测点时的瞳孔图像，并由所述处理模块获得瞳孔中心点(x,y)；

所述处理器根据所述K个观测点(X,Y)和对应的所述瞳孔中心点(x,y)计算所述模型参数。

例如，屏幕中依次出现的K个点的坐标记录为X＝(X₁,X₂,X₃…X_k),Y＝(Y₁,Y₂,Y₃…Y_k)，对应的瞳孔中心坐标为x＝(x₁,x₂,x₃…x_k),y＝(y₁,y₂,y₃…y_k)，模型的建立则可以用下面的矩阵表达：

将该模型使用矩阵形式表达为：

则

在本模型中，取K＝6时，X，Y对应有6个屏幕坐标，瞳孔相应也有6个对应中心坐标，X＝|X₁,X₂,X₃,X₄,X₅,X₆|，Y＝|Y₁,Y₂,Y₃,Y₄,Y₅,Y₆|，同理，x＝|x₁,x₂,x₃,x₄,x₅,x₆|，y＝|y₁,y₂,y₃,y₄,y₅,y₆|，那么上面的矩阵可以进一步改写为：

通过方程组求出a、b、c、d、e、f、g、h、k、l、m及n，进而得到所述映射模型。

本实施例，通过对飞行员在模拟操作过程中的视线轨迹与预先存储的标准视线轨迹区域在时间轴上进行对比，以作为飞行员针对此次训练的测试结果，对飞行员的驾驶和特情处置能力的辅助考核指标之一，该方法可以提高模拟飞行操作的精确度。

实施例二

请参见图6，图6为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试方法的示意图。该方法可以包括如下步骤：

步骤1、进入某一模拟飞行操作模式时，接收模拟飞行器的测试指令；

步骤2、根据所述测试指令调取与所述测试指令对应的第一视线轨迹，所述第一视线轨迹是预先设定好并存储在本地的；

步骤3、采集飞行员的第二瞳孔图像，并根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹；

步骤4、对比所述第一视线轨迹和所述第二视线轨迹的偏差率以考核所述飞行员的操作情况。

其中，步骤2可以包括：

步骤21、根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；

步骤22、根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；

步骤23、将在所述某一模拟飞行操作模式下的所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。

其中，步骤21可以包括如下步骤：

步骤211、对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；

步骤212、估算所述第二瞳孔的中心点位置形成初始中心点；

步骤213、以所述初始中心点为中心沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置点；

步骤214、对多个所述瞳孔边缘位置点进行拟合处理形成类椭圆曲线，以所述类椭圆曲线的中心作为所述第二瞳孔的中心点位置。

其中，步骤211中，采用增强算子作用在第二瞳孔图像的每个像素以使图像亮度增强进而实现灰度对比度的增大，之后对所述红外图像采用拉普拉斯法进行图像滤波处理；

其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；其中，En为增强算子，f0为原函数灰度值，c是常系数。其中，c的具体取值可根据实际情况设置，本发明在此不做限制。

步骤212中，采用灰度积分法在所述修正红外图像上估算瞳孔中心位置的坐标(xmin，ymin)；其中，xmin和ymin的公式为：

其中，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值。

因为瞳孔中心位置处最暗，通过上述求最小值的方法，可以估算出瞳孔中心的粗略位置。

在步骤213中，由于瞳孔内、外对红外线的反射有很明显的差异。瞳孔区域灰度明显低于其他区域，在边缘位置处，梯度变化剧烈。过处理后的图像信息中，在指定的方向上，瞳孔区的灰度值与非瞳孔区的灰度值在交界处有剧烈的变化，在交界处的梯度值也会达到最大，据此判断出瞳孔边缘点的位置。

例如，设f(i,j)为图像f在坐标(i,j)处的灰度值，灰度值的偏微分为：

则该方向的灰度梯度D最大的点即为边缘点。

另外，步骤214可以包括：

步骤a、从N个所述特征点中选取任意5个点，使用最小二乘法进行椭圆拟合形成第一类椭圆方程；

步骤b、对N个所述特征点利用随机采样一致性算法通过所述第一类椭圆方程进行局内点和局外点甄别，统计得到M个局内点和N-M个局外点；

在本实施例中，落在所述类椭圆上的点，视为局内点。当然，本发明不在此处做限制。

步骤c、判断局内点占有率是否小于第一阈值t1；若是，则确定所述5个点为非典型特征点，拟合椭圆为非典型特征椭圆，则重新执行步骤a；若否，则确定所述5个点为典型特征点，则执行步骤d；

步骤d、根据所述M个局内点任意选取5个点，利用最小二乘法对所述第一类椭圆方程进行优化形成第二类椭圆方程，并对所述N个特征点利用随机采样一致性算法通过所述第二类椭圆方程进行局内点和局外点甄别，最终统计得到M1个局内点和N-M1局外点；

步骤e、判断局内点占有率是否大于第二阈值t2；如是，则终止迭代，认为所述第二类椭圆方程为最优方程；若否，则执行步骤d。

本实施例，通过飞行员的瞳孔中心点的坐标和预设的映射模型确定在指定平面的观测点坐标，将观测点坐标按照时间进行拟合形成视线轨迹，与预设的视线轨迹进行比对，从而完成对飞行员本次模拟过程中的考核，提高了训练效果。

进一步地，对于第一视线轨迹的确定类似于本实施例中对于第二视线轨迹的确定方式，此处不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。