一种人机交互中用户操作意图和认知状态的识别方法与流程

本发明属于人机工程技术领域，具体涉及一种人机交互中用户操作意图和认知状态的识别方法。

背景技术：

在航空飞行操作、武器装备操作、数控机床操作、制造运行系统监控和操作等诸多领域，操作人员都需要完成大量的交互任务，处理海量的信息，并且对时效性和精确性的要求较高，这对操作人员的生理和心理都造成了极大的负担。此外长时间的高强度作业使得操作人员的工作效率持续降低，操作失误率不断升高。但现有的系统智能化水平不高，无法感知操控人员的操作需求，降低了交互任务的完成效率和可靠性。

此外，操作人员在完成人机交互任务的过程中可能处于不同的认知状态：在值班任务中，由于操作人员只需粗略监视整个界面，极易因任务的单调导致“脱环”。一旦发生警报，操作人员则需迅速处置异常状况，极易因任务的紧张导致“应激”。若无法对操作人员的认知状态进行实时监测，在“脱环”时予以提醒示警，在“应激”时提供信息帮助，则难以保证人机交互过程中的可靠性和高效性。

技术实现要素：

为了解决上述问题，本发明的目的是提出一种人机交互操作意图识别方法，本发明能够识别交互过程中的操作需求，为界面的自适应调整提供依据。同时，能够判断交互过程的认知状态，确保交互任务完成的可靠性。

为了达到上述目的，本发明采用以下技术方案予以解决。

一种人机交互中用户操作意图和认知状态的识别方法，包括以下步骤：

步骤1，采集用户在人机交互过程中的眼动特征数据和脑电信号数据；

其中，所述眼动特征数据为用户眼睛的有效注视点的x坐标和y坐标、注视时间、眼跳幅度、瞳孔直径；

步骤2，对所述眼动特征数据进行归一化处理，得到标准化眼动特征数据，选取连续多个有效注视点的标准化眼动特征数据，作为眼动特征参数；对所述脑电信号数据依次进行滤波和去伪迹操作，得到预处理后的脑电信号数据；选取预处理后的脑电信号数据中delta波、theta波、alpha波、bata波中每个脑电波功率占总频段波功率的比例，作为脑电特征参数；

步骤3，将眼动特征参数和脑电特征参数分别划分为训练集和测试集，分别构建操作意图svm分类器和认知状态svm分类器；采用眼动特征参数训练集中的样本对操作意图svm分类器进行训练，得到优化后的操作意图svm分类器；同时，采用脑电特征参数训练集中的样本对认知状态svm分类器进行训练，得到优化后的操作意图svm分类器；

步骤4，采用优化后的操作意图svm分类器对眼动特征参数测试集进行分类，输出对应的操作意图类别，完成操作意图识别；采用优化后的操作意图svm分类器对脑电特征参数测试集进行分类，输出对应的认知状态类别，完成认知状态识别。

进一步地，所述眼动特征数据通过眼动追踪器采集获得；所述脑电信号数据通过脑电放大器采集获得。

进一步地，所述有效注视点为将眼动追踪器输出的连续30个注视点取平均值作为一个有效注视点。

进一步地，所述操作意图包含监视戒备、目标搜索、表格查询、图标点击和目标追踪。

进一步地，所述认知状态包含平静状态、应激状态和脱环状态。

进一步地，所述采用眼动特征参数训练集中的样本对操作意图svm分类器进行训练，具体为：通过训练操作意图svm分类器，提取用户每个操作意图下的眼动特征参数，得到用户操作意图与眼动特征参数之间的匹配规则。

进一步地，所述采用脑电特征参数训练集中的样本对认知状态svm分类器进行训练，具体为：通过训练认知状态svm分类器，提取用户每个认知状态下的脑电波中的脑电特征参数，得到用户认知状态与脑电特征参数之间的匹配规则。

进一步地，所述采用优化后的操作意图svm分类器对眼动特征参数测试集进行分类为：根据所述用户操作意图与眼动特征参数之间的匹配规则，确定测试集中眼动特征参数对应的操作意图；具体为：

首先，使用有效注视点的x坐标和y坐标对空间特性进行约束；

其次，利用注视时间是否在注视停留时间阈值对时间特性进行约束；

最后，利用眼跳幅度和瞳孔直径作为辅助决策约束条件；

当用户的注视点在阈值时间内持续集中于固定的空间阈值区域范围内，并且瞳孔直径和眼跳幅度分别处于对应的阈值之内时，则确定对应的操作意图类别。

进一步地，所述采用优化后的操作意图svm分类器对脑电特征参数测试集进行分类，具体为：根据所述用户认知状态与脑电特征参数之间的匹配规则，确定测试集中脑电特征参数对应的认知状态。

与现有技术相比，本发明的有益效果为：本发明将人机交互过程中的眼动特征与用户操作意图相联系，通过训练支持向量机(svm)分类器实现用户操作意图的准确识别，提高人机交互效率，同时对于其他人机交互过程中的操作意图的识别分类具有一定的借鉴意义。本发明将人机交互过程中的用户脑电信号与其认知状态建立联系，通过训练对应的svm分类器实现用户认知状态的准确识别，提高了人机交互过程的可靠性，避免值班或枯燥任务中，用户注意力不集中导致的险情漏报现象。

附图说明

下面结合附图和具体实施例对本发明做进一步详细说明。

图1是本发明实施例的基于眼动特征的人机交互操作意图识别流程示意图；

图2是本发明实施例的基于脑电信号的人机交互认知状态识别流程示意图。

具体实施方式

下面结合附图对本发明的实施例及效果作进一步详细描述。

参考图1和图2，本发明实施例提供一种人机交互中用户操作意图和认知状态的识别方法，包括以下步骤：

步骤1，采集用户在人机交互过程中的眼动特征数据和脑电信号数据；

具体地，采用单相机双红外传感器眼动追踪设备采集眼动特征数据：用户眼睛的有效注视点的x坐标和y坐标、注视时间、眼跳幅度、瞳孔直径；所述通过脑电放大器采集脑电信号数据。

步骤2，对所述眼动特征数据进行归一化处理，得到标准化眼动特征数据，选取连续多个有效注视点的标准化眼动特征数据，作为眼动特征参数；对所述脑电信号数据依次进行滤波和去伪迹操作，得到预处理后的脑电信号数据；选取预处理后的脑电信号数据中delta波、theta波、alpha波、bata波中每个脑电波功率占总频段波功率的比例，作为脑电特征参数；

具体地，一方面，对于操作意图识别：

首先，眼动数据处理器将采集到的眼动特征数据进行归一化处理，使所有眼动特征数据都映射在[0,1]范围内，形成标准化眼动特征数据；

其中，max(x)和min(x)分别为所有眼动特征数据中的最大值与最小值。

然后，选取连续的3个有效注视点的x坐标和y坐标、注视时间、眼跳幅度、瞳孔直径总共15个眼动指标作为分析用户操作意图的眼动特征参数；此处，将眼动追踪器输出的连续30个注视点取平均值作为1个有效注视点。

最后，将人机交互的操作意图归纳为监视戒备、目标搜索、表格查询、图标点击和目标追踪五种。

另一方面，对于认知状态识别：

首先，由信号处理器对脑电数据进行滤波、去伪迹等操作；

其次，将人机交互中用户的认知状态分为平静状态、应激状态和脱环状态3种；

最后，信号分析器对脑电信号功率谱分析，计算不同频段脑电波功率占总频段波功率的比例；基于认知状态种类，选取脑电信号中delta波、theta波、alpha波、bata波这4种不同频段的脑电波功率比作为评估认知负荷的脑电指标；

用户处于不同认知状态下，脑电信号中的delta波、theta波、alpha波、bata波的功率不同。

步骤3，将眼动特征参数和脑电特征参数分别划分为训练集和测试集，分别构建操作意图svm分类器和认知状态svm分类器；采用眼动特征参数训练集中的样本对操作意图svm分类器进行训练，得到优化后的操作意图svm分类器；同时，采用脑电特征参数训练集中的样本对认知状态svm分类器进行训练，得到优化后的操作意图svm分类器；

具体地，通过训练操作意图svm分类器，提取用户每个操作意图下的眼动特征参数，得到用户操作意图与眼动特征参数之间的匹配规则。同时，通过训练认知状态svm分类器，提取用户每个认知状态下的脑电波中的脑电特征参数，得到用户认知状态与脑电特征参数之间的匹配规则。

步骤4，采用优化后的操作意图svm分类器对眼动特征参数测试集进行分类，输出对应的操作意图类别，完成操作意图识别；采用优化后的操作意图svm分类器对脑电特征参数测试集进行分类，输出对应的认知状态类别，完成认知状态识别。

具体地，根据所述用户操作意图与眼动特征参数之间的匹配规则，确定测试集中眼动特征参数对应的操作意图；具体为：

首先，使用有效注视点的x坐标和y坐标对空间特性进行约束；

其次，利用注视时间是否在注视停留时间阈值对时间特性进行约束；

最后，利用眼跳幅度和瞳孔直径作为辅助决策约束条件；

当用户的注视点在阈值时间内持续集中于固定的空间阈值区域范围内，并且瞳孔直径和眼跳幅度分别处于对应的阈值之内时，则确定对应的操作意图类别，从而实现人机交互任务中操作意图的准确识别，降低长期人机交互过程中的操作失误率。

采用优化后的操作意图svm分类器对脑电特征参数测试集进行分类，具体为：根据所述用户认知状态与脑电特征参数之间的匹配规则，确定测试集中脑电特征参数对应的认知状态。将对认知状态的判断转化为基于脑电信号中不同频段波的量化方法。根据这4种脑电信号指标与用户不同认知状态的匹配规则，实现对人机交互过程中用户认知状态的可靠判断。当用户处于脱环状态时可以进行相应警示。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。