一种二维光标控制方法和装置与流程

本发明结合眼动追踪技术、虚拟现实技术及脑机接口技术，涉及图像处理、信号编/解码领域，特别涉及一种二维光标控制方法和装置。

背景技术：

眼睛是人类从周围世界中获取信息的重要器官。人所接收到的外界信息有80％来自于眼睛所建立的视觉通道，同时人在进行思维或者心理活动时会将其活动过程反映在眼动行为上。眼动追踪技术是指通过测量眼睛的注视点位置或者眼球相对头部的运动而实现对眼球运动的追踪。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求并进行响应，达到用眼睛控制设备的目的。可以说，眼动追踪技术是当前科技允许的条件下，“透视”人类思维的最为直观有效的途径。

相比于传统交互方式，虚拟现实(virtualreality,vr)技术模拟出的环境真实性与现实世界难辨真假，让人有种身临其境的感觉。同时，虚拟现实技术具有一切人类所拥有的感知功能系统和超强仿真系统，真正实现了人机交互，使人在操作过程中，可以得到环境中最真实的反馈。正是由于其沉浸性、交互性、多感知性、构想性及自主性，虚拟现实技术的应用场景越来越广泛。而结合了眼动追踪技术的vr头显，可以提供一种更加真实和自然的数字化交互方式。这种交互方式可以用于军事模拟训练，模拟现实中难以布置的战场环境，以及应对战争的超高压状态和如何在敌人火力凶猛的情况下瞄准并击中目标。同时，随着远程遥控技术的提高，vr头显因具备宽广的观察角度及极强的代入感，将成为军用无人机、遥控机器人等设备的最佳观察遥控平台，极大的降低对战斗人员的消耗。

由于vr的交互能力依赖于立体显示和传感器技术的发展，现有的力学和触觉传感装置还不够成熟，导致vr设备的追踪精度和跟踪范围也有待提高。

技术实现要素：

本申请实施例提供了一种二维光标控制方法和装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种二维光标控制方法，所述方法包括：

获取信号采集模块采集到的眼动信号和脑电信号；

对所述眼动信号进行第一预处理，得到预处理后的眼动信号，以及对所述脑电信号进行第二预处理，得到预处理后的脑电信号；

对所述预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对所述预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；

将所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；

根据高斯过程回归模型对所述分类结果进行回归预测，预测出二维光标的目标位置，其中，所述高斯过程回归模型用于预测所述二维光标的所述目标位置；

控制所述二维光标移动至所述目标位置。

第二方面，本申请实施例提供了一种二维光标控制装置，所述装置包括：

获取模块，用于获取信号采集模块采集到的眼动信号和脑电信号；

预处理模块，用于对所述获取模块获取到的所述眼动信号进行第一预处理，得到预处理后的眼动信号，以及对所述脑电信号进行第二预处理，得到预处理后的脑电信号；

特征提取模块，用于对所述预处理模块得到的所述预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对所述预处理模块得到的所述预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；

分类模块，用于将所述特征提取模块提取的所述第一提取结果和所述第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；

预测模块，用于根据高斯过程回归模型对所述分类模块分类得到的所述分类结果进行回归预测，预测出二维光标的目标位置，其中，所述高斯过程回归模型用于预测所述二维光标的所述目标位置；

控制模块，用于控制所述二维光标移动至所述预测模块预测的所述目标位置。

本申请实施例提供的技术方案可以包括以下有益效果：

在眼动追踪技术及虚拟现实技术的基础上，结合了脑机接口技术，即由伪随机序列编码刺激的模式来诱发大脑编码调制视觉诱发电位信号。通过对眼动信号及编码调制视觉诱发电位信号的特征值融合，建立高斯过程回归模型，预测目标位置，最终实现二维光标的控制移动。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的一种二维光标控制方法的流程示意图；

图2是本申请实施例提供的一种二维光标控制方法的使用流程示意图；

图3是本申请实施例提供的一种二维光标控制方法的工作原理示意图；

图4是本申请实施例提供的一种二维光标控制方法的光标指令识别流程图；

图5是本申请实施例提供的一种二维光标控制装置的闪烁编码刺激原理示意图；

图6是本申请实施例提供的一种二维光标控制装置的模块示意图；

图7是本申请实施例提供的另一种二维光标控制装置的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

到目前为止，由于vr设备的追踪精度和跟踪范围优先，因此，无法实现对二维光标的精准控制。为此，本申请提供了一种二维光标控制方法和装置，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，在眼动追踪技术及虚拟现实技术的基础上，结合了脑机接口技术，即由伪随机序列编码刺激的模式来诱发大脑编码调制视觉诱发电位(code-modulatedvisualevokedpotentials,cveps)信号。通过对眼动信号及cveps信号的特征值融合，建立高斯过程回归模型，预测目标位置，最终实现二维光标的控制移动，下面采用示例性的实施例进行详细说明。

下面将结合附图1-附图5，对本申请实施例提供的二维光标控制方法进行详细介绍。

本公开实施例提供的二维光标控制方法的核心思想在于，在眼动追踪技术及虚拟现实技术的基础上，结合了脑机接口技术，即由伪随机序列编码刺激的模式来诱发大脑cveps(code-modulatedvisualevokedpotentials，编码调制视觉诱发电位)信号。通过对眼动信号及cveps信号的特征值融合，建立高斯过程回归模型，预测目标位置，最终实现控制二维光标的移动，并将二维光标移动至预测出的目标位置。

请参见图1，为本申请实施例提供了一种二维光标的控制方法的步骤示意图。如图1所示，本申请实施例的二维光标的控制方法可以包括以下步骤：

s101，获取信号采集模块采集到的眼动信号和脑电信号；

s102，对眼动信号进行第一预处理，得到预处理后的眼动信号，以及对脑电信号进行第二预处理，得到预处理后的脑电信号；

s103，对预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；

在此步骤中，眼动信号特征包括以下至少一项：

用户瞳孔特征、用户注视点数目特征和用户眼部注视时长特征。上述仅仅罗列了常见的眼动信号特征，还可以根据不同应用场景的需要，引入其它眼动信号特征，在此不再赘述。

在一种可能的实现方式中，对眼动信号进行第一预处理，得到预处理后的眼动信号包括以下步骤：

对眼部图像进行数据平滑处理和/或去噪滤波处理，得到包含眼动信号的眼部待处理数据；

从眼部待处理数据中剔除无效区域的数据，得到有效区域对应的第一有效数据；

利用矩阵法从第一有效数据中确定出与用户感兴趣区域对应的第二有效数据；

通过第一预处理模型，对第二有效数据进行预处理，得到预处理后的眼动信号。

需要说明的是，第一预处理模型为常规模型，第一预处理模型能够对第二有效数据进行卷积预处理，或者标准化预处理，得到预处理后的眼动信号。

在得到预处理的眼动信号之后，通过第一特征提取模型，对第二有效数据在时间和空间上进行特征提取，得到对应的眼动特征。

在此步骤中，第一特征提取模型为常规的特征提取模型，能够对与用户感兴趣区域对应的第二有效数据，在时间上和空间上进行特征提取。提取出的眼动信号特征可以包括用户瞳孔特征，还可以包括用户注视点数目特征和用户眼部注视时长特征。

在一种可能的实现方式中，在利用矩阵法从第一有效数据中确定出与用户感兴趣区域对应的第二有效数据之前，本公开实施例提供的二维光标控制方法还包括以下步骤：

确定用户感兴趣区域；这样，为了提高处理数据的效率，仅仅对用户感兴趣区域对应的第二有效数据进行特征提取，最终能够快速得到至少包括眼动信号特征的第一提取结果。

在一种可能的实现方式中，确定用户感兴趣区域包括以下步骤：

在用于采集眼动信号的第一信号采集模块采集到的第一监测数据显示用户瞳孔处于放大状态的情况下，确定当前区域为用户感兴趣区域；和/或，

在用于采集眼动信号的第二信号采集模块采集到的第二监测数据显示用户注视点数目大于或等于预设用户注视点数目阈值的情况下，确定当前区域为用户感兴趣区域；和/或，

在用于采集眼动信号的第三信号采集模块采集到的第三监测数据显示用户眼部注视时长大于或等于预设用户眼部注视时长阈值的情况下，确定当前区域为用户感兴趣区域。

上述仅仅罗列了常见的确定用户感兴趣区域的方法步骤，还可以根据不同应用场景的需要，引入其它用于确定用户感兴趣区域的方法步骤，在此不再赘述。

在实际应用中，对眼动信号进行特征提取的过程具体如下所述：

在对眼动信号进行特征提取的过程中，眼动信号采集器主要由眼动摄像头和具有红外光源的设备组成，用来实时采集用户眼球位置信息。采集得到的眼动信号，首先，进行数据平滑和去噪滤波。基于连续点对数据进行均值处理，获得平滑数据，降低突变噪声干扰。其次，保留数据的有效区域。一般情况下，眼动信号数据中有脱离有效区域的数据，处理时把脱离有效区域的数据剔除。利用由矩阵法建立的矩阵模型进行图像识别，保留识别出的感兴趣区域。对于感兴趣区域的图像，3d卷积能更好地捕获图像在时间上和空间上的特征信息。卷积层使用64个7×7×5的3d卷积核进行卷积操作(7×7为空间维度，5为时间维度，即每次操作5帧图像)。眼部图像信号经过卷积层后进入标准化，即：bn(batchnormalization，批量归一化)和relu(rectifiedlinearunit，修正线性单元)，得到特征图。

在此步骤中，脑电信号特征包括以下至少一项：

脑电信号对应的频率特征和脑电信号对应的相位特征。上述仅仅罗列了常见的脑电信号特征，还可以根据不同应用场景的需要，引入其它脑电信号特征，在此不再赘述。

在此步骤中，信号采集器通过位于顶叶和枕叶的九个电极(pz、po5、po3、poz、po4～po6、o1、oz、o2)实时记录脑电信号，参考电极设置在cz，信号采样率为1000hz。由于脑电信号幅值较弱，首先，对采集得到的信号进行信号放大处理，随后进行相应地预处理。在预处理过程中，首先，将脑电数据降采样至250hz，然后利用50hz的chebyshevⅰ型iir陷波器去除工频干扰，最后采用8-70hz的chebyshevⅰ型iir带通滤波器进行滤波降噪。预处理完成后，系统采用cca算法(canonicalcorrelationanalysis，典型相关分析)、trca(task-relatedcomponentanalysis，任务相关成分分析)等算法构建的对应的特征提取模型提取脑电信号的频率特征与相位特征。

在实际应用中，除了上述cca算法、trca算法之外，还可以有ica(independentcomponentsanalysis，独立成分分析)算法和pca(principalcomponentanalysis，主成分分析)算法。基于上述算法均是常规算法，以及基于算法构建特征提取模型的过程也是常规方法，在此不再赘述。

s104，将第一提取结果和第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果。

在此步骤中，预设分类模型可以为长短期记忆卷积神经网络模型。

需要说明的是，分别对上述眼动信号特征和脑电信号特征进行特征提取，得到的两种信号特征生成混合特征向量。

在实际应用中，预设分类模型除了可以是长短期记忆卷积神经网络模型之外，还可以是其它神经网络模型，例如，循环神经网络模型、时延神经网络模型、卷积神经网络模型和深度残差神经网络模型。

基于上述循环神经网络模型、时延神经网络模型、卷积神经网络模型和深度残差神经网络模型均为常规技术，在此不再赘述。

s105，根据高斯过程回归模型对分类结果进行回归预测，预测出二维光标的目标位置，其中，高斯过程回归模型用于预测二维光标的目标位置。

在此步骤中，高斯过程回归模型也是常规的模型，在此不再赘述。该模型可以用来预测出二维光标的目标位置。

s106，控制二维光标移动至目标位置。

在此步骤中，控制二维光标移动至目标位置对应的应用场景可以为：通过采集到的用户的眼动信号和脑电信号，进行指令操控无人机或者遥控机器人移动至目标位置。

如图2所示，是本申请实施例提供的一种二维光标控制方法的使用流程示意图。

在如图2所示的二维光标控制方法的步骤如下所述：

步骤a1：使用者穿戴设备，开启设备开关。系统检测各个模块是否正常开启，各模块间通信是否正常；

步骤a2：若设备不能正常运行，则提示使用者进行相应模块的检查；

步骤a3：根据使用者自身情况调节画面效果，确保画面清晰可辨，然后各信号采集模块开始进行信号采集；

步骤a4：采集得到的信号传入信号处理模块进行预处理及特征提取，处理后的信号汇总进入信息识别模块。信息识别模块综合处理眼动及eeg信号，对混合特征进行坐标识别；

步骤a5：检测通信环境是否正常，若正常，则将指令信息传入二维光标控制模块完成通信交流及外部设备控制；若异常，则提示通信异常，重新进行信号采集；

步骤a6：通信完成后，检测通信环境是否关闭；若没有，则进入待机状态。

如图3所示，是本申请实施例提供的一种二维光标控制方法的工作原理示意图。用户头戴vr眼动仪及电极帽设备，由伪随机序列编码而成的闪烁刺激界面呈现在vr环境下，同时采集用户的眼动信号和脑电信号。由于脑电信号幅值较弱，首先，对采集到的脑电信号进行信号放大，在信号预处理完成后，对两种信号(用户的眼动信号和脑电信号)进行信号特征提取，得到对应的特征值，并由对应的特征值组成混合特征向量。通过建立高斯过程回归模型对混合特征向量进行预测，确定出用户所注视的目标位置，并控制二维光标移动至确定出的目标位置，以完成用户的指令。

如图4所示，是本申请实施例提供的一种二维光标控制方法的光标指令识别流程示意图。

在如图4所示的控制方法中，对光标指令的识别分为训练模式和应用模式。

训练模式中，由伪随机序列编码而成的闪烁刺激呈现在vr环境下，用户注视刺激目标时，可诱发得到cveps信号，同时采集被试相应眼部图像信息。信号预处理部分中，系统对采集达到的图像信号进行数据平滑和去噪滤波，保留用户感兴趣区域。对于脑电信号，系统在预处理前，首先进行信号放大，然后保留有效数据段，例如，只截取cveps信号响应较强的数据段进行分析，然后去除信号中的噪声和伪迹。对经过预处理的眼部、脑电信号进行特征提取，得到混合特征向量，将混合特征向量输入到lstm(longshort-termmemory，长短期记忆网络)中进行模型训练。

lstm长短期记忆网络，是一种时间递归网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。lstm是解决循环神经网络结构中存在的“梯度消失”问题而提出的，是一种特殊的循环神经网络。同时，lstm在设计上明确的避免了长期依赖的问题，这主要归功于lstm精心设计的“门”结构(输入门、遗忘门和输出门)。“门”结构是一种让信息选择式通过的方法，包括一个sigmoid神经网络层和一个pointwise乘法操作。它具有消除或者增加信息到cellstate的能力，使得lstm能够记住长期的信息。在lstm中，第一阶段是遗忘门，遗忘层决定哪些信息需要从cellstate中被遗忘。下一阶段是输入门，输入门确定哪些新信息能够被存放到cellstate中。最后一个阶段是输出门，输出门确定输出什么值。

(1)遗忘门：遗忘门是以上一层的输出ht-1和本层要输入的序列数据xt作为输入，通过一个激活函数sigmoid，得到输出为ft。ft的输出取值在[0,1]区间，表示上一层细胞状态被遗忘的概率，1是“完全保留”，0是“完全舍弃”。

ft＝σ(wf·[ht-1,xt]+bf)

(2)输入门：输入门包含两个部分，第一部分使用sigmoid激活函数，输出为it，第二部分使用tanh激活函数，输出为

it＝σ(wi·[ht-1,xt]+bi)

到目前为止，ft是遗忘门的输出，控制着上一层cellstate中ct-1被遗忘的程度，为输入门的两个输出乘法运算，表示有多少新信息被保留。基于此，可以把新信息更新为这一层的cellstate中ct值。

(3)输出门：输出门用来控制该层的cellstate有多少被过滤。首先使用sigmoid激活函数得到一个[0,1]区间取值的ot，接着将ct通过tanh激活函数处理后与ot相乘，即是本层的输出ht。

ot＝σ(wo·[ht-1,xt]+bo)

ht＝ot*tanh(ct)

应用模式中将利用已训练好的lstm模型进行二维光标指令识别。在实际应用中，本公开实施例提供的二维光标控制方法对信号采集模块采集得到的眼部、脑电信号进行相应预处理。脑电信号在预处理之前进行信号放大来增强cveps信号幅值及信噪比；然后，将处理后的信号传入lstm卷积网络中得到分类结果，结合高斯过程回归模型预测出二维光标的目标位置，并将二维光标移动至预测出的目标位置。

如图5所示，是本申请实施例提供的一种二维光标控制装置的闪烁编码刺激原理示意图。黑色矩形代表vr显示界面，显示界面均匀布满雪花点，每个雪花点为一个刺激，a点为用户注视的目标刺激点。通常情况下，所有刺激都处于用户视野中，但初级视觉皮层的活动主要由视网膜中视觉(辨色力、分辨力)最敏锐的区域——中央凹(圆圈所示部分)控制。因此，参与刺激的闪烁模式被编码在测量得到的eeg信号中，编码后的刺激触发初级视觉皮层，激活cveps信号。随后通过预学习不同相位下的cveps反应，获得模板，最后在采集得到的脑电信号中提取cveps信号进行模板匹配，获得对于目标刺激的判断。

对于刺激信号，本公开实施例提供的一种二维光标控制方法，基于压缩感知理论，充分利用信号的稀疏性，极大的降低了还原一个稀疏信号所需的测量次数。压缩感知的一个核心问题是编码矩阵的构造。编码矩阵一般分为两类：确定性编码矩阵和随机感知矩阵，确定性编码矩阵具有存储空间小、硬件实现方便等优点，更重要的是相比随机感知矩阵，确定性编码矩阵能100％的概率重构稀疏信号(考虑噪声时则是100％概率重构稀疏信号的支撑集)。因此，如何构造确定性编码矩阵成为当前压缩感知研究中的一个重点。本公开实施例提供的一种二维光标控制方法，基于具有渐进最优相关性的伪随机序列集构造压缩感知编码矩阵。伪随机序列的相关性从理论上确保了编码矩阵的低相干性，使编码矩阵具有更好的恢复稀疏信号的性能。

设是一条长度为n的序列，且si内每个元素都是模长为1的复数。令则s构成一个包含m条序列的序列集。任取s中两条序列si与sj，s的互相关函数定义为：

其中，x^*表示复数x的共轭，上式中的加法是模n取余数的运算。特别地，当i＝j时，称为自相关函数。最大自相关值和最大互相关值分别定义为：

以及

序列集s的最大相关值定义为：

θmax＝max{θa,θc}

s也称为(n,m,θmax)序列集。关于序列集s的最大相关值θmax，存在著名welch界约束其下界。对于m条周期为n的序列构成的序列集s，其中，很容易发现随着m取值变大，f(m)会越来越接近1。

这意味着通常来说到目前为止，只有少部分种类的序列集的最大相关值可以几乎达到welch界。

通过序列集构造编码矩阵是采用循环移位的方法得到的。具体来说，对于上述记其中，t表示向量的转置。经过一次循环移位后，

记以此类推，经过k次循环移位(1≤k≤n-1)后得到：也就是说通过循环移位，s0可以生成一个n阶方阵将该方阵记作a0。使用相同的方法，序列集s中的每一条序列均可以生成一个方阵，将其依次记作a0,a1,…,am-1，于是序列集s可以生成一个n×mn的矩阵(a0,a1,…,am-1)。通常来说序列集s包含的序列个数很多，导致mn＞＞n。实际应用中往往不需要使用行列差异如此大的矩阵，人们通常会选择其中一部分列向量构成编码矩阵。本公开实施例提供的一种二维光标控制方法中采用基于gold序列集的编码矩阵，按照以上方法构造得到，且列数的选取方法是按顺序依次选择(a0,a1,…,am-1)的前若干列。

gold序列是在m序列基础上提出的一种特性较好的伪随机序列，具有较优良的自相关和互相关特性，产生的序列较多。它是由两个码长相等、码时钟速率相同的m序列优选对通过模2相加而构成的。构造基于gold序列集的编码矩阵时，令p＝2,m＝p^m+1,d＝2^k+1。其中，m是奇数且gcd(m,k)＝1。

定义

其中，序列si(t)构造如下：

那么，s是一个θmax＝1+2^(m+1)/2的序列集。

一般来说，基于伪随机序列构造压缩感知的编码矩阵性能变化幅度较小。这是由于随机矩阵的原始方阵多为正交矩阵，随着行列之间的差距增大，矩阵的互相关性会明显降低。而伪随机序列经过移位变换构建的矩阵是接近理论下界(welch界)的近似正交系统，在构造编码矩阵的过程中矩阵的互相关性受所取列的个数的影响很小，因此基于伪随机序列构造的编码矩阵性能稳定。而基于gold序列集等具有渐进最优相关性的伪随机序列集构造压缩感知编码矩阵时，也从理论上确保了编码矩阵的低相干性，同时使得刺激信号经过编码后的空间熵达到最大。

在本申请实施例中在眼动追踪技术及虚拟现实技术的基础上，结合了脑机接口技术，即由伪随机序列编码刺激的模式来诱发大脑编码调制视觉诱发电位信号。通过对眼动信号及cveps信号的特征值融合，建立高斯过程回归模型，预测目标位置，最终实现二维光标的控制移动。

下述为本发明二维光标控制装置实施例，可以用于执行本发明二维光标控制方法实施例。对于本发明二维光标控制装置实施例中未披露的细节，请参照本发明二维光标控制方法实施例。

请参见图6，其示出了本发明一个示例性实施例提供的二维光标控制装置的模块示意图。该二维光标控制装置包括获取模块10、预处理模块20、特征提取模块30、分类模块40、预测模块50、控制模块60和信号采集模块70。

具体而言，获取模块10，用于获取信号采集模块70采集到的眼动信号和脑电信号；

预处理模块20，用于对获取模块10获取到的眼动信号进行第一预处理，得到预处理后的眼动信号，以及对脑电信号进行第二预处理，得到预处理后的脑电信号；

特征提取模块30，用于对预处理模块20得到的预处理后的眼动信号进行特征提取，得到至少包括眼动信号特征的第一提取结果；以及对预处理模块20得到的预处理后的脑电信号进行特征提取，得到至少包括脑电信号特征的第二提取结果；

分类模块40，用于将特征提取模块30提取的第一提取结果和第二提取结果输入至预设分类模型中进行分类处理，得到对应的分类结果；

预测模块50，用于根据高斯过程回归模型对分类模块40分类得到的分类结果进行回归预测，预测出二维光标的目标位置，其中，高斯过程回归模型用于预测二维光标的目标位置；

控制模块60，用于控制二维光标移动至预测模块50预测的目标位置。

可选的，所述装置还包括：

读取模块(在图6中未示出)，用于在分类模块40将第一提取结果和第二提取结果输入至预设分类模型中进行分类处理之前，读取眼动信号特征，其中，读取模块读取出的眼动信号特征包括以下至少一项：用户瞳孔特征、用户注视点数目特征和用户眼部注视时长特征。

可选的，读取模块还用于：

在分类模块40将第一提取结果和第二提取结果输入至预设分类模型中进行分类处理之前，读取脑电信号特征，其中，读取模块读取的脑电信号特征包括以下至少一项：脑电信号对应的频率特征和脑电信号对应的相位特征。

可选的，预处理模块20具体用于：

对眼部图像进行数据平滑处理和/或去噪滤波处理，得到包含眼动信号的眼部待处理数据；

从眼部待处理数据中剔除无效区域的数据，得到有效区域对应的第一有效数据；

利用矩阵法从第一有效数据中确定出与用户感兴趣区域对应的第二有效数据；

通过第一预处理模型，对第二有效数据进行预处理，得到预处理后的眼动信号。

可选的，所述装置还包括：

确定模块(在图6中未示出)，用于在特征提取模块30利用矩阵模型从第一有效数据中确定出与用户感兴趣区域对应的第二有效数据之前，确定用户感兴趣区域。

可选的，确定模块具体用于：

在用于采集眼动信号的第一信号采集模块采集到的第一监测数据显示用户瞳孔处于放大状态的情况下，确定当前区域为用户感兴趣区域；和/或，

在用于采集眼动信号的第二信号采集模块采集到的第二监测数据显示用户注视点数目大于或等于预设用户注视点数目阈值的情况下，确定当前区域为用户感兴趣区域；和/或，

在用于采集眼动信号的第三信号采集模块采集到的第三监测数据显示用户眼部注视时长大于或等于预设用户眼部注视时长阈值的情况下，确定当前区域为用户感兴趣区域。

可选的，分类模块40进行分类处理的预设分类模型为长短期记忆卷积神经网络模型。

如图7所示，是本公开实施例提供的另一种二维光标控制装置的结构示意图。二维光标控制装置包括信号采集模块、信号处理模块、特征提取模块、分类模块40、坐标识别模块和控制模块。信号采集模块由眼动信号采集模块和脑电信号采集模块组成，分别用于采集眼动信号和脑电信号。信号采集模块采集到的眼动信号和/或脑电信号传入信号处理模块和特征提取模块中进行处理，得到相应的眼动信号特征向量和脑电信号特征向量，随后进入分类模块40和坐标识别模块，得到二维光标控制命令。本公开实施例提供的二维光标控制装置通过控制模块进行指令的传递通信以及对外部设备的控制。

需要说明的是，图7中涉及到与图6中相同的模块，烦请参见图6的中的相同或相关描述，在此不再赘述。

需要说明的是，上述实施例提供的二维光标控制装置在执行二维光标控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的二维光标控制装置与二维光标控制方法实施例属于同一构思，其体现实现过程详见二维光标控制方法实施例，这里不再赘述。

在本申请实施例中，在眼动追踪技术及虚拟现实技术的基础上，结合了脑机接口技术，即由伪随机序列编码刺激的模式来诱发大脑编码调制视觉诱发电位信号。通过对眼动信号及cveps信号的特征值融合，建立高斯过程回归模型，预测目标位置，最终实现二维光标的控制移动。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。