基于脑电眼电结合的键鼠控制系统及控制方法

本发明实施例涉及人机交互技术领域，具体涉及基于脑电眼电结合的键鼠控制系统及控制方法。

背景技术：

电脑在具有上网，购物，读书，看视频，聊天等多种功能，早已成为现代人们生活必不可少的重要工具。然而目前电脑绝大部分功能需要用鼠标和键盘来操作，这无疑给手部残疾患者、老年帕金森患者和渐冻人带来严重不便。即使是普通人，在进行双手劳作或双手污浊时，也不便于使用电脑。如何提出一种电脑的人机交互方案，能够方便用户进行电脑的操作，是本领域技术人员亟待解决的技术问题。

公开号为cn106775023a的专利，提出了一种眼电信号采集方法及基于眼电信号控制的蓝牙鼠标系统，可以实现眼电信号控制鼠标的移动和单击。该方案的通过眼睛向不同方向看，转变为对蓝牙鼠标的移动；将连续两次眨眼转变为停止移动或确定操作。在实际电脑应用中，用户仅使用鼠标控制往往是不足够和不方便的，很多时候要采用键盘与鼠标共同完成操作。而该发明没有考虑键盘的实现方案。同时该发明没有考虑鼠标双击和右键的功能，进一步限制了实用性。蓝牙通信方式尽管实现简单，成本低廉，但是限制了通信距离和通信效率。另一方面，人与人的眼电信号特征差别很大，在实际使用前，往往需要针对特定用户进行校准。

当人眼注视一个恒定频率(通常大于6hz)的刺激源时，这种刺激会激发大脑视皮层的脑电信号，产生相关频率的脑电响应，称为ssvep(稳态视觉诱发电位)。ssvep(稳态视觉诱发电位)和erp(事件相关电位)是两种典型的脑电信号。二者同为视觉诱发范式，且ssvep是随外界刺激自发产生的，而erp电位属于认知电位，因此二者的信号间不存在机理性冲突。可以单独使用，也可以结合使用提供信号识别效率。公开号为cn108681391a的专利公开了一种ssvep与颜色刺激的erp信号结合的虚拟键盘。该发明采用erp的n1，p2信号作为虚拟键盘的行坐标，ssvep作为虚拟键盘的列坐标，对键盘进行定位选择。然而，采用的ssvep频率较少，可实现的指令总数受到限制。另外erp的n1，p2信号相对比较微弱，影响识别准确度。

p300是erp信号的成分之一，它是当小概率事件发生后，脑电信号在刺激呈现后的300ms时出现的正向波峰。相对n1，p2信号而言，p300具有更好的稳定性和识别准确度。现有公开号为cn107656612b的专利，公开了一种基于p300-ssvep的大指令集脑-机接口方法，首次提出了108个指令集的诱发策略，提高了指令集数量和信息传输率。然而该方法需要两台计算机配合完成，且需要借助国外脑电采集设备，在实际应用中受到设备限制。且该方法仅仅依靠脑电进行指令的选择，没有借助眼动对指令集进行预选择。

技术实现要素：

本发明实施例的目的在于提供基于脑电眼电结合的键鼠控制系统及控制方法，用户可通过眼部活动，替代鼠标键盘实时操作电脑，能够方便用户进行电脑的操作，解放双手。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种基于脑电眼电结合的键鼠控制系统，包括：

头戴设备，用于获取脑电极和眼电极提供的脑电信号和眼电信号；

预处理模块，用于对所述脑电信号和所述眼电信号进行预处理得到脑电模拟信号和眼电模拟信号；

模数转换模块，用于将所述脑电模拟信号和所述眼电模拟信号进行同步采集，并转换为脑电数字信号和眼电数字信号；

处理器，用于根据所述脑电数字信号和所述眼电数字信号进行消噪和端点检测，所述处理器根据所述眼电数字信号和所述脑电数字信号得到眼动状态和脑电分析结果；

第一通信模块，用于将所述眼动状态和所述脑电分析结果发送给电脑端，以便所述电脑端根据所述眼动状态和所述脑电分析结果进行键鼠控制。

根据本发明的一个实施例，所述头戴设备还包括惯性传感器；所述惯性传感器用于获取用户的头部运动信息和姿势信息；所述处理器还用于利用所述头部运动信息和姿势信息补偿眼电计算结果。

根据本发明的一个实施例，所述头戴设备还包括右腿驱动电路；所述右腿驱动电路的输入端与模数转换器、预处理通道或处理器相连，输出端馈入人体耳垂或乳突处，以提高信号采集的共模抑制能力。

根据本发明的一个实施例，所述头戴设备通过导联与脑电极和眼电极相连，所述导联为单极导联或双极导联。

根据本发明的一个实施例，所述预处理模块包括：

保护器件，用于保护后级电路作用，防护人体静电对于后级电路的击穿和/或干扰；

放大器，用于对输入的所述脑电信号和眼电信号进行信号放大；

滤波器，用于滤除所述脑电信号和眼电信号中的干扰信号；

基线调整电路，用于将所述脑电模拟信号和所述眼电模拟信号的中心调整到便于模数转换器采集的幅度。

根据本发明的一个实施例，所述模数转换模块还用于输出一路偏移驱动信号，馈入所述右腿驱动电路。

根据本发明的一个实施例，所述第一通信模块包括蓝牙模块、wifi模块或5g通信模块中的至少一种；

所述电脑端通过第二通信模块与所述头戴设备通信连接；

所述电脑端设有摄像头，所述摄像头用于对人脸和/或人眼进行识别，以判断不同的用户，并采用相对应的特征向量；当判断用户的眼部看向终端屏幕时，执行控制动作，当判断用户的眼部没有看向所述终端屏幕时，暂停执行动作。

头戴设备还可以包括耳机，用于在用户输入键值后，通过声音反馈用户，方便确认。

第二方面，本发明实施例还提供一种基于脑电眼电结合的键鼠控制方法，应用于第一方面所述的基于脑电眼电结合的键鼠控制系统，包括：

根据眼动状态控制鼠标动作；

在所述电脑端的屏幕上提供虚拟键盘，所述虚拟键盘分为左上、左下、右上、右下四个区域，每个区域分别设置有虚拟按键；

根据用户眼动看向包含所欲输入键值的区域，在所述屏幕中放大且区域内的各虚拟按键依次按不同频率闪烁和/或出现；

根据用户看向所欲输入键值的虚拟按键，诱发人脑产生相应频率的ssvep脑电和/或p300脑电信号；

通过检测脑电信号特征可以确定用户所欲输入的键值。

根据本发明的一个实施例，所述电脑端还包括映射模块，用于将眼动状态和脑电分析结果映射为对所述电脑的预设操作；

将与眼球向目标方向的转动对应的第一眼动状态结果，映射为鼠标光标在电脑上目标方向的移动；

将与有意识眨眼动作对应的第二眼动状态结果，映射为对所述电脑的点击。

将脑电中的ssvep和/或p300信号，映射为对电脑端驱动程序中的虚拟键盘相应键格执行按键操作。

根据本发明的一个实施例，还包括：

使用前对人眼动作和脑电信号进行校准，剔除个体差异；

在正式使用时，利用校准信号对检测信号进行修正，得到用户真实的眼动和脑电状态。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例提供的基于脑电眼电结合的键鼠控制系统及控制方法，通过人眼动作实现屏幕光标和点击的操作，替代传统鼠标控制，通过注视闪烁按键所激发的脑电信号实现屏幕按键操作，替代传统键盘控制，解决了手部残疾患者或渐冻人患者无法操作电脑的困扰。本发明利用基线调整、断线检测、屏蔽层驱动，右腿驱动等技术提高系统共模抑制比和可靠性，通过头戴设备的惯性传感器对头部位姿进行校正，提高眼动信号检测的准确性。

附图说明

图1为本发明一种具体实施方式提供的一种基于脑电眼电结合的键鼠控制系统的组成结构示意图。

图2为本发明实施例提供一种电脑端的虚拟键盘布局。

图3为本发明一个示例中基于脑电眼电结合的键鼠控制方法的流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”和“连接”应做广义理解，例如可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1为本发明一种具体实施方式提供的一种基于脑电眼电结合的键鼠控制系统的组成结构示意图。如图1所示，本发明的基于脑电眼电结合的键鼠控制系统，包括：头戴设备，用于获取脑电极和眼电极提供的脑电信号和眼电信号；预处理模块，用于对脑电信号和眼电信号进行预处理得到脑电模拟信号和眼电模拟信号；模数转换模块，用于将脑电模拟信号和眼电模拟信号进行同步采集，并转换为脑电数字信号和眼电数字信号；处理器，用于根据脑电数字信号和眼电数字信号进行消噪和端点检测，处理器根据眼电数字信号和脑电数字信号得到眼动状态和脑电分析结果；第一通信模块，用于将眼动状态和脑电分析结果发送给电脑端，以便电脑端根据眼动状态和脑电分析结果进行键鼠控制。

其中，头戴设备由供电模块提供电能。供电模块由电池和电平转换电路组成。为了提高系统的可穿戴性，头戴设备使用时不需要外接电源线供电。

头戴设备通过导联与脑电极和眼电极相连，导联为单极导联或双极导联。可选的，脑电、眼电极导联可以具体包括干电极和/或湿电极，脑电、眼电极馈线，及电接口(如bnc接口)。

处理器对脑电信号进行ssvep频率分析和/或p300波形特征分析得到脑电分析结果。

由于脑电、眼电极采集到的脑电、眼电信号比较微弱，为了进行后续的处理，可以对该脑电、眼电信号进行放大，具体地，可以在预处理通道将脑电、眼电导联接收到的脑电、眼电信号进行放大、滤波等处理，得到脑电、眼电模拟信号。其中，预处理模块包括：保护器件，放大器，滤波器和基线调整电路。

保护器件，与脑电、眼电导联相连。用于保护后级电路作用，主要防护人体静电对于后级电路的击穿和/或干扰，或防止电路中漏电对人体造成伤害。可采用tvs管，齐纳二极管，气体放电管等器件实现。

放大器，可选用高输入阻抗的仪表放大器实现。可选的，采用屏蔽层驱动技术，即将放大器的参考端与脑电、眼电极馈线及头戴设备的屏蔽层相连，增强对外界电磁干扰的屏蔽能力。

滤波器，滤除常见的干扰信号。包括：工频干扰，环境无线电信号，心电信号，肌电信号等。

基线调整电路，将脑电、眼电模拟信号的中心调整到便于模数转换器采集的幅度，避免脑电、眼电模拟信号偏移过大，超出模数转换器的测量范围。

模数转换模块，可选用ads1299为代表的生物电采集模数转换器。用于对多路脑电、眼电模拟信号进行并行同步采集，将脑电、眼电模拟信号转换成脑电、眼电数字信号。该模数转换模块可同时实现右腿驱动信号的生成，以及断线检测功能。

处理器，可由dsp、arm或fpga器件编程实现。是头戴设备的控制中心。用于实现对头戴设备的控制，以及对脑电、眼电数字信号的处理。在电脑端的指令控制下，接收模数转换模块输出的脑电、眼电数字信号，并对该信号进行消噪和端点检测。然后执行脑电、眼电处理算法，提取出脑电、眼电信号特征，对脑电、眼电信号分类，并将眼动状态及脑电计算结果通过第一通信模块发送至电脑端。

存储器，与处理器相连接。用于存储用户的眼电、脑电特征信息。具体的可由flash存储器，sdrom，sd卡，或eeprom存储器实现。

第一通信模块，与处理器连接，用于与电脑端通信连接；处理器通过第一通信模块将计算得到的眼动状态及脑电结果快速传输到电脑端，实现对电脑端的控制动作，并通过第一通信模块接收电脑端指令。为了提高可穿戴性，第一通信模块可由5g通信模块、蓝牙或wifi等无线通信模块实现。

在本发明的一个实施例中，基于脑电眼电结合的键鼠控制系统还包括惯性传感器，惯性传感器用于获取用户的头部运动、姿势信息；处理器还用于利用头部运动、姿势信息补偿眼电计算结果，以避免因头部运动导致眼动状态误判或不稳定。其中，惯性传感器采集的信息包括加速度、角度、角速度等信息，根据头部惯性信息，能够直接描述头部转动角度、动作惯性，实现动作捕获。惯性传感器用以判断人头部的运动，计算头部的位姿改变，从而补偿眼电计算结果。避免因头部运动导致眼动状态误判或不稳定。具体可由mems陀螺仪或多轴加速度传感器实现。

右腿驱动电路的输入端与模数转换器或处理器相连，输出端通过脑电、眼电导联馈入人体耳垂或乳突处。用以提高脑电、眼电信号采集的共模抑制能力。右腿驱动电路通常用于生物信号放大器，以减少共模干扰。脑电、眼电或脑电信号十分微小，通常只有几微伏至几百微伏。而由于病人的身体也可以作为天线能受到电磁干扰，特别是50/60hz的工频噪音，这种干扰可能会掩盖的生物信号，使得信号难以测量。因此，可以通过添加右腿驱动电路用来消除干扰噪声。

电脑端具有与第一通信模块配对的第二通信模块。电脑端通过调用第二通信模块与头戴设备进行通信，接收头戴设备处理器解析出的眼动状态及脑电数据结果，并据此实施对电脑端的控制动作。电脑端还可调用电脑自带的摄像头，对人脸和人眼进行识别。由于不同用户的脑电、眼电特征不完全相同。因此通过对人脸识别或人眼虹膜识别，判断不同的用户，从而采用相对应的特征向量，可提高控制意图判断准确性。另外根据摄像头拍摄到人脸或人眼的不同角度，可以切换控制电脑或屏蔽控制的操作。

本发明实施例的基于脑电眼电结合的键鼠控制系统，通过眼球的转动、眨眼和注视，实现对电脑端的控制。人眼是带电体，眼球的角膜端带正电，视网膜端带负电，当眼球转动时，眼球附近的皮层会产生细微的电量变化。利用分布于眼睛四围的电极，可以测量出眼球转动时，各电极电平波动，从而解析出眼球转动的方向。当人闭眼时，α波信号会大幅度增加，从而容易的判别出眨眼动作。人眼注视某个闪烁按键时，脑电会激发出与闪烁频率、相位相关的ssvep信号。当人眼注视的按键随机性点亮时，在脑电中会激发出具有明显特征的p300信号，通过对ssvep信号和p300信号的识别，可以确定用户注视的按键，从而实现按键操作。电脑的常用输入设备是鼠标和键盘，对电脑端的常用操作是鼠标滑动、点击及键盘键入操作。将眼球向不同方向的转动，映射成光标在屏幕上的滑动。有意识眨眼动作，映射成对电脑的点击，便可替代人手实现对电脑端的操作。因此，该发明使更多的人可以更加方便的应用电脑端，适用于更多的场合。对于辅助残障人士像正常人一样使用电脑端具有重要意义。本发明实施例中所提到的电脑端包括但不限于：笔记本电脑、一体机，台式计算机、工作站等电子终端。

在一个具体实施例中，该电脑端可以是带有蓝牙模块的笔记本电脑，当用户使用头戴设备并面对笔记本电脑时，电脑驱动程序与头戴设备配对，调用摄像头检测到用户人脸正对屏幕。通知人脸识别或虹膜识别判断用户，通过第二通信模块通知头戴设备调取该用户脑电、眼电特征信息。

每个用户的脑电、眼电特征并不相同，对于新用户，使用前最好先对用户进行智能校准，以便能够准确测取。在进行校准时，第一步，屏幕上依次出现向上、下、左、右等各个方向的指示光标，及眨眼提醒。用户按照指示完成眼球相应的动作。处理器将该用户不同方向眼电特征记录到存储器中，用于之后的眼电检测分析。第二步，电脑屏幕上依次出现几组不同频率相位闪烁的虚拟按键，并通知头戴设备进行同步采集。处理器将该用户注视空白屏幕和闪烁按键的脑电特征记录到存储器中，用于之后的脑电分析。

校准后，该电脑端驱动程序在后台正常运行。屏幕中央处出现一个指针式光标。当用户眼球向上移动时，光标随之向上移动。眼球向其他位置移动时，与此类似。当光标指向某个软件或控件时，用户单次眨眼，电脑执行点击操作；用户连续两次眨眼电脑执行双击操作；用户眼睛一闭一睁，电脑执行右键操作。从而实现了传统鼠标的功能。

当用户控制光标指向需要按键输入的位置时，驱动程序弹出虚拟按键界面，可以采用ssvep和/或p300信号检测方式进行按键选择。在本实施例中该界面请参考图2所示。该虚拟按键界面将屏幕分为四个区域，每个区域包含25个虚拟按键组成的5*5按键方阵，共100个按键分别标注了不同的字符。用户通过眼睛看向左上、左下、右上、右下来选择不同的按键区域，并注视想要键入的按键。当采用ssvep信号检测方式时，25个字符按照不同的频率(如8～17.6hz，每个0.4hz一个频点)、相位同时闪烁，头戴设备对用户脑电信号进行频谱相位分析，并将分析结果发送至电脑。其中用户注视按键的闪烁频率相位应与用户脑电信号的频率相位具有最大相关性。经上位机比较后，将该键值键入屏幕中央的对话框中。当采用p300信号检测方式时，用户看向区域的25个字符会随机短暂出现，持续时间约为200ms，头戴设备同步进行采集。当屏幕随机出现用户想要键入的按键键值时，头戴设备会在用户脑电中检测出p300信号特征，并实时通知电脑，电脑停止对25个字符扫描，并将该键值键入屏幕中央的对话框中。除此之外，驱动程序还可以采用ssvep和p300信号结合的方式进行分类选择，在此不做赘述。

当用户眼睛注视到电脑屏幕以外，暂停眼动对电脑的控制。用户眼睛重新注视到屏幕时，再次启动后台的驱动程序。

对脑电、眼电信号特征的提取可以小波变换、线性判别分析、相关分析等方法，对脑电、眼电信号的分类可以采用支持向量机、隐马尔科夫链、神经网络等方法，无论最终采用哪种技术，凡是采用本发明思想进行脑电、眼电控制的技术方案，均应视为基于本发明实现。

也就是说，本发明实施例中提供的基于脑电、眼电结合的键鼠控制系统，其中的电脑端需要运行程序模块进行功能的实现，具体地，电脑端通过调用第二通信模块与头戴设备进行通信；接收头戴设备处理器解析出的眼动状态及脑电分析结果，并实现控制动作；电脑端设有摄像头，摄像头用于对人脸和人眼进行识别，以判断不同的用户，并调用相对应的特征向量。当判断用户的眼部看向电脑屏幕时，执行控制动作，当判断用户的眼部没有看向电脑屏幕时，禁止执行动作。

该电脑端还设有：脑电、眼电映射模块，用于将眼动状态结果映射为对电脑端的鼠标预设操作，将脑电分析结果映射为对电脑端的键盘预设操作；将与眼球向不同方向的转动对应的第一眼动状态结果，映射为光标在电脑端上不同方向的滑动；将与有意识眨眼动作对应的第二眼动状态结果，映射为对电脑端的点击。将脑电中的ssvep和/或p300信号，映射为对电脑端驱动程序中的虚拟键盘相应键格执行按键操作。当然，也可以有其他的映射方式，本发明实施例只是对其中的而一种方式举例说明，并不是对本发明的限制。

在本发明的一个实施例中，头戴设备还可以包括耳机，在用户输入键值后，通过耳机将声音反馈给用户，以便用户确认是否正确输入了想要的内容。

图3为本发明一个示例中基于脑电眼电结合的键鼠控制方法的流程图。如图3所示，本发明实施例的基于脑电眼电结合的键鼠控制方法，包括：

步骤s11：调用电脑端摄像头进行面部识别或虹膜识别判断用户身份，调用该用户的脑电、眼电特征信息。对于新用户，在驱动程序引导下进行智能校准。得到脑电、眼电特征信息并存入存储器中。

步骤s12：屏幕中央出现光标，用户看向希望光标移动的方向，眼电极采集用户眼动过程的眼电信号，生成第一眼动状态结果。当需要执行鼠标点击操作时，用户进行相应眨眼动作，眼电极采集用户眨眼动作过程的眼电信号，生成第二眼动状态结果。当需要输入字符时，人眼看向包含该字符的虚拟键盘区域，并注视该字符的键格。

与此同时，头戴设备同步接收模数转换模块输出的脑电、眼电数字信号。

步骤s13：对脑电、眼电数字信号进行消噪和端点检测，并执行预设脑电、眼电处理算法，提取出脑电、眼电信号特征，得到人眼转动的方向，眨眼等眼动状态及脑电分析结果。

步骤s14：将眼动状态结果及脑电分析结果通过通信模块发送至电脑端，通过与控制操作的映射，以进行预设操作。

步骤s15：摄像头识别到用户眼睛移开电脑端屏幕或面部未朝向屏幕时，关闭该电脑端驱动程序。

本发明实施例提供一种电脑端的脑电、眼电映射方法，应用于上述任一种实施方式中的基于脑电、眼电结合的键鼠控制系统，一种实施例中，以笔记本电脑为例进行说明，该方法包括：

1.识别眼球向各个方向转动，将其映射为鼠标向各个方向的滑动操作。

2.识别有意识的单次眨眼，映射为鼠标的单击操作；识别有意识的双次眨眼，映射为鼠标的双击操作；识别到一闭一睁，映射鼠标的右键操作。

3.当需要键入字符时，电脑端弹出具有不同分区的虚拟键盘，利用人眼看向不同方向，映射为虚拟键盘的区域选择。通过从脑电信号中分析出的ssvep和/或p300信号，映射为输入用户注视的按键字符。

本发明实施例提供一种脑电、眼电信号的校准方法，一种实施例中，该方法包括：

1.屏幕上依次出现向上、下、左、右等各个方向的指示光标，及眨眼提醒。用户按照指示完成眼球相应的动作。处理器将该用户不同方向眼电特征记录到存储器中，用于之后的眼电检测分析。

2.电脑屏幕上依次出现几组不同频率相位闪烁的虚拟按键，并通知头戴设备进行同步采集。处理器将该用户注视空白屏幕和闪烁按键的ssvep和/或p300信号脑电特征记录到存储器中，用于之后的脑电分析。

值得说明的是，本发明实施例提供的一种基于脑电眼电结合的键鼠控制系统及控制方法，解决了残障人士无法使用电脑端的困扰，便于使用者佩戴，解放使用者双手使电脑能够适应更多的应用场合。上述实施例中，存在针对笔记本电脑进行说明的情况，但是其并不构成对权利要求的限定，本发明实施例凡是能够对笔记本电脑进行的设置，也可以对其他电脑端进行相同的设置和互动操作。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。