一种基于脑机接口的环境控制方法与流程

本发明涉及脑机接口功能辅助应用研究及人工智能领域，尤其是指一种基于脑机接口的环境控制方法。

背景技术：

世界上有数以百万计的残疾人患有严重的神经肌肉疾病，例如中风，脊髓损伤，肌萎缩侧索硬化等，他们无法像正常人那样通过外周神经系统和肌肉组织这一正常的信息传输通道与外界进行交流。

脑机接口(brain computer interface，BCI)提供了人脑与外部设备之间一种直接的交流和控制通道，它不依赖于外周神经系统及肌肉组织，是一种全新的人机接口方式。因此，脑机接口相关技术能为患有神经肌肉疾病的重度残疾病人提供交流、控制或康复的工具，以补偿或重建他们所丧失的能力。

脑机接口分为植入式与非植入式两类。其中，植入式脑机接口获取脑信号需要对使用者进行开颅手术，危险性较大，目前主要用于动物实验研究。非植入式脑机接口则不需要进行任何手术，而且随着信号处理方法和技术的不断进步，对头皮脑电(electroencephalogram，EEG)的处理已经达到了一定的水平，使非侵入式的脑机接口应用于实际生活成为可能。当前，广泛应用于脑机接口系统的脑电信号主要有运动想象、SSVEP以及P300电位三种。其中基于运动想象的脑机接口通常需要受试者经过长时间的训练，甚至有些使用者即使经过长时间的训练后仍无法控制基于运动想象的脑机接口；基于SSVEP的脑机接口则可能会诱发癫痫。因此，对于面向重度运动功能障碍残疾人的环境控制装置，本发明采用基于P300的脑机接口。

重度瘫痪的残疾病人活动空间非常有限，通常只能在护理床或轮椅上活动。为提高瘫痪病人独立的生活能力，应将多种类型的设备(例如护理床、轮椅、家电设备等)集成在一起，并于脑机接口结合，形成一套完整的脑控环境系统。但是当前大部分基于脑机接口的环境控制方法只提供单一类型的设备控制，因此未充分考虑到重度瘫痪病人的现实生活场景。例如，中国专利(一种基于脑机接口的台灯控制装置，公告号：CN 204104194 U)，该实用新型通过基于SSVEP的脑机接口实现对台灯进行开关控制。中国专利(一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，公开号：CN 104083258 A)，该发明专利通过基于运动想象和P300的脑机接口实现对轮椅的控制。中国专利(一种基于脑机接口的智能护理装置及方法，公开号：CN 104758130 A)，该发明专利通过基于P300和SSVEP的混合脑机接口实现对护理床的控制。此外，几乎所有基于脑机接口的环境控制系统直接将脑机接口指令转化为相应的操作(即一个脑机接口指令对应一个实际操作)。因此，这些环境控制系统的性能完全由脑机接口的性能决定，这可能会导致这些系统的实用性受到限制。

技术实现要素：

本发明的目的在于克服现有技术的缺点和不足，提供了一种基于脑机接口的环境控制方法，该方法能通过脑机接口实现对家电(电灯、电视、空调)、护理床和智能轮椅多种类型的设备进行有效地控制。

为实现上述目的，本发明所提供的技术方案为：一种基于脑机接口的环境控制方法，包括以下步骤：

1)使用者头戴电极帽坐在轮椅上，电极帽用于实时采集使用者的EEG信号；

2)系统启动并默认处于初始状态(即主菜单选择界面的开关处于关闭状态)，设置系统在主菜单选择界面、轮椅控制目的地选择以及目标方向选择界面有验证机制，即每次有效的操作需要两次连续地选择：一次设备键选择和一次确认键选择；

3)使用者注视并默数主菜单选择界面左下角的开关键，通过使用者头部所戴的电极帽实时采集EEG信号，传送至计算机，依次经过预处理、特征提取、分类等过程，实现对EEG信号的P300检测；一旦开关键对应的P300被系统检测到，使用者需要注视并默数主菜单选择界面右下角的确认键，直到确认键对应的P300被系统检测到，系统将开启环境控制系统的开关；

4)使用者注视并默数主菜单选择界面的设备键，同样将采集的EEG信号送至计算机进行P300检测；一旦该设备键被正确识别，使用者需要注视并默数确认键；一旦确认键被正确识别，系统的界面将跳转至相应的设备界面并启动该界面的P300闪烁，如果该设备未打开，计算机将控制无线模块向该设备发送开启命令，从而远程打开该设备，如果该设备已打开，计算机将不会向该设备发送开启命令；

5)使用者注视并默数设备界面的功能键，如果功能键被正确识别后，系统将输出结果反馈到计算机显示器，同时，计算机将控制无线模块向该设备发送相应的功能指令，从而远程控制该设备执行相应的功能；

6)系统执行一个操作后，如果使用者想继续控制该设备，可重复步骤5)的操作；如果使用者想维持该设备当前的状态，保留当前的设置，可注视并默数设备界面的返回键，一旦返回键被正确识别，系统将回到主菜单选择界面；

7)使用者可以在主菜单选择界面打开其它设备或进入已开启的设备，重复步骤4)的操作；如果使用者要关闭已开启的设备，重复步骤4)的操作进入到该设备界面后，注视并默数设备界面的开关键，一旦开关键被正确识别，计算机将控制无线模块向该设备发送关闭命令，从而远程关闭该设备；

8)使用者可以在主菜单选择界面关闭环境控制系统的开关，重复步骤3)的操作，一旦开关键和确认键被连续地正确识别，系统的开关将会关闭；若系统的开关关闭后，系统将处于初始状态，即回到步骤2)。

在步骤2)中，所述主菜单选择界面包含6个功能键，一个开关键，一个确认键以及12个不产生任何操作的伪键；其中功能键、开关键、确认键分布在屏幕的左右两侧，而伪键分布在中间。

上述伪键、步骤2)中的验证机制以及在步骤6)中所述的当使用者完成对设备功能的设置后选择返回键回到主菜单控制界面等设置，是为了降低空闲状态误操作率的控制：

A.将验证机制用于主菜单控制和轮椅控制(包括目的地选择和目标方向选择)对应的界面中，只有功能键和确认键依次被选中，相应的操作才会执行。通过这种方式，一个错误的脑机接口指令可能不会引发错误的操作；

B.将伪键引入到主菜单控制对应的界面中，从而降低了空闲状态下功能键被随机选中的可能性；

C.当使用者完成对设备功能的设置后，选择返回键回到主菜单控制界面。根据主菜单控制界面范式的设计(即A和B)，误操作发生的可能性极低。

步骤3)和4)中的P300检测，具体通过以下步骤：

A.EEG信号经过0.1～20Hz的带通滤波，下采样率为5；

B.对P300界面中的每一个闪烁键，从每个通道中提取一段EEG信号形成一个向量，结合所有通道的向量形成特征向量，其中EEG信号长度为闪烁后600ms；

C.将SVM分类器应用到这些特征向量，获得对应于所有闪烁键分类器的值。通过最小最大归一化方法将这些输出值归一化，并将归一化的值用于决策，同步和异步控制模式决策过程如下：

同步控制模式：如果所有归一化值的最大值与次大值的差大于预定义阈值，最大值对应的键即为目标键；如果当前round计数等于10时，系统仍未输出，最大值对应的键即为目标键。目标键输出后，round计数初始化为0，其中，所有闪烁键随机地闪烁完一次定义为一个round；

异步控制模式：当且仅当归一化值的最大值与次大值的差大于阈值条件时，归一化值的最大值所对应的键为目标键。如果当前round计数等于10时系统仍未输出，系统将不输出，并且将round计数初始化为0。

步骤3)和4)中的主菜单界面和设备界面包含一种分层用户接口(Graphical User Interface,GUI)控制机制。该机制能实现对多种功能的设备进行操作。第一层是主菜单控制的GUI；第二层是分别用于电视、空调、护理床控制以及用于轮椅控制的目的地选择的GUI；第三层用于轮椅控制的目标方向选择的GUI。每个GUI对应一个基于P300的脑机接口。

本发明与现有技术相比，具有如下优点与有益效果：

1.本发明将验证机制和伪键引入到脑机接口的系统范式中，有效地降低了误操作率，从而使这种脑机接口更适合用于实际的环境控制装置中。

2.本发明将同步控制模式和异步控制模式的P300用于不同情形下，在保证P300的检测速度和准确率的同时，能够实现自主控制，从而使这种脑机接口更实用。

3.本发明采用了一种分层用户接口控制机制，能够根据人的操控习惯将不同设备的功能放在不同的接口中，且保留功能之间的继承关系，不仅丰富了操控的功能，而且使脑机接口控制更具人性化。

附图说明

图1为本发明的系统框架图。

图2为本发明的图形用户接口(GUI)图。

图3为采用本发明方法控制的护理床示意图。

图4为采用本发明方法控制的智能轮椅示意图。

具体实施方式

下面结合具体实施例对本发明做进一步的说明。

本实施例提供的基于脑机接口的环境控制方法，能够让环境控制装置在不同情形下以同步控制或异步控制模式运行：为实现对环境控制装置的自主控制，异步控制模式用于开启/关闭整个环境控制装置或者用于选择某种设备(如电视)；为提高脑机接口的准确率和检测速度，在开启某一设备后，环境控制装置以同步控制模式运行。另外，当环境控制装置以异步控制模式运行时，通过伪键和验证机制的引入，系统的误操作率能够得到有效地控制，从而使得采用了该方法的环境控制装置更实用。所述环境控制方法，包括以下步骤：

1)使用者头戴电极帽坐在轮椅上，电极帽用于实时采集使用者的EEG信号；

2)系统启动并默认处于初始状态(即主菜单选择界面的开关处于关闭状态)，设置系统在主菜单选择界面、轮椅控制目的地选择以及目标方向选择界面有验证机制，即每次有效的操作需要两次连续地选择：一次设备键选择和一次确认键选择；

3)使用者注视并默数主菜单选择界面左下角的开关键，通过使用者头部所戴的电极帽实时采集EEG信号，传送至计算机，依次经过预处理、特征提取、分类等过程，实现对EEG信号的P300检测；一旦开关键对应的P300被系统检测到，使用者需要注视并默数主菜单选择界面右下角的确认键，直到确认键对应的P300被系统检测到，系统将开启环境控制系统的开关；

4)使用者注视并默数主菜单选择界面的设备键，同样将采集的EEG信号送至计算机进行P300检测；一旦该设备键被正确识别，使用者需要注视并默数确认键；一旦确认键被正确识别，系统的界面将跳转至相应的设备界面并启动该界面的P300闪烁，如果该设备未打开，计算机将控制无线模块向该设备发送开启命令，从而远程打开该设备，如果该设备已打开，计算机将不会向该设备发送开启命令；

5)使用者注视并默数设备界面的功能键，如果功能键被正确识别后，系统将输出结果反馈到计算机显示器，同时，计算机将控制无线模块向该设备发送相应的功能指令，从而远程控制该设备执行相应的功能；

6)系统执行一个操作后，如果使用者想继续控制该设备，可重复步骤5)的操作；如果使用者想维持该设备当前的状态，保留当前的设置，可注视并默数设备界面的返回键，一旦返回键被正确识别，系统将回到主菜单选择界面；

7)使用者可以在主菜单选择界面打开其它设备或进入已开启的设备，重复步骤4)的操作；如果使用者要关闭已开启的设备，重复步骤4)的操作进入到该设备界面后，注视并默数设备界面的开关键，一旦开关键被正确识别，计算机将控制无线模块向该设备发送关闭命令，从而远程关闭该设备；

8)使用者可以在主菜单选择界面关闭环境控制系统的开关，重复步骤3)的操作，一旦开关键和确认键被连续地正确识别，系统的开关将会关闭；若系统的开关关闭后，系统将处于初始状态，即回到步骤2)。

在步骤2)中，所述主菜单选择界面包含6个功能键，一个开关键，一个确认键以及12个不产生任何操作的伪键；其中功能键、开关键、确认键分布在屏幕的左右两侧，而伪键分布在中间。

上述伪键、步骤2)中的验证机制以及在步骤6)中所述的当使用者完成对设备功能的设置后选择返回键回到主菜单控制界面等设置，是为了降低空闲状态误操作率的控制：

A.将验证机制用于主菜单控制和轮椅控制(包括目的地选择和目标方向选择)对应的界面中，只有功能键和确认键依次被选中，相应的操作才会执行。通过这种方式，一个错误的脑机接口指令可能不会引发错误的操作；

B.将伪键引入到主菜单控制对应的界面中，从而降低了空闲状态下功能键被随机选中的可能性；

C.当使用者完成对设备功能的设置后，选择返回键回到主菜单控制界面。根据主菜单控制界面范式的设计(即A和B)，误操作发生的可能性极低。

步骤3)和4)中的P300检测，具体通过以下步骤：

A.EEG信号经过0.1～20Hz的带通滤波，下采样率为5；

B.对P300界面中的每一个闪烁键，从每个通道中提取一段EEG信号形成一个向量，结合所有通道的向量形成特征向量，其中EEG信号长度为闪烁后600ms；

C.将SVM分类器应用到这些特征向量，获得对应于所有闪烁键分类器的值。通过最小最大归一化方法将这些输出值归一化，并将归一化的值用于决策，同步和异步控制模式决策过程如下：

同步控制模式：如果所有归一化值的最大值与次大值的差大于预定义阈值，最大值对应的键即为目标键；如果当前round计数等于10时，系统仍未输出，最大值对应的键即为目标键。目标键输出后，round计数初始化为0，其中，所有闪烁键随机地闪烁完一次定义为一个round；

异步控制模式：当且仅当归一化值的最大值与次大值的差大于阈值条件时，归一化值的最大值所对应的键为目标键。如果当前round计数等于10时系统仍未输出，系统将不输出，并且将当前round计数初始化为0。

步骤3)和4)中的主菜单界面和设备界面包含一种分层用户接口(Graphical User Interface,GUI)控制机制。该机制能实现对多种功能的设备进行操作。第一层是主菜单控制的GUI；第二层是分别用于电视、空调、护理床控制以及用于轮椅控制的目的地选择的GUI；第三层用于轮椅控制的目标方向选择的GUI。每个GUI对应一个基于P300的脑机接口。

如图1所示，为本发明的系统框架，其具体情况如下：

(1)基于P300的脑机接口，主要用于将使用者的意图转换为控制指令，从而执行相应的操作，具体步骤如下：

通过使用者头部所戴的电极帽采集EEG信号，将采集到的信号经过预处理、特征提取等过程，其次根据提取的特征进行分类和识别；最后将使用者想要输出的控制命令发送至相应设备(如电灯、电视、空调、护理床和智能轮椅)的控制器，并将输出结果反馈到计算机显示器，控制器将会根据控制命令执行相应的操作。

基于P300的脑机接口共包括6个GUI，每个GUI对应一个脑机接口。如图2所示，它们分别用于：(a)主菜单控制；(b)电视控制；(c)空调控制、(d)护理床控制；轮椅控制的(e)目的地选择和(f)目标方向选择。

(2)家电设备，包括电灯、电视和空调。经过改装后，计算机可以直接通过无线传输模块来控制这些家电设备；

(3)护理床。该护理床是在直流电机驱动控制护理床(型号：2015ADF,Xiaoci Medical Equipment Co.Ltd.,China.)基础上经过机械改装后得到的。如图3所示，经过机械改装后，固定在护理床上的支架用于支撑LCD显示屏、调节显示器的角度以及调节与使用者面部的距离。此外，改装后护理床系统能够被计算机直接控制。例如，从计算机发出的控制命令一旦传送至护理床的控制器，控制器将会启动电机驱动电路驱动相应的电机，实现与之对应的操作(例如，起背、左右翻身、曲腿以及便盆控制)。为了获得多种自由度的调整，一个控制指令只能触发预定时间的电机旋转，旋转的时间由功能的类型决定，因此使用者可能需要多次发送控制指令才能获得所需程度的调整。

(4)智能轮椅。如图4所示，经过机械改装后，该智能轮椅配备了激光雷达，编码器，Kinect等传感器和PID控制器。另外还配备了移动电源，主要用于给传感器和控制器供电。其中，激光雷达和编码器采集的数据用于轮椅的实时自定位；PID控制器用于执行自动导航系统发出的方向指令和速度指令；Kinect传感器主要用于：

(i)在轮椅行驶过程中，通过固定在轮椅前方的Kinect传感器获取的障碍物信息实现对轮椅进行实时避障；

(ii)当轮椅停止时，使用者可以通过基于P300的脑机接口(图2(f))调整轮椅的方向。例如当使用者想要在轮椅上观看电视时，可以首先将轮椅停止在电视附近，然后调整轮椅的方向，使轮椅正对着电视。其中，图2(f)所示的脑机接口中3维环境信息是通过Kinect传感器获取的。

该智能轮椅是将基于P300的脑机接口与自动驾驶技术结合，实现脑机协调控制。使用者首先通过脑机接口选择一个候选目的地，自动驾驶系统就会自动规划一条路径，并导航轮椅到达所选目的地。当轮椅到达目的地时，使用者还可以通过基于P300的脑机接口(图2(f))调整轮椅的方向。

头戴电极帽的使用者坐在轮椅上，注视着如图2(a)所示的GUI，通过注视并默数按键闪烁次数的方式依次选择如图2(a)左下角的开关键和右下角的确认键，从而开启环境控制系统的开关；当开关打开后，依次选择轮椅(标示为“WH”)和确认键，系统界面将切换至如图2(e)所示的目的地选择GUI，使用者可以选择分布在房间内的10个中的任一目的地(例如，目的地10)，选择完目的地后，还需要选择确认键来确认该次选择，一旦系统检测到确认键被选中，轮椅将自动规划出一条从轮椅当前的位置至目的地10的路径，并自动导航至该目的地；当轮椅到达目的地10的位置时，系统界面将切换至如图2(f)所示的目标方向选择GUI，如有需要，使用者可以选择一个目标方向所对应的数字键和确认键来调整轮椅的朝向；如不需要，使用者还可以选择左上角的返回键回到目的地选择的GUI(图2(e))。

在如图2所示的6个GUI中，其中(a)、(e)和(f)所示的GUI都包含有确认键，这表明在这3个GUI中的每一个操作都包含两次选择：一次功能键选择，一次确认键选择。这样的设置可以有效地降低误报率。此外，如图2(a)所示的GUI中包含12个伪键(以“+”标示)，用于在空闲状态下减少功能键被随机选中的概率。

应用本发明所述方法的环境控制装置能够在不同的情形下以同步或异步控制模式运行：当系统界面停留在如图2(a)所示的主菜单控制GUI时，为了实现自主控制，与此对应的脑机接口系统以异步控制模式运行；如果系统界面停留在如图2(b)，(c)，(d)，(e)，(f)所示的GUI时，为了提高P300检测的准确率和速度，与这些GUI对应的脑机接口系统将以同步控制模式运行。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。