脑眼混合驱动的家电控制方法与流程

本发明属于脑机接口与眼控相结合的应用，具体涉及一种脑眼混合驱动的家电控制方法。

背景技术：

脑机接口(braincomputerinterface，bci)的目的是建立一种能够不依赖于人体肌肉的交流和控制通路，通过这一通路可以达到利用人脑控制外部环境的目的。尽管脑机接口技术在不断地发展，但是脑机接口在信息传输率和识别准确率方面，还存在较为严峻的问题；在此情况下，为了扩展它的适用性，我们有必要引入其他的接口来实现复杂的控制命令。另一方面，基于眼动跟踪的控制接口已经取得较为良好的发展；眼动的输入要求不需要经过强化训练，且操作迅速。然而，大多眼动控制在选择操作时依赖于注视点的停滞时间，出于各种任务的复杂性，我们很难设置最优停滞时间。结合脑机接口和眼动控制可以更为有效地完成搜索与选择结合的复杂任务。

技术实现要素：

本发明的目的在于提供一种脑眼混合驱动的家电控制方法，该方法实现了用户通过系统对脑电和眼动信号的检测选择所需电器并对其进行相应控制。

为实现上述目的，本发明的技术方案是，一种脑眼混合驱动的家电控制方法，包括如下步骤：

s1：实现脑眼混合驱动家电控制方法的系统与脑电和眼动装置相连接，初始时处于启动状态，初始时处于启动状态，系统的屏幕上显示注视焦点与提示；用户集中注意力注视屏幕上的注视焦点；所述系统获取眼动装置传来的注视位置，通过脑电装置采集脑电信号，并通过脑电信号判断用户是否集中注意力；若用户注视位置处于注视焦点范围内并且用户处于集中注意力的状态，则所述系统的状态切换为电器选择状态，进入步骤s2；

s2：所述系统处于电器选择状态，屏幕上显示可选的电器；用户若需控制电器，可集中注意力注视该电器；所述系统获取眼动装置传来的注视位置，并通过脑电信号判断用户是否集中注意力；若用户正处于集中注意力的状态并且注视位置在某个电器范围内，则系统的状态切换到按键选择状态，屏幕显示该电器的各个功能键，进入步骤s3；若在预设时间段内没有检测到用户集中注意力，所述系统的状态切换为启动状态，返回步骤s1；

s3：所述系统处于按键选择状态，屏幕显示“回退键”和其他电器功能按键；用户若需控制该电器或回退到电器选择状态重新选择电器，可集中注意力注视相应的键；所述系统获取眼动装置传来的注视位置，并通过脑电信号判断用户是否集中注意力；若用户正处于集中注意力的状态并且注视位置在“回退键”的范围内，则系统的状态切换为电器选择状态，进入步骤s2；若用户正处于集中注意力的状态并且注视位置在在其中一个功能键的范围内，则所述系统向该电器发出相应的控制命令，所述系统的状态保持不变，继续执行步骤s3；若在预设时间段内没有检测到用户集中注意力，则所述系统状态切换为启动状态，返回步骤s1。

在本发明一实施例中，所述注意力检测的方法，包括以下步骤：

s21：令y＝px，其中，x∈r^n×t表示时间长度为t的n个导联上的脑电信号，p∈r^m×n为一变换矩阵，其作用是把脑电信号映射到一个空间上，y∈r^m×t保存脑电信号变换后的结果；

s22：令其中表示将矩阵转化为一个特征向量；

s23：令r＝f(y)，其中f为分类函数，对y进行计算，输出+1或-1给r；当r为+1时，认定当前处于集中注意力的状态，否则，认定当前的注意力并不集中。

在本发明一实施例中，所述变换矩阵p的求取方法，包括以下步骤：

把每个时刻在不同导联上的脑电采样数据视为一个向量，把实验采集到脑电信号分成注意力集中和不集中两组向量，分别求这两组向量的协方差矩阵，将两个协方差矩阵相加得到合成协方差矩阵，对该合成协方差矩阵进行特征值分解得到它的所有特征向量，由合成协方差矩阵的所有特征向量构成白化矩阵，两个协方差矩阵经白化变换后拥有相同的特征向量，这些特征向量构成的矩阵与白化矩阵相乘得到p。

在本发明一实施例中，所述包括以下步骤：

将矩阵y的每一行视为一个自回归随机过程，运用burg算法求取该自回归随机过程的各个参数，进一步运用自回归功率谱密度的方法计算8-20hz范围内若干频点的能量，各频点的能量拼接为一个向量；y的每一行对应一个这样的向量，将各向量拼接为向量y。

在本发明一实施例中，所述的r＝f(y)，求取f的方法包括以下步骤：

在用户使用实现该方法系统之前，让用户参加控制注意力状态的训练；在用户适应之后，分别采集用户处于集中注意力状态和注意力不集中状态的脑电数据，每个数据都是一个矩阵x∈r^n×t；经步骤s21和s22的处理后，每个数据对应一个向量y；依据集中注意力和注意力不集中两种状态，把向量分别标记为正例和负例构成训练集；采用支持向量机的方法训练分类器得到f。

在本发明一实施例中，所述x∈r^n×t和p∈r^m×n中的n,t,m的确定方法，包括以下步骤：

n由脑电装置的导联数确定，通常为16、32或64；t代表的时间长度为1秒，采样点数由采样率确定，通常采样率为250hz，t为250；m在求取矩阵p的过程中确定，m＜n是m的取值范围；

在本发明一实施例中，所述计算8-20hz范围内若干频点的能量中，若干频点的确定方法包括以下步骤：

在8-20hz范围内每隔1hz取一个频点，在每个频点上从用户的训练集中计算出对应着注意力集中和不集中两种状态的两组数据，用统计检验的方法判别两组数据是否存在显著差异；对于存在显著差异的频点，用均值差异进行排序，选取均值差异较大的频点。

相较于现有技术，本发明具有以下有益效果：本发明提供的方法使得用户能够直接利用大脑和眼睛实现对家电设备的控制。

附图说明

图1为本发明方法的状态图。

图2为本发明实施例在启动状态下的示意图。

图3为本发明实施例在电器选择状态下的示意图。

图4为本发明实施例在按键选择状态下(空调)的示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明的一种脑眼混合驱动的家电控制方法，包括如下步骤，

s1：实现脑眼混合驱动家电控制方法的系统与脑电和眼动装置相连接，初始时处于启动状态，初始时系统处于启动状态，系统的屏幕上显示注视焦点与提示；用户集中注意力注视屏幕上的注视焦点；所述系统获取眼动装置传来的注视位置，通过脑电装置采集脑电信号，并通过脑电信号判断用户是否集中注意力；若用户注视位置处于注视焦点范围内并且用户处于集中注意力的状态，则所述系统的状态切换为电器选择状态，进入步骤s2；

s2：所述系统处于电器选择状态，屏幕上显示可选的电器；用户若需控制电器，可集中注意力注视该电器；所述系统获取眼动装置传来的注视位置，并通过脑电信号判断用户是否集中注意力；若用户正处于集中注意力的状态并且注视位置在某个电器范围内，则所述系统的状态切换到按键选择状态，屏幕显示该电器的各个功能键，进入步骤s3；若在预设时间段内没有检测到用户集中注意力，所述系统的状态切换为启动状态，返回步骤s1；

s3：所述系统处于按键选择状态，屏幕显示“回退键”和其他电器功能按键；用户若需控制该电器或回退到电器选择状态重新选择电器，可集中注意力注视相应的键；所述系统获取眼动装置传来的注视位置，并通过脑电信号判断用户是否集中注意力；若用户正处于集中注意力的状态并且注视位置在“回退键”的范围内，则所述系统的状态切换为电器选择状态，进入步骤s2；若用户正处于集中注意力的状态并且注视位置在在其中一个功能键的范围内，则所述系统向该电器发出相应的控制命令，所述系统的状态保持不变，继续执行步骤s3；若在预设时间段内没有检测到用户集中注意力，则所述系统状态切换为启动状态，返回步骤s1。

本发明中，所述注意力检测的方法，包括以下步骤：

s21：令y＝px，其中，x∈r^n×t表示时间长度为t的n个导联上的脑电信号，p∈r^m×n为一变换矩阵，其作用是把脑电信号映射到一个空间上，y∈r^m×t保存脑电信号变换后的结果；

s22：令其中表示将矩阵转化为一个特征向量；

s23：令r＝f(y)，其中f为分类函数，对y进行计算，输出+1或-1给r；当r为+1时，认定当前处于集中注意力的状态，否则，认定当前的注意力并不集中。

本发明中，所述变换矩阵p的求取方法，包括以下步骤：

把每个时刻在不同导联上的脑电采样数据视为一个向量，把实验采集到脑电信号分成注意力集中和不集中两组向量，分别求这两组向量的协方差矩阵，将两个协方差矩阵相加得到合成协方差矩阵，对该合成协方差矩阵进行特征值分解得到它的所有特征向量，由合成协方差矩阵的所有特征向量构成白化矩阵，两个协方差矩阵经白化变换后拥有相同的特征向量，这些特征向量构成的矩阵与白化矩阵相乘得到p。

本发明中，所述包括以下步骤：

将矩阵y的每一行视为一个自回归随机过程，运用burg算法求取该自回归随机过程的各个参数，进一步运用自回归功率谱密度的方法计算8-20hz范围内若干频点的能量，各频点的能量拼接为一个向量；y的每一行对应一个这样的向量，将各向量拼接为向量y。

本发明中，所述的r＝f(y)，求取f的方法包括以下步骤：

在用户使用实现该方法的系统之前，让用户参加控制注意力状态的训练；在用户适应之后，分别采集用户处于集中注意力状态和注意力不集中状态的脑电数据，每个数据都是一个矩阵x∈r^n×t；经步骤s21和s22的处理后，每个数据对应一个向量y；依据集中注意力和注意力不集中两种状态，把向量分别标记为正例和负例构成训练集；采用支持向量机的方法训练分类器得到f。

本发明中，所述x∈r^n×t和p∈r^m×n中的n,t,m的确定方法包括以下步骤：

n由脑电装置的导联数确定，通常为16、32或64；t代表的时间长度为1秒，采样点数由采样率确定，通常采样率为250hz，t为250；m在求取矩阵p的过程中确定，m＜n是m的取值范围。

本发明中，所述计算8-20hz范围内若干频点的能量中，若干频点的确定方法包括以下步骤：

在8-20hz范围内每隔1hz取一个频点，在每个频点上从用户的训练集中计算出对应着注意力集中和不集中两种状态的两组数据，用统计检验的方法判别两组数据是否存在显著差异；对于存在显著差异的频点，用均值差异进行排序，选取均值差异较大的频点。

以下为本发明的具体实施例。

本实施例提供一种脑眼混合驱动的家电控制方法，如图1所示，包括以下步骤：

步骤s1：用户带上neuroscan脑电帽，所述脑电采集装置连接至电脑；开启眼控设备；hub连接到路由器，smartapps、设备处理程序、hub和家电设备都通过smartthings平台提供的ide添加或声明，hub与设备之间通过无线识别；在电脑上运行实现本方法的系统，进入到启动状态；如图2所示，在启动状态下，系统的屏幕上显示注视焦点与提示；用户集中注意力注视屏幕上的注视焦点；所述系统获取眼动装置传来的注视位置，并通过脑电信号判断用户是否集中注意力；若用户注视位置处于注视焦点范围内并且用户处于集中注意力的状态，则所述系统的状态切换为电器选择状态，进入步骤s2；

步骤s2：在电器选择状态下，如图3所示，电脑界面显示有“空调”、“电视”和“电灯”三种电器，分别位于界面的中上、左下、右下位置；用户若需控制电器，可集中注意力注视该电器；所述系统获取眼动装置传来的注视位置，并通过脑电信号判断用户是否集中注意力；若用户正处于集中注意力的状态并且注视位置在某个电器范围内，则所述系统状态切换为按键选择状态，进入步骤s3；若在预设时间段内没有检测到用户集中注意力，则所述系统状态切换为启动状态，返回步骤s1；

步骤s3：所述系统处于按键选择状态，如图4所示，屏幕显示“回退”键和其他电器功能按键；用户若需控制该电器或回退到电器选择状态重新选择电器，可集中注意力注视相应的键；所述系统获取眼动装置传来的注视位置，并通过脑电信号判断用户是否集中注意力；若用户正处于集中注意力的状态并且注视位置在“回退”键的范围内，则所述系统的状态切换为电器选择状态，进入步骤s2；若用户正处于集中注意力的状态并且注视位置在某一功能键的范围内，所述系统向对应的电器发出相应的控制命令，命令以web请求形式对smartapps进行api调用，控制相应设备，所述系统的状态保持不变，继续执行步骤s3；若在预设时间段内没有检测到用户集中注意力，则所述系统状态切换为启动状态，返回步骤s1。

进一步的，所述步骤s3具体包括以下步骤：

步骤s31：在电灯按键选择状态下，电脑界面显示有“电灯1”、“电灯2”、“电灯3”、“电灯4”、“电灯5”和“回退”按键；用户根据需求向对应的电灯发出开启或关闭的控制命令，命令以web请求形式对smartapps进行api调用，控制相应电灯，所述系统的状态保持不变；如果用户选择了“回退”按键，则所述系统退回电器选择状态；若在预设时间段内没有检测到眼睛注视和注意力集中，则所述系统状态切换为启动状态，返回步骤s1；

步骤s32：在电视机按键选择状态下，电脑界面显示有“开/关”、“频道+”、“频道-”、“音量+”、“音量-”和“回退”按键；用户根据需求向电视发出对应的控制命令，命令以web请求形式对smartapps进行api调用，控制相应电视功能，所述系统的状态保持不变；若用户选择了“回退”按键，则所述系统退回电器选择状态；若在预设时间段内没有检测到用户集中注意力，则所述系统状态切换为启动状态，返回步骤s1；

步骤s33：在空调按键选择状态下，电脑界面显示有“开/关”、“制冷”、“制热”、“温度+”、“温度-”、和“回退”按键；用户根据需求向空调发出控制命令，命令以web请求形式对smartapps进行api调用，控制相应空调功能，所述系统的状态保持不变；若用户选择了“回退”按键，则所述系统退回电器选择状态；若在预设时间段内没有检测到用户集中注意力，则所述系统状态切换为启动状态，返回步骤s1。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。