一种基于脑电控制的机械臂写字装置及控制方法与流程

本发明涉及认知神经科学技术领域，特别是涉及一种基于脑电控制的机械臂写字装置及控制方法。

背景技术：

众所周知，对于瘫痪，肌萎缩性侧索硬化，中风等患者而言，与外界环境沟通一直是一种难题。但随着计算机技术，临床康复技术，心理学技术以及传感器技术的不断发展，使得脑机接口技术不再仅仅是一种幻想，而成为了一种现实的技术。

现有的用于沟通交流的脑机接口系统大多是利用计算机显示屏上的交流。因此不能满足瘫痪，肌萎缩性侧索硬化，中风等患者想写出实际文字的实际需求，同时大多数脑电采集系统具有笨重，昂贵等缺点，因此不能实际应用于患者的家庭生活中。

技术实现要素：

本发明要解决的技术问题是：提供一种基于脑电控制的机械臂写字装置及控制方法；该基于脑电控制的机械臂写字装置及控制方法通过采集脑电信息，通过数据处理后进而控制机械臂实现书写的功能。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：

一种基于脑电控制的机械臂写字装置，至少包括：

脑电采集设备；

信号处理设备；所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：

数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务、咬牙任务、稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；

小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除脑电信号中的基波漂移，提高脑电信号的信噪比；

特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度；基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；基于标准偏差和峰值距离分析，检测咬牙任务的发生；

分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类；利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果；利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测；

分类结果转换，基于典型相关性分析，将稳态视觉刺激任务下的输出结果转换为相应的字符，每组字符即为一个控制指令；

执行书写动作的机械臂；所述机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。

作为优选，本发明还采用了如下的技术方案：

进一步：所述脑电采集设备包括：采集p7、p8、o1、o2、fc5、fc6、f7、f8八个位置的脑电信号的电极传感器、位于耳垂后方的cms和drl参考电极传感器；以及脑电信号采集模块；上述p7、p8、o1、o2、fc5、fc6、f7、f8八个位置为10-20国际标准导联中定义的八个点位。

进一步：所述脑电采集设备通过wifi模块与信号处理设备进行数据交互。

进一步：所述电极传感器包括镀金的金属片、聚酯毡垫。

进一步：所述参考电极传感器包括镀金的金属片、橡胶垫。

进一步：所述机械臂通过wifi模块与信号处理设备进行数据交互。

一种基于脑电控制的机械臂写字装置的控制方法，其特征在于：包括如下步骤：

步骤101、利用脑电采集设备采集八个电极传感器、cms和drl参考电极传感器的采集信息，并将采集信息发送给信号处理设备；

步骤102、所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：

脑电信号处理程序包括：

数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务，咬牙任务，稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；

小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除了脑电信号中的基波漂移，提高脑电信号的信噪比；小波函数定义如下：

ψ(t)∈l¹(r)∩l²(r),并且则称ψ(t)是一个母小波，对母小波可以进行伸缩平移，公式如下：

其中，ψa,b(t)是小波函数,a是尺度因子，b是平移因子，在上式中a和b都属于实数r；

脑电信号x(n)利用下式进行小波分解与重构：

其中，al是低频分量，dj是在不同尺度下的高频分量，l是分解层的数量；

特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度，对于脑电信号x(n)，假设长度为n,则其二阶矩能量e2的估计为：

基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；x和y是两个多维随机变量，其线性组合分别为wx∈r^h×1和wy∈r^i×1；典型相关性分析算法的目的是寻找一组权重变量x∈r^h×j和y∈r^i×j，从而使得x和y的相关系数达到最大；公式如下：

其中，是最大相关系数，可以用来分析脑电信号和参考信号的相关性大小；

基于标准偏差和峰值距离分析，检测咬牙任务的发生，从而减少执行错误任务的发生；

分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类，公式如下：

其中，e是mu节律二阶矩能量，α是能量阈值，用于判断运动想象任务；

如果表示受试者想象的左手运动，之后对应着四种不同的稳态视觉诱发任务；如果表示受试者想象的右手运动，之后对应着两种不同的稳态视觉诱发任务；如果表示受试者没有进行运动想象任务，处于空闲状态，则不会进入到之后的稳态视觉诱发任务；

利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果，参考信号yi的公式如下：

其中，n是采样点的数量，s是采样频率，nh是谐波的数量，fi是刺激源的刺激频率，t是不同采样点所对应的时间；

输出的控制命令k利用如下公式完成：

其中，ρi是脑电信号和各频率的参考信号的最大相关系数；

利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测，公式如下：

其中，ss是标准偏差，sp是峰值距离，β和η分别是标准偏差阈值和峰值距离阈值，用于判断咬牙任务。如果表示受试者处于“牙齿咬紧”状态；如果则表示受试者处于“自然”状态，即没有进行“牙齿咬紧”任务；

步骤103、机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。

本发明具有的优点和积极效果是：

通过采用上述技术方案，本发明的目的是为了给那些残疾患者提供一种与外界环境交流的机会，改善他们的生活质量和品质。系统的设备由便携式脑电采集设备，信号处理设备，串口电路以及机械臂依次相连组成。便携式脑电信号采集设备是一种佩戴和使用方便的脑电信号采集帽，主要用于采集用户的运动想象任务，咬牙任务和稳态视觉诱发任务下的脑电信号；信号处理装置是对采集到的脑电信号进行数据分析的处理模块，主要完成信号的预处理，特征提取，特征分类和命令转换；串口电路将识别出的命令信号再次转换为电压信号；机械臂是家用的工业级性能桌面四轴机器人，可以控制完成向前，向后，向左，向右，向上和向下六种动作的变化。本发明具有操作简单、使用安全、抗噪能力强、稳定性好的优点，为实现人机交互提供了一种现实可行的方案。

附图说明

图1是本发明优选实施例的整体框图；

图2是本发明优选实施例的流程图；

图3是本发明优选实施例中脑电采集帽设备电信号采集模块部分的的结构图；

图4是本发明优选实施例中传感器使用状态时的放置位置示意图；

图5是本发明优选实施例中机械臂的结构图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：

请参阅图1至图5，一种基于脑电控制的机械臂写字装置，用于书写英文和数字；采用一种基于脑电控制的机械臂写字系统，包括佩戴在用户大脑上的脑电采集设备，本优选实施例中的脑电采集设备为脑电采集帽，脑电采集帽将采集到的脑电信号通过wifi传输给信号处理设备，信号处理设备通过计算机串口与串口电路连接，串口电路通过蓝牙传输控制机械臂。

所述脑电采集帽采集用户运动想象任务、咬牙任务和稳态视觉诱发任务过程中的脑电信号，这里规定，首先用户完成运动想象任务，然后用户完成稳态视觉诱发任务。当用户的运动想象任务发生错误时，启动面部表情任务重新返回运动想象任务，不进入稳态视觉诱发任务；当用户的运动想象任务正确时，不启动面部表情任务，直接进入稳态视觉诱发任务。

所述的机械臂是4轴高精度、高重复定位精度、带步进电机的开源机械臂。机械臂具有三个主要的控制电机，控制机械臂在三维空间上的运转，从而决定了机械臂的前、后、左、右、上和下的运动。

所述的采集脑电信号的电极传感器包括：镀金的金属片；湿润的聚酯毡垫。

所述的参考电极传感器包括：镀金的金属片；干燥的橡胶垫。

所述的脑电信号采集模块包括前置级放大电路，高通滤波器，低通滤波器，后置级放大电路，模数转换电路，及无线传输电路。

信号处理设备包括：台式电脑或笔记本电脑；运行于电脑上的脑电信号处理程序；以及接收脑电信号信号数据的接收器。脑电信号处理程序包括：

数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务，咬牙任务，稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比。

小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除了脑电信号中的基波漂移，提高脑电信号的信噪比。

特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度；基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类。基于标准偏差和峰值距离分析，检测咬牙任务的发生，从而减少执行错误任务的发生。

分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类；利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果；利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测。

分类结果转换，基于典型相关性分析，将稳态视觉刺激任务下的输出结果转换为相应的字符，并输入到电脑中的串口助手中，从而作为输出结果输出给串口。

串口电路包括：stc12c5a60s2单片机，蓝牙发射装置。stc12c5a60s2通过串口接收到信号处理装置的输出结果，信号处理装置的输出结果转换为范围在0到3.3伏之间的电压信号，信号处理装置的不同输出结果对应着不同的电压信号。stc12c5a60s2单片机的电压信号传输给蓝牙发射装置。

机械臂(4)包括：机械臂，蓝牙接收装置。蓝牙接收装置接收蓝牙发射装置通过蓝牙传输出的控制命令，从而控制机械臂完成相应的运动。

一种基于脑电控制的机械臂写字装置，主要包括：

佩戴在用户大脑上的脑电采集帽，脑电采集帽将采集到的脑电信号通过wifi传输给信号处理装置，信号处理装置通过计算机串口与串口电路连接，串口电路通过蓝牙传输控制机械臂，系统的整体框图如图1所示。

其中便携式脑电采集帽是通过采集用户的大脑头皮运动感觉区和枕叶区的p7、p8、o1、o2、fc5、fc6、f7、f8电极的脑电信号。在脑电信号的采集过程中，首先用户通过运动想象任务(想象左手运动或右手运动)从而产生事件相关同步化和事件相关去同步化现象。然后用户通过稳态视觉诱发任务选择注视相应的刺激频率，其中当用户最初完成想象左手运动任务的前提下，用户可以通过选择注视不同的视觉诱发刺激完成对机械臂前，后，左，右方向运动的控制；当用户最初完成想象右手运动任务的前提下，用户可以通过选择注视不同的视觉诱发刺激完成对机械臂上、下方向运动的控制。通过监测是否存在咬牙任务，从而判断出运动想象任务是否正确，当存在咬牙任务时，则重新进入最开始的运动想象任务，当不存在咬牙任务时，则进入稳态视觉诱发任务，图2为系统的流程图。采集到的脑电信号经过前置级放大电路后经过高通和低通滤波器进行滤波，滤波后经过后置级放大电路进行放大并经过模数转换电路转化为数字量，最后经过无线传输电路发送给信号处理装置，图3为便携式脑电采集帽脑电信号采集模块部分的的结构图。

其中采集帽是便携式脑电采集帽，便携式脑电采集帽使用国际20导联10-20参考系统的p7、p8、o1、o2、fc5、fc6、f7、f8八个位置的采集脑电信号的电极传感器；位于耳垂后方的cms和drl参考电极传感器，fc5和fc6采集运动想象任务的脑电信号，p7、p8、o1和o2采集稳态视觉诱发任务的脑电信号，f7和f8监测咬牙任务的脑电信号；图4为大脑电极在头皮上的放置位置示意图。

其中采集脑电信号的电极传感器是由镀金的金属片和湿润的聚酯毡垫组成，导电性能强。

其中参考电极传感器是由镀金的金属片和干燥的橡胶垫组成，作为接地电极，位于耳垂正后方。

其中信号处理装置包括台式电脑或笔记本电脑，运行于电脑上的脑电信号处理程序，接收脑电信号信号数据的接收器。脑电信号处理程序包括：

第一次预处理，对脑电信号进行0.01-32赫兹的带通滤波，去除心电，工频伪迹以及环境噪声。

第二次预处理，采用小波变换对脑电信号进行多层分解，对每一层的脑电信号进行分析，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除脑电信号中的基波漂移。

利用mu节律的二阶矩能量分析来计算在不同运动想象任务下mu节律的能量值。

利用典型相关性分析来计算在不同的稳态视觉刺激任务下相关系数的值。

利用标准偏差和峰值距离分析来检测咬牙任务的发生。

利用线性分类器1对特征提取出的运动想象任务进行分类，利用典型相关性计算出的相关系数的值，找到最大值作为分类的输出结果；利用线性分类器2，对咬牙任务进行实时检测。

其中串口电路包括stc12c5a60s2单片机和蓝牙发射装置。stc12c5a60s2通过串口接收到信号处理装置的输出结果(“1”，“2”，“3”，“4”，“5”，“6”)，并把信号处理装置的输出结果转换为范围在0到3.3伏之间的电压信号，并传输给蓝牙发射装置。

其中机械臂包括机械臂和蓝牙接收装置。蓝牙接收装置接收蓝牙发射装置通过蓝牙传输出的控制命令，并控制机械臂完成相应的运动。

一种基于脑电控制的机械臂写字装置的控制方法，包括如下步骤：

步骤101、利用脑电采集设备采集八个电极传感器、cms和drl参考电极传感器的采集信息，并将采集信息发送给信号处理设备；

步骤102、所述信号处理设备接收脑电采集设备的采集信息，并将采集信息进行数据处理；具体的数据处理过程依次为：

脑电信号处理程序包括：

数据滤波，基于有限冲击响应的0.01-32赫兹的带通滤波器，提取与运动想象任务，咬牙任务，稳态视觉诱发任务相关的脑电信号，去除心电，工频伪迹以及环境噪声，提高脑电信号的信噪比；

小波滤波，基于小波变换分析，把脑电信号进行多层分解，分析每一层的脑电信号，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除了脑电信号中的基波漂移，提高脑电信号的信噪比；小波函数定义如下：

ψ(t)∈l¹(r)∩l²(r),并且则称ψ(t)是一个母小波，对母小波可以进行伸缩平移，公式如下：

其中，ψa,b(t)是小波函数,a是尺度因子，b是平移因子，在上式中a和b都属于实数r；

脑电信号x(n)利用下式进行小波分解与重构：

其中，al是低频分量，dj是在不同尺度下的高频分量，l是分解层的数量；

特征提取，基于mu节律的二阶矩能量分析，计算在不同运动想象任务下mu节律能量明显的差异，降低特征分类的难度，对于脑电信号x(n)，假设长度为n,则其二阶矩能量e2的估计为：

基于典型相关性分析，计算在不同的稳态视觉刺激任务下相关系数的明显不同，提供给信号分类；x和y是两个多维随机变量，其线性组合分别为wx∈r^h×1和wy∈r^i×1；典型相关性分析算法的目的是寻找一组权重变量x∈r^h×j和y∈r^i×j，从而使得x和y的相关系数达到最大；公式如下：

其中，是最大相关系数，可以用来分析脑电信号和参考信号的相关性大小；

基于标准偏差和峰值距离分析，检测咬牙任务的发生，从而减少执行错误任务的发生；

分类，基于线性分类器，利用特征提取中mu节律的二阶矩能量对运动想象任务分析，求得不同任务下的能量差异，构造线性分类器，对运动想象任务的脑电信号进行分类，公式如下：

其中，e是mu节律二阶矩能量，α是能量阈值，用于判断运动想象任务；

如果表示受试者想象的左手运动，之后对应着四种不同的稳态视觉诱发任务；如果表示受试者想象的右手运动，之后对应着两种不同的稳态视觉诱发任务；如果表示受试者没有进行运动想象任务，处于空闲状态，则不会进入到之后的稳态视觉诱发任务；

利用特征提取中典型相关性对稳态视觉刺激任务分析，比较不同视觉频率刺激下的相关系数差异，找到最大值作为分类的输出结果，参考信号yi的公式如下：

其中，n是采样点的数量，s是采样频率，nh是谐波的数量，fi是刺激源的刺激频率，t是不同采样点所对应的时间；

输出的控制命令k利用如下公式完成：

其中，ρi是脑电信号和各频率的参考信号的最大相关系数；

利用特征提取中标准偏差和峰值距离对咬牙任务分析，构造线性分类器，对咬牙任务进行实时监测，公式如下：

其中，ss是标准偏差，sp是峰值距离，β和η分别是标准偏差阈值和峰值距离阈值，用于判断咬牙任务。如果表示受试者处于“牙齿咬紧”状态；如果则表示受试者处于“自然”状态，即没有进行“牙齿咬紧”任务；

步骤103、机械臂接收信号处理设备的控制指令，并根据上述控制指令执行相应的指令动作。

上述优选实施例的具体工作过程为：

步骤1，开启emotivepoc脑电采集帽的开关，采集用户的脑电信号。

具体的脑电采集过程为：fc5和fc6采集运动想象任务的脑电信号，p7、p8、o1和o2采集稳态视觉诱发任务的脑电信号，f7和f8监测咬牙任务的脑电信号。采集到的脑电信号通过无线传输电路传输给信号处理装置。

步骤2，通过与电脑连接的无线接收电路把脑电信号传输给信号处理装置，利用第一次预处理得到用户的有效信号，去除心电，工频伪迹和环境噪声，利用第二次预处理，采用小波变换对脑电信号进行多层分解，对每一层的脑电信号进行分析，找到有效的脑电信号部分，对有效的脑电信号部分进行重构，消除脑电信号中的基波漂移。在特征提取中，利用mu节律的二阶矩能量分析来计算在不同运动想象任务下mu节律的能量值，利用典型相关性分析来计算在不同的稳态视觉刺激任务下相关系数的值，利用标准偏差和峰值距离分析来检测咬牙任务的发生。在分类中，利用线性分类器1对特征提取出的运动想象任务进行分类，利用典型相关性计算出的相关系数的值，找到最大值作为分类的输出结果；利用线性分类器2，对咬牙任务进行实时检测。

步骤3，将步骤2调用的控制指令通过串口助手发送给与串口电路相连接的stc12c5a60s2单片机，并且stc12c5a60s2单片机根据接收到的控制指令输出相应的电压信号给蓝牙发射装置。

步骤4，蓝牙发射装置将控制命令发送给蓝牙接收装置(蓝牙接收装置与机械臂相连接)，从而蓝牙接收装置控制机械臂的运动状态，此运动状态包括向前，向后，向左，向右，向上和向下方向的运动。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。