一种基于SSVEP的机械臂异步控制方法

一种基于ssvep的机械臂异步控制方法
技术领域
1.本发明涉及脑-机接口技术领域，涉及一种基于ssvep的机械臂异步控制方法。


背景技术：

2.脑机接口(brain-computer interface，bci)系统能够直接检测大脑中神经活动，并将其转为输出，可以直接从大脑中检测人的行动想法，将信息直接传入机器中。它实现了脑与计算机的直接通信，是一种新型的交互手段，能够为肢体有障碍、脑卒中等患者提供对外交流的桥梁，对他们能够重新正常生活具有重要的现实意义。
3.脑机接口系统主要由脑电采集模块、信号处理与解码(预处理、特征提取、分类识别)，控制命令输出等单元组成。脑机接口系统的控制方式主要分为同步控制和异步控制两种，常见的脑机接口系统多为同步控制。同步控制要求控制信号在规定的区间内发送，对于现实场景的使用非常不便。因此，对异步控制系统的研究非常有必要，也是脑机接口系统从理论转为现实的重要桥梁。
4.稳态视觉诱发电位(steady-state visual evoked potential，ssvep)主要分布在大脑枕叶枕区，当被试者受到外界固定频率的持续性视觉刺激时而产生的脑电信号。ssvep范式因其出色的脑电信噪、对眼电伪迹的相对免疫、不需要被试者预先进行训练等优秀等点，成为当前最热门的脑机接口范式之一。


技术实现要素：

5.为了克服已有技术的不足，本发明提供了一种基于ssvep的机械臂异步控制方法，能够同步采集脑电信号，进行实时分类、控制状态判别、指令发送、反馈控制；使用alpha实现了机械臂系统的状态控制，结合cca系数与功率谱密度的融合决策实现了机械臂控制状态与空闲状态的判别，更加符合用户的操作，有效地提升了用户通过ssvep控制机械臂的效率，增加了机械臂操纵的安全性与可靠性
6.本发明解决其技术问题所采用的技术方案是：
7.一种基于ssvep的机械臂异步控制方法，包括以下步骤：
8.1)离线训练：在离线状态下，采集被试者空闲凝视状态下的脑电数据，alpha波信号，找到最佳的处理通道组合、频段和阈值信息；
9.2)多级刺激页面：拥有多层刺激界面，每个刺激界面上均有不同频率闪烁的目标，控制系统通过被试者的脑电数据识别被试者所凝视的目标；
10.3)数据采集：根据脑电图电极位置国际标准10/20，采集脑部枕区9个通道的数据，并将信号传回处理端；
11.4)预处理：根据离线训练结果对数据进行相应的划窗分割、选取相应组合通道的数据进行处理、进行带通滤波与陷波处理；
12.5)特征提取：通过典型相关分析cca算法与结合功率谱密度psd提取采集脑电信号的相应特征；
13.6)机械臂启动：当采集的alpha波信号达到离线实验中所设定的阈值时，启动机械臂，并在刺激界面上显示机械臂为开启状态；
14.7)意图判别：识别被试者处于空闲状态还是凝视状态，若为凝视状态，产生控制信号；
15.8)信号分类：将脑电信号进行分类识别，找出被试者所凝视的目标块，将其转为控制信号，并发送至机械臂控制系统中；
16.9)机械臂控制：选择机械臂控制方式，将控制指令转为机械臂运动信号，并完成相应的动作。
17.进一步，所述步骤2)的过程如下：
18.a、第一层为机械臂的工作模式选择，机械臂的工作模式分为笛卡尔坐标系控制与关节角度控制，目标块1代表笛卡尔坐标系控制，目标块2代表关节角度控制，y代表确定，n代表取消，每次选择后会在屏幕中进行反馈；工作模式选择后需选择确定按钮，若选择取消，则需要重新对工作模式进行选择，成功选择工作模式后向机械臂控制系统发送工作模式选择信号；
19.b、第二层为机械臂的控制层，图中展示的为笛卡尔坐标系工作模式下的机械臂控制页面；x+、y+、z+分别代表x、y、z正方向上的移动，x-、y-、z-分别代表x、y、z负方向上的移动；绿色按钮和红色按钮分别代表机械臂的开启和关闭状态，当机械臂开启时，只显示绿色按钮而不显示红色按钮，关闭时则只显示红色按钮而不显示绿色按钮；
20.c、第一层各目标块的闪烁频率分别为9hz、10hz、11hz、12hz，第二层各目标块闪烁频率分别为8hz、9hz、10hz、11hz、12hz、13hz，采用采样正弦调制法生成刺激：
[0021][0022]
s：目标块的亮度，0代表最低亮度，1代表最大亮度；
[0023]
f：目标块的闪烁频率；
[0024]
i：当前屏幕闪烁的帧数序号；
[0025]
r：屏幕的闪烁频率，在lcd屏中，为60hz。
[0026]
本发明的有益效果主要表现在：有效地提升了用户通过ssvep控制机械臂的效率，增加了机械臂操纵的安全性与可靠性。
附图说明
[0027]
图1为bci系统的简要示意图。
[0028]
图2为本发明的逻辑流程图。
[0029]
图3为本发明的多级刺激页面的第一层页面。
[0030]
图4为本发明的多级刺激页面的第二层页面。
[0031]
图5为本发明的脑电极放置位置图。
[0032]
图6为本发明的机械臂控制系统图。
具体实施方式
[0033]
下面结合附图对本发明作进一步描述。
[0034]
参照图1～图6，一种基于ssvep的机械臂异步控制方法，包括以下步骤：
[0035]
1)离线训练：在离线状态下，采集被试者空闲凝视状态下的脑电数据，alpha波信号，找到最佳的处理通道组合、频段、阈值等信息；
[0036]
2)多级刺激页面：拥有多层刺激界面，每个刺激界面上均有不同频率闪烁的目标，控制系统通过被试者的脑电数据识别被试者所凝视的目标；
[0037]
3)数据采集：根据脑电图电极位置国际标准10/20，采集脑部枕区9个通道的数据，并将信号传回处理端；
[0038]
4)预处理：根据离线训练结果对数据进行相应的划窗分割、选取相应组合通道的数据进行处理、进行带通滤波与陷波处理；
[0039]
5)特征提取：通过典型相关分析(canonical correlation analysis,cca)算法与结合功率谱密度(power spectral density，psd)提取采集脑电信号的相应特征；
[0040]
6)机械臂启动：当采集的alpha波信号达到离线实验中所设定的阈值时，启动机械臂，并在刺激界面上显示机械臂为开启状态；
[0041]
7)意图判别：识别被试者处于空闲状态还是凝视状态，若为凝视状态，产生控制信号；
[0042]
8)信号分类：将脑电信号进行分类识别，找出被试者所凝视的目标块，将其转为控制信号，并发送至机械臂控制系统中；
[0043]
9)机械臂控制：选择机械臂控制方式，将控制指令转为机械臂运动信号，并完成相应的动作。
[0044]
如图1所示，bci系统主要包括被试者、脑电采集模块，脑电信号处理与解码模块与控制模块组成，本发明是基于ssvep刺激状态下，对脑电信号进行采集、处理，输出控制信号对机械臂实现自主操控的控制系统。
[0045]
如图2所示，本发明主要由以下8步骤分组成：离线训练、多级刺激页面、数据采集、数据预处理、机械臂启动、意图识别、特征分类、机械臂控制。
[0046]
被试者在使用本发明控制机械臂前，需要先进行离线训练，将所采集的数据进行处理分析，得到最佳的脑电通道组合、滑动窗口长度、阈值等信息，将信息传入控制系统，处理完毕后进行正式使用；多级刺激页面显示多个以不同频率闪烁的目标块，在第一级页面中，被试者需选择机械臂的控制模式进入第二层刺激页面，被试者通过凝视目标块实现命令的发送；采集设备对脑电信号进行采集，发送至处理端；处理端对信号进行预处理、特征提取；当alpha波达到所设定的阈值，开启机械臂；开始对信号的意图进行判别，当信号识别为凝视状态，允许对信号进行分类识别；对信号进行分类，并将其转为控制信号传入机械臂控制系统中；机械臂控制系统根据控制信号与机械臂运动模式，对机械臂进行控制，抓取指定目标。
[0047]
本发明的各部分具体过程如下：
[0048]
1.离线训练：
[0049]
a、采集刺激频率为8hz、9hz、10hz、11hz、12hz、13hz刺激下、非凝视状态下与闭眼状态下的大脑枕区信号，分别记作凝视状态、空闲状态与闭眼状态下数据；
[0050]
b、离线实验中，每个实验数据的长度为5s，对数据按照步长0.1s，从0.5-4s的不同长度进行划窗，，将数据按照0.5s-4s的长度(步长为0.1s)进行划分，将长度为5s的数据划
窗，如3s窗口划分，则数据划分为0-3s、0.1-3.1s、0.2-3.2s
……
4.1-5s，共21个数据；
[0051]
c、使用cca算法计算空闲状态与凝视状态下的相关系数，取最大系数与第二系数的比值记为cca系数；
[0052]
d、计算空闲状态与凝视状态下基频及不同谐波频率(8-13hz、8-26hz、8-39hz、8-52hz、16-26hz、16-39hz、16-52hz、24-39hz、24-52hz、32-52hz)下功率谱数值；
[0053]
e、计算闭眼状态下oz通道alpha波的阈值
[0054]
f、找到最佳的实验条件、功率谱与cca系数的权值系数；
[0055]
2.多级刺激页面：
[0056]
a、如图3所示，多级刺激页面的第一层为机械臂的工作模式选择，机械臂的工作模式分为笛卡尔坐标系控制与关节角度控制，目标块1代表笛卡尔坐标系控制，目标块2代表关节角度控制，y代表确定，n代表取消，每次选择后会在屏幕中进行反馈；工作模式选择后需选择确定按钮，若选择取消，则需要重新对工作模式进行选择，成功选择工作模式后向机械臂控制系统发送工作模式选择信号；
[0057]
b、如图4所示，多级刺激页面的第二层为机械臂的控制层，图中展示的为笛卡尔坐标系工作模式下的机械臂控制页面；x+、y+、z+分别代表x、y、z正方向上的移动，x-、y-、z-分别代表x、y、z负方向上的移动；绿色按钮(右上方散点按钮)和红色按钮(右下方密点按钮)分别代表机械臂的开启和关闭状态，当机械臂开启时，只显示绿色按钮而不显示红色按钮，关闭时则只显示红色按钮而不显示绿色按钮；
[0058]
c、第一层各目标块的闪烁频率分别为9hz、10hz、11hz、12hz，第二层各目标块闪烁频率分别为8hz、9hz、10hz、11hz、12hz、13hz，采用采样正弦调制法生成刺激：
[0059][0060]
s：目标块的亮度，0代表最低亮度，1代表最大亮度；
[0061]
f：目标块的闪烁频率；
[0062]
i：当前屏幕闪烁的帧数序号；
[0063]
r：屏幕的闪烁频率，在lcd屏中，通常为60hz；
[0064]
3.数据采集：图5所示为本发明的脑电极放置位置图，根据国际脑电极10/20标准，将脑电极放置于图5所示的枕区11个通道，图中的gnd接地；
[0065]
4.数据预处理：将alpha判别状态的信号，即oz单独通道数据提出，进行8-13hz的带通滤波，根据离线训练选取最佳通道组合数据，进行7-95hz的带通滤波，并对其进行陷波处理，根据离线训练的结果，选择是否使用独立成分分析(independent component analysis，ica)进行眼电的去除；
[0066]
5.机械臂启动：将oz单独通道的数据与离线训练中闭眼状态alpha波的阈值进行比较，达到阈值，向机械臂控制系统发送机械臂启动信号；
[0067]
6.意图识别：对最佳通道组合数据进行cca系数与功率谱计算，将得到的值与离线训练中的阈值相比，并用离线训练中所得到的权值系数进行降维，若混合后系数大于1，则认为被试者正在凝视目标(发出指令)，若小于1，则认为被试者处于空闲状态未发出指令；
[0068]
7.特征分类：采用cca对ssvep信号进行特征分类，cca方法可以寻找到两组变量的最大相关性，将采集信号记为x，在计算时，设置正弦信号y，fi分别为目标块的6个频率，计
算x与6组正弦信号y的相关性，找到与x相关性最大的y所对应的目标块频率，即可判断被试者所凝视的目标；
[0069][0070]
8.机械臂控制系统：如图6所示，机械臂控制系统包括了以上某几个环节。控制系统开启时，会持续有信号输入，首先需要对信号进行判别，有效判别信号分为四类：机械臂开启/关闭信号、工作模式选择信号、机械臂运动控制信号、末端执行器控制信号。当控制系统收到机械臂开启信号，启动机械臂；对工作模式选择信号进行监听，此时只接收该信号与机械臂状态控制信号，收到工作模式选择信号后进入相应工作模式；等待机械臂运动控制信号与末端执行器控制信号输入，接受到信号后通过ros系统控制机械臂移动与末端执行器，对目标物进行抓取。
[0071]
本发明公开的基于ssvep的机械臂异步控制系统，在机械臂控制过程中，采用alpha波信号控制机械臂的状态，采用动态划窗、动态通道组合的方法，将cca系数与功率谱密度进行加权决策，实现了ssvep对机械臂的异步控制，通过多级刺激页面完成了机械臂控制系统各模式的选择。该异步控制系统有效的增加了用户的安全性、降低经济成本，使用户无需在预设指令时间内进行控制，能够自由地对机械臂进行控制，实现目标物体的抓取，具有较高的准确性与实时性。
[0072]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。