本发明涉及一种基于p300的脑控机器人系统及其实现方法，属于脑机接口和机器人控制技术领域。
背景技术：
脑机接口(brain-computerinterface，bci)是在大脑与外部设备之间建立的一种非肌肉通信通道，实现了大脑意图和外界环境之间的交流。bci作为一种新的人机交互方式，为设备的脑意念控制提供了新思路，成为了智能机器人领域的研究热点，架起了“人脑生物智能”与“人工智能”结合的桥梁。随着bci技术与机器人自动控制技术的融合，产生了一项新技术—脑控机器人技术。在脑控系统中，根据不同的应用场景，选取的bci控制信号也不同，其中，基于事件相关电位p300的脑机接口系统因训练时间短，适应性强，成为bci研究中的重要热点之一。但是由于p300信噪比较低，需要叠加多次才能得到较明显且稳定的波形，限制了系统的传输速率。另外，p300电位是诱发电位，具有一定的潜伏期，目前基于p300的bci系统主要集中在指令选择的离散同步控制应用上，如拼写任务。针对信噪比较低的问题，主要通过改进信号处理算法和实验范式两个方向进行，即优化特征提取和分类算法以及加强p300成分。本发明主要集中于改进实验范式。经典的p300实验范式是由farwell和donchin提出的，所有符号按行列方式进行分组并随机呈现，实验效果容易出现近邻干扰、双闪问题以及重复失明问题。guan等人提出了单闪实验范式，虽然一定程度上改善了上述现象，但是刺激序列长度过长容易导致受试者疲劳，比较适合小尺寸的符号矩阵。随后研究者使用区域闪(类似两次单闪)提高了准确率。除了刺激闪烁方式的不同，刺激属性也影响实验结果。研究显示大脑对黄绿和绿的觉醒率最高，蓝绿组合变换受试者感觉更舒适，takano将传统实验范式的符号颜色背景改为蓝色，闪烁为绿色，提高了实验准确率。另外，不少学者也关注刺激类型对系统的影响，用面孔刺激代替符号刺激，诱发得到了p300电位以外的事件相关电位，为bci系统提供了更多的可能性。针对p300的潜伏期问题，近年来也出现了许多混合脑机接口的研究，如p300+ssvep脑机接口、p300+mu/beta脑机接口等，虽然实现了连续异步控制，但是技术不够成熟，并且增加了系统的复杂性。
技术实现要素：
为了克服现有技术中存在的不足，本发明的目的是提供一种基于p300的脑控机器人系统及其实现方法。本发明通过对刺激属性的组合改进，设计出一种基于5-oddball的p300实验范式，该范式界面简单，易于学习使用，且能诱发较强的p300成分，有效减少叠加次数，提高系统的传输速率。另外本系统根据脑控机器人系统的特点，将脑控和机器人自主控制相结合，实现两种控制命令交互共享异步控制，相比于混合脑机接口，此异步模式的系统复杂性降低，有利于机器人的稳定快速控制。
为了实现上述发明目的，解决已有技术中所存在的问题，本发明采取的技术方案是：一种基于p300的脑控机器人系统，包括视觉刺激模块并与其依次相连的受试者、电极帽模块、neuroscan脑电采集模块、信号处理模块、控制接口模块、pioneer3-dx型机器人运动模块，所述pioneer3-dx型机器人运动模块还与视觉刺激模块相连，控制接口模块还与pioneer3-dx型机器人环境检测模块相连，所述视觉刺激模块，是为受试者呈现视觉刺激以诱发脑电信号p300，包括5-oddball范式视觉刺激界面配置模块并与其分别相连的参数设置模块、刺激呈现模块及刺激设计模块，所述信号处理模块，是将采集的脑电信号转换成控制指令，包括预处理模块并与其依次相连的特征提取模块和特征分类模块，所述控制接口模块，是实现脑控和机器人自主控制的交互共享，包括共享控制模块并与其分别相连的脑控命令模块及环境信息模块。
一种基于p300的脑控机器人系统的实现方法，包括以下步骤：
步骤a、系统初始化，对neuroscan脑电采集模块，视觉刺激模块和pioneer3-dx型机器人运动模块进行初始化设置，具体包括以下子步骤：
子步骤a1、初始化neuroscan脑电采集模块，设置p300记录电极为fz、c3、cz、c4、pz、oz，以左右乳突电极a1、a2的平均作为参考，各电极的阻抗小于5kω，设置采样频率为250hz；
子步骤a2、初始化视觉刺激模块，采用5-oddball实验范式，刺激类型选取图形符号，以〇为中心，↑、↓、←、→分别分布在其正上、正下、正左、正右四个方位进行排布，界面由上到下共分为三个部分，上部显示实验技术人员指定受试者需要关注的图形符号，如果实验技术人员没有要求，此位置显示为空，中部为当前时刻所反馈出的图形符号，下部是图形符号刺激界面，视觉刺激的整体背景为白色，图形符号为黑色，闪烁颜色为绿色，反馈提示为黄色，刺激呈现方式为单闪，闪烁持续时间为100ms，刺激间隔为125ms，再将视觉刺激界面置于屏幕左上角；
子步骤a3、初始化pioneer3-dx型机器人运动模块，打开mobilesim软件，创建虚拟机器人，并在路径下加载绘制地图，设置机器人初始坐标位置、前进的线速度和转向的角速度，再将地图界面置于屏幕右上角；
子步骤a4、查看受试者的精神状态，提醒其保持集中状态，开启系统实验，进入步骤b；
步骤b、脑电信号采集，采用neuroscan脑电采集模块采集fz、c3、cz、c4、pz、oz处电极的脑电数据，采集分为训练阶段和测试阶段，具体包括以下子步骤：
子步骤b1、采集脑电信号训练数据，具体包括以下子步骤：
子步骤b11、采集过程中需要受试者注视呈现在屏幕左上角的视觉刺激界面，界面上部会显示出实验技术人员需要受试者依次关注的图形符号；
子步骤b12、实验开始后，受试者有2s的调整时间，随后刺激开始，5种刺激以随机序列各闪烁一次，称为1个trial，trial与trial之间的时间间隔为500ms；
子步骤b13、受试者按照界面上部显示的图形符号，依次默记其闪烁次数，当界面中部出现反馈信号后，转向下一个需要关注的图形符号，训练数据共包含500个trials，然后进入子步骤c1；
子步骤b2、采集脑电信号测试数据，具体包括以下子步骤：
子步骤b21、采集过程中需要受试者注视呈现在屏幕左上角的视觉刺激界面，界面上部不会显示图形符号，受试者首先要观察呈现在屏幕右上角的地图和机器人，确认想要其运动的方向；
子步骤b22、同子步骤b12；
子步骤b23、根据观察地图和机器人得到的运动方向，默记相应的图形符号闪烁次数，其中←表示匀速左转30°、→表示匀速右转30°、↑表示匀速前进0.5m、↓表示匀速后退0.5m、〇代表保持静止不动，受试者会根据界面中部显示的反馈信号调整需要关注的图形符号，测试数据包含400个trials，然后进入子步骤c2；
步骤c、信号处理，对脑电信号进行预处理，特征提取和分类，具体包括以下子步骤：
子步骤c1、通过训练数据进行特征提取及分类训练，构造分类器模型，具体包括以下子步骤：
子步骤c11、对信号进行预处理，选择脑电信号采集中的fz、c3、cz、c4、pz、oz六个电极数据传送到信号处理模块，数据格式为r×s维，这里，r等于6表示电极数，s表示采样点，再依次经过截止频率为0.1hz的iir滤波器和截止频率为10hz的fir滤波器进行预处理；
子步骤c12、对信号进行特征提取，从各单个刺激的开始时刻0ms对脑电信号进行分段，每段称之为epoch，时间窗口长度选为600ms，其中前100ms为基线，同种刺激的epoch叠加5次，之后数据被降采样到25hz，共15点，得到新的epoch，数据格式为6×15维，再将得到的epoch按照电极顺序依次拼接，则单个刺激提取的特征向量x为90×1维；
子步骤c13、对分类器进行训练，选择的分类器为fisher线性判别分析分类器，判别函数g(x)通过公式(1)进行描述，
g(x)＝wtx(1)
式中，w为权重向量，x为特征向量，训练样本为x＝[x1,x2,...,xn]，样本数量n等于500，其中靶刺激的样本数量为100，对应分类标签为1，非靶刺激的样本数量为400，对应分类标签为0，通过fisher线性判别分类器得到w的最优值w*；
p300的诱发与期望相关，而与刺激无关，所以脑机接口中对p300的识别，即分类器分成靶刺激类记为1和非靶刺激类记为0的两类结果，并按照公式(2)进行分类，
式中，label(x)为分类器输出函数，
在实际p300脑机接口中，数据输入是n个xi(i＝1,…,n)的集合，n表示刺激种类数，有5种刺激(〇、↑、↓、←、→)，即n＝5，通过公式(3)进行分类，
若分类器共识别出1个靶刺激类和n-1个非靶刺激类，则分类器代表有指令输出，若分类器共识别出1个以上的靶刺激类，则分类器代表无指令输出，然后进入子步骤b2；
子步骤c2、p300的在线检测，具体包括以下子步骤：
子步骤c21、同子步骤c11；
子步骤c22、同子步骤c12；
子步骤c23、将构造好的分类器应用在线系统中，5轮刺激闪烁后，5种刺激的特征向量构成分类器输入，分类器根据公式(1)和公式(3)输出5种刺激对应的控制命令，然后进入步骤d；
步骤d、实现共享控制，采用美国activmediarobotics公司的pioneer3-dx型机器人进行控制，通过tcp/ip协议进行脑控命令与机器人之间的数据传输，具体包括以下子步骤：
子步骤d1、系统判断是否有脑控命令信息，有则进入子步骤d2，否则进入子步骤d3；
子步骤d2、首先进行脑控命令的检测，判断其是否符合环境信息，即检测当障碍物与机器人距离小于0.5m时，机器人是否仍然接收到靠近障碍物的脑控命令，如果有则进入步骤d3，否则进入脑控命令模式，即在脑控命令持续时间内，执行相应的脑控命令动作，即脑控命令为↑或↓时，机器人匀速前进或后退0.5m，脑控命令为←或→时，机器人匀速左转或右转30°，脑控命令为〇时，机器人保持不动，随后系统判断控制命令的结束与否，结束则进入子步骤d1，否则等待控制命令结束；
子步骤d3、进入机器人自主控制模式，通过机器人激光传感器采集环境信息，通过模糊离散事件系统方法计算机器人运动的线速度与转向的角速度，输出控制命令并判断其是否执行完毕，执行完毕则进入子步骤d1，否则等待控制命令执行完毕。
本发明有益效果是：一种基于p300的脑控机器人系统及其实现方法，采用不同于传统的字母符号的图形符号组成5种选择的新实验范式，对于脑控机器人系统指代意义更清晰明了，适用性强。另外，刺激颜色组合选用白色背景和大众较敏感的绿色加强，以诱发更大幅度的p300成分。刺激采用单闪的亮度加强方式，避免了“双闪效应”和“近邻干扰”问题影响。通过对bci系统属性的组合改进，提高了其传输速率，并结合异步bci和机器人共享脑控技术，可实现更加快速和准确的脑控机器人控制。
附图说明
图1是本发明系统原理框图。
图2是本发明中的视觉刺激模块原理框图。
图3是本发明中的信号处理模块原理框图。
图4是本发明中的控制接口模块原理框图。
图5是本发明方法步骤流程图。
图6是本发明中的视觉刺激模块界面图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1、2、3、4所示，一种基于p300的脑控机器人系统，包括视觉刺激模块并与其依次相连的受试者、电极帽模块、neuroscan脑电采集模块、信号处理模块、控制接口模块、pioneer3-dx型机器人运动模块，所述pioneer3-dx型机器人运动模块还与视觉刺激模块相连，控制接口模块还与pioneer3-dx型机器人环境检测模块相连，所述视觉刺激模块，是为受试者呈现视觉刺激以诱发脑电信号p300，包括5-oddball范式视觉刺激界面配置模块并与其分别相连的参数设置模块、刺激呈现模块及刺激设计模块，所述信号处理模块，是将采集的脑电信号转换成控制指令，包括预处理模块并与其依次相连的特征提取模块和特征分类模块，所述控制接口模块，是实现脑控和机器人自主控制的交互共享，包括共享控制模块并与其分别相连的脑控命令模块及环境信息模块。
如图5所示，一种基于p300的脑控机器人系统的实现方法，包括以下步骤：
步骤a、系统初始化，对neuroscan脑电采集模块，视觉刺激模块和pioneer3-dx型机器人运动模块进行初始化设置，具体包括以下子步骤：
子步骤a1、初始化neuroscan脑电采集模块，设置p300记录电极为fz、c3、cz、c4、pz、oz，以左右乳突电极a1、a2的平均作为参考，各电极的阻抗小于5kω，设置采样频率为250hz；
子步骤a2、初始化视觉刺激模块，采用5-oddball实验范式，如图6所示，刺激类型选取图形符号，以〇为中心，↑、↓、←、→分别分布在其正上、正下、正左、正右四个方位进行排布，界面由上到下共分为三个部分，上部显示实验技术人员指定受试者需要关注的图形符号，如果实验技术人员没有要求，此位置显示为空，中部为当前时刻所反馈出的图形符号，下部是图形符号刺激界面，视觉刺激的整体背景为白色，图形符号为黑色，闪烁颜色为绿色，反馈提示为黄色，刺激呈现方式为单闪，闪烁持续时间为100ms，刺激间隔为125ms，再将视觉刺激界面置于屏幕左上角；
子步骤a3、初始化pioneer3-dx型机器人运动模块，打开mobilesim软件，创建虚拟机器人，并在路径下加载绘制地图，设置机器人初始坐标位置、前进的线速度和转向的角速度，再将地图界面置于屏幕右上角；
子步骤a4、查看受试者的精神状态，提醒其保持集中状态，开启系统实验，进入步骤b；
步骤b、脑电信号采集，采用neuroscan脑电采集模块采集fz、c3、cz、c4、pz、oz处电极的脑电数据，采集分为训练阶段和测试阶段，具体包括以下子步骤：
子步骤b1、采集脑电信号训练数据，具体包括以下子步骤：
子步骤b11、采集过程中需要受试者注视呈现在屏幕左上角的视觉刺激界面，界面上部会显示出实验技术人员需要受试者依次关注的图形符号；
子步骤b12、实验开始后，受试者有2s的调整时间，随后刺激开始，5种刺激以随机序列各闪烁一次，称为1个trial，trial与trial之间的时间间隔为500ms；
子步骤b13、受试者按照界面上部显示的图形符号，依次默记其闪烁次数，当界面中部出现反馈信号后，转向下一个需要关注的图形符号，训练数据共包含500个trials，然后进入子步骤c1；
子步骤b2、采集脑电信号测试数据，具体包括以下子步骤：
子步骤b21、采集过程中需要受试者注视呈现在屏幕左上角的视觉刺激界面，界面上部不会显示图形符号，受试者首先要观察呈现在屏幕右上角的地图和机器人，确认想要其运动的方向；
子步骤b22、同子步骤b12；
子步骤b23、根据观察地图和机器人得到的运动方向，默记相应的图形符号闪烁次数，其中←表示匀速左转30°、→表示匀速右转30°、↑表示匀速前进0.5m、↓表示匀速后退0.5m、〇代表保持静止不动，受试者会根据界面中部显示的反馈信号调整需要关注的图形符号，测试数据包含400个trials，然后进入子步骤c2；
步骤c、信号处理，对脑电信号进行预处理，特征提取和分类，具体包括以下子步骤：
子步骤c1、通过训练数据进行特征提取及分类训练，构造分类器模型，具体包括以下子步骤：
子步骤c11、对信号进行预处理，选择脑电信号采集中的fz、c3、cz、c4、pz、oz六个电极数据传送到信号处理模块，数据格式为r×s维，这里，r等于6表示电极数，s表示采样点，再依次经过截止频率为0.1hz的iir滤波器和截止频率为10hz的fir滤波器进行预处理；
子步骤c12、对信号进行特征提取，从各单个刺激的开始时刻0ms对脑电信号进行分段，每段称之为epoch，时间窗口长度选为600ms，其中前100ms为基线，同种刺激的epoch叠加5次，之后数据被降采样到25hz，共15点，得到新的epoch，数据格式为6×15维，再将得到的epoch按照电极顺序依次拼接，则单个刺激提取的特征向量x为90×1维；
子步骤c13、对分类器进行训练，选择的分类器为fisher线性判别分析分类器，判别函数g(x)通过公式(1)进行描述，
g(x)＝wtx(1)
式中，w为权重向量，x为特征向量，训练样本为x＝[x1,x2,...,xn]，样本数量n等于500，其中靶刺激的样本数量为100，对应分类标签为1，非靶刺激的样本数量为400，对应分类标签为0，通过fisher线性判别分类器得到w的最优值w*；
p300的诱发与期望相关，而与刺激无关，所以脑机接口中对p300的识别，即分类器分成靶刺激类记为1和非靶刺激类记为0的两类结果，并按照公式(2)进行分类，
式中，label(x)为分类器输出函数，
在实际p300脑机接口中，数据输入是n个xi(i＝1,…,n)的集合，n表示刺激种类数，有5种刺激，即n＝5，通过公式(3)进行分类，
若分类器共识别出1个靶刺激类和n-1个非靶刺激类，则分类器代表有指令输出，若分类器共识别出1个以上的靶刺激类，则分类器代表无指令输出，然后进入子步骤b2；
子步骤c2、p300的在线检测，具体包括以下子步骤：
子步骤c21、同子步骤c11；
子步骤c22、同子步骤c12；
子步骤c23、将构造好的分类器应用在线系统中，5轮刺激闪烁后，5种刺激的特征向量构成分类器输入，分类器根据公式(1)和公式(3)输出5种刺激对应的控制命令，然后进入步骤d；
步骤d、实现共享控制，采用美国activmediarobotics公司的pioneer3-dx型机器人进行控制，通过tcp/ip协议进行脑控命令与机器人之间的数据传输，具体包括以下子步骤：
子步骤d1、系统判断是否有脑控命令信息，有则进入子步骤d2，否则进入子步骤d3；
子步骤d2、首先进行脑控命令的检测，判断其是否符合环境信息，即检测当障碍物与机器人距离小于0.5m时，机器人是否仍然接收到靠近障碍物的脑控命令，如果有则进入步骤d3，否则进入脑控命令模式，即在脑控命令持续时间内，执行相应的脑控命令动作，即脑控命令为↑或↓时，机器人匀速前进或后退0.5m，脑控命令为←或→时，机器人匀速左转或右转30°，脑控命令为〇时，机器人保持不动，随后系统判断控制命令的结束与否，结束则进入子步骤d1，否则等待控制命令结束；
子步骤d3、进入机器人自主控制模式，通过机器人激光传感器采集环境信息，通过模糊离散事件系统方法计算机器人运动的线速度与转向的角速度，输出控制命令并判断其是否执行完毕，执行完毕则进入子步骤d1，否则等待控制命令执行完毕。