一种结合脑机接口技术及ORB_SLAM导航的移动机器人控制新方法

本发明属于脑科学、无人系统控制交叉领域，具体是一种基于结合脑机接口技术和视觉slam技术的移动机器人控制方法。

背景技术：

移动机器人是一个集环境感知、决策规划、执行控制等多功能于一体的综合系统。它集中了传感器技术、信息处理、电子工程、计算机工程、自动化控制工程以及人工智能等多学科的研究成果。近年来移动机器人的应用范围不断扩展，不仅在工业、农业、医疗、服务等行业中得到广泛的应用，而且在城市安全、国防和空间探测领域等有害与危险场合得到很好的应用。

目前，从某些特殊应用需求来看，比如地面无人作战平台以及月球车的应用，移动机器人在这些复杂非结构化的应用环境中，会面临一些突发复杂情况。许多研究工作表明，由于受到诸如机构学、传感器技术和模式识别技术发展的限制，移动机器人在有突发情况产生或非结构化复杂环境中完全依托基于机器智能的自动驾驶技术来完成移动任务在今后可以预见的相当长一段时间内是一个难以达到的目标。

目前，在这种复杂非结构化环境中，对于移动机器人任务的执行控制通常的做法是通过遥操作技术由操作员远程对移动机器人进行一个人工控制，该方法的优点是任务执行过程中能够充分利用操作员作为人本身的认知决策与灵活应变特性，缺点是操作人员操作负担较重，并且，一般人工控制形式以人工手动遥控模式为主，操作者的双手被持续占用，无法同步进行其他工作，同时这种手动遥控的方式也限制了该控制系统的未来智能化程度的发展。

脑机接口(brain-computerinterface,bci)是一种通过在人脑神经与外部设备(比如计算机、机器人等)间建立直接连接通路来实现神经系统和外部设备间信息交互与功能整合的技术。随着bci技术的发展，目前已经有研究人员开发基于脑机接口的实时移动机器人控制系统，目前的相关研究中这种控制系统只是仅仅使用了脑机接口技术直接对移动机器人进行控制。该系统中，要想准确表达操作者意图就必须要求操作者精力高度集中，操作者大脑操作负担极大且极易疲劳，并且控制准确率往往不尽人意。

根据以上所述，现有的这些移动机器人控制系统在复杂非结构化环境中执行任务存在以下问题：

1.基于完全自主导航技术的移动机器人控制系统任务完成可靠性差，对于突发状况应变能力差。

2.依托于遥操作技术的移动机器人控制系统，使用人工手动控制，无法解放操作者的双手，操作者操作负担较重。

3.仅使用脑机接口技术的移动机器人控制系统，操作者精神负担重，长时间控制精度不理想。

基于机器智能的自动驾驶技术具有能够充分利用计算机能够记录大量的数据、知识信息、精确处理大量数据与知识以及进行基于规则的逻辑推理的优点；使用人本身的人为决策对移动机器人进行人工控制能够利用人脑智能灵活性、适应性好、应对突发状况能力强的优点。为解决在复杂非结构化并且存在突发事件环境中移动机器人的任务完成率不理想的问题，本发明提出的结合脑机接口技术及orb_slam导航的移动机器人控制新方法，在现有移动机器人系统的自主导航能力基础上，在自主导航过程中给予移动机器人操作者实时前景反馈，利用bci技术加入人脑意识控制，达到在任务控制过程层面实现人机智能融合的目的，从而提高移动机器人的任务完成可靠性，帮助移动机器人完成存在突发事件环境下的任务，同时减轻操作者操作负担。

技术实现要素：

本发明的目的在于克服现有移动机器人控制系统在存在突发事件环境中执行任务所存在的缺点与不足，为移动机器人控制提供一种新途径，来帮助移动机器人完成上述环境下的任务完成。本发明总体的方案是将自主导航控制与脑控相结合进行分段控制，在移动机器人基于orb_slam的自主导航过程中通过远程视频传输技术给予移动机器人操作者移动机器人的实时前景反馈，同时通过基于ssvep的脑机接口技术加入人的决策控制，将人的判断以及对突发情况的应变能力加入到控制过程中，融合人机优势，提高移动机器人控制系统的性能。

本发明技术方案的核心在于在移动机器人的自主导航过程中人的决策控制引入的方法及人为决策控制与自主导航控制的切换所采用的方法。在移动机器人的自主导航过程中，通过远程无线视频传输技术提供给移动机器人操作者移动机器人的实时前景视频反馈，同时采集操作者的大脑eeg信号后进行eeg信号处理判断是否产生有效决策控制信号，操作者观察自主导航过程中的实时前景，当机器人驶入自动驾驶传感器可能失效的地形或者移动机器人面临突发情况时，操作者只需视线注视所设计的前景视频反馈界面上的刺激模块，移动机器人即可通过脑机接口系统快速由自主导航控制模式切换为人为意识控制模式，并且产生有效人为意识决策控制指令信号，移动机器人执行器转由执行自主导航控制信号而去执行该人为决策控制信号，从而避免自主导航在该种场景情况下可能发生的严重后果。在人为意识控制下移动机器人脱离上述特殊场景情况后，操作人员只需视线脱离刺激模块，移动机器人即可回归到自主导航控制中。在整个任务过程中，在上述复杂非结构化环境中，突发情况或者特殊地形是偶有发生的，绝大多数的时间内，移动机器人的控制是由自主导航控制的，因为人的注意力警觉机制的存在，该时间段内只需操作人员花费极少的精力去观察前景反馈是否有特殊情况发生或者是否进入特殊地形，因此，该系统下操作人员的操作负担被大大减轻的，并且突发情况下人为脑电意识控制的快速切入避免了自主导航可能发生的不测。

本发明具体的技术方案如图1所示，首先进行orb_slam环境建图，然后利用基于ssvep范式的脑机接口技术进行移动机器人目的地的图像选取后将选取的目的地图像与orb_slam所建立的关键帧图库进行特征点匹配换算出目的地的地图坐标，将slam定位的自身坐标和上一步得到的目的地坐标传递给路径规划模块进行导航的路径规划，移动机器人按照路径规划结果进行自主导航，在自主导航过程中，脑机接口控制系统一直在运行，操作人员简单观察实时图传信息看是否有特殊情况发生或者是否进入特殊地形即可，此时，在该状态下(视线不对刺激模块进行注视，无视觉刺激状态下)，脑机接口控制系统产生空控制指令，移动机器人控制由自主导航技术实现，当操作者通过实时图传观察到移动机器人进入复杂环境或者有突发情况产生时，通过注视相应ssvep刺激模块，脑机接口系统产生有效控制信号引入决策控制，此时，移动机器人按照脑控系统的有效控制信号执行，移动机器人脱离特殊场景后，操作人员视线脱离相应ssvep刺激模块，则脑控系统的有效控制信号结束，以上述有效控制信号的结束为号令，路径规划模块再次按照slam定位的当前自身坐标和目的地坐标进行路径规划，移动机器人继续由自主导航控制系统控制，重复上述过程，直至到达目的地。

本发明提供的技术方案的有益效果是：

(1)通过bci技术，在自主导航过程的特殊时段内(比如进入了高度动态变化的环境或者自动驾驶传感器可能失效的地形)加入人脑意识控制，将人的判断以及对突发情况的应变能力加入到导航系统中，融合了人机智能的优势；除此之外的时间段内，继续依托基于机器智能的自动驾驶技术来执行移动机器人的控制，整个任务过程中充分降低了操作人员的操作负担。

(2)无论是导航目的地选择阶段，还是之后的任务执行过程中，操作人员的双手被得到释放，操作负担被充分释放，

(3)对于操作人员，可以满足多任务同步进行的需求；另外，本发明可以应用到特殊人群(如上肢残疾，中风，瘫痪等)的生活辅助中。

附图说明

图1为技术方案框架；

图2为本发明实施案例系统框图；

图3为视频反馈及刺激模块分布界面；

图4为目的地场景图像选择阶段闪烁模块代表意义示意图；

图5为任务执行时人脑决策控制阶段闪烁模块代表意义示意图；

图6为ssvep脑电信号特征提取方案流程图；

具体实施方式

为使本发明的发明内容更加清楚，下面对本发明实施方式作进一步地详细描述，本发明实施案例系统框图如图2所示。

本发明实施案例中的移动机器人为zhishan机器人，内置一台工控机作为主控，工控机基本配置为inteli7-4560u、64gb固态硬盘、8gb内存。其上搭载着ubuntu16.4系统，通过ssh协议与远程控制的pc进行通信。工控机的usb接口连接着移动机器人上搭载的720p的usb高清摄像头，以及一个串口与底层的stm32单片机进行通信。移动机器人默认开机启动的usb摄像头节点,发布的是720p的图像流,一是用于orb_slam建图需求，二是基于h.264编解码技术传递给远程控制的笔记本电脑，用于基于bci的导航目的地图像选取和用于操作者观察的场景视频反馈。底层的stm32控制板上连接着红外传感器与超声波测距传感器，帮助移动机器人进行简单的避障。再通过串口接收的指令基于pid算法对左右电机进行控制，实现差速轮的运动，控制移动机器人前进。移动机器人移动速度最大0.8m/s,电机自带编码器配有速度控制,自适应多种承重负载和地面路况。

本发明的整个自主驾驶系统是基于移动机器人主控上的ros系统来实现，slam方案为单目orb_slam，该方案采用单目高清摄相机进行视觉图像采集，单目相机结构简单，成本低，相比基于其他传感器的slam方案能够有效降低系统硬件成本，单目orb-slam为特征点法slam，构建出的地图为稀疏点云图，该地图可用于导航和移动机器人的自身定位，且该算法运算速度快，orb-slam能够在标准的cpu上进行实时工作。同时，本发明选择了人工势场算法作为自主导航系统的路径规划算法，orb-slam所建立的地图为稀疏点云地图，以各个特征点制造人工势场非常方便，即可对无人车施加“引力”和“斥力”，为移动机器人在地图中实现路径规划。

本发明中，用于给予操作人员反馈的远程pc使用ssh协议远程登录移动机器人上位机的ubuntu系统，解码基于h.264标准的usb摄像头所采集的压缩传输后的视频流，给予操作人员实时的移动机器人前景视频反馈，ssvep范式脑机接口作为脑机接口模块的实现，ssvep范式的刺激模块实现利用matlab的psychtoolbox工具包在视频反馈界面上添加lcd的闪烁模块，四个闪烁模块的闪烁频率分别为f1＝12.4hz、f2＝16hz、f3＝17.8hz、f4＝20hz，整个视频反馈及刺激模块界面如图3所示。目的地区域图像选择阶段，特定闪烁模块选择代表这块特定图像区域的选择，具体显意如图4所示，经过多级选择，将最终选择的图像区域传递给移动机器人的工控机，与slam所建立的关键帧图库进行特征点匹配换算出目的地的地图坐标，将其用于路径规划；目的地区域图像选择结束，当移动机器人开始了移动，四个特定闪烁模块代表着向右旋转、向左旋转、前进、后退四个操作员想要通过bci引入的人为意识控制指令，人脑决策控制阶段阶段闪烁模块代表意义如图5所示。

在整个移动机器人任务执行过程中，脑机接口模块一直在运行，通过脑电采集系统采集操作人员头皮表面的脑电信号，并将采集到的实时脑电数据传输给matlab进行脑电信号分析。首先是预处理，包含脑电低频带通滤波及工频陷波，预处理之后利用典型相关分析(canonicalcorrelationanalysis,cca)算法对o1、o2、oz三个导联的数据进行特征提取，基于典型相关分析的ssvep信号特征提取方案如图6所示，根据cca算法得到的相关性系数的大小确定是否有有效意识控制信号以及具体指令内容，具体涉及计算公式如下：

x＝(x1,x2,…xn)^t

x为中一组记录的eeg信号，n是信号采集电极的数量，本发明实例n为3。

yi是与视觉刺激频率相对应的参考信号，i是刺激目标序号，本发明实例i＝1、2、3、4，fi为刺激频率，本发明实例刺激频率分别为f1、f2、f3、f4，k代表参考信号中的谐波数，本发明实例k＝1、2、3，ns是采集信号中采样点数量，x与yi的线性组合可以表示为x＝x^twx和y＝yi^twy,wx、wy是权重矩阵，本发明实例采用平均加权，对于第i个刺激频率的相关系数是ρi。

如若ρm大于设定的阈值，则目标频率识别为最大相关系数ρm所对应的刺激频率。

在整个移动机器人任务执行过程中，大多数时间段内，非突发情况或者特殊地形发生，操作者不注视lcd闪烁模块，只需简单观察视频前景，非刺激意识下cca算法得到的相关系数较低，设立一阈值，本发明将阈值设定为0.7，大于该阈值才视为bci模块输出为有效控制指令，如果小于该阈值则视为bci模块输出为空指令，因此，该阶段bci模块输出的指令为空指令，此时移动机器人的运动全权由自主导航系统接管。当操作者通过反馈视频发现移动机器人前面有突发情况或者进入特殊地段，需要引入人的决策意念控制时，通过注视四个特定闪烁模块之一，引入向右旋转、向左旋转、前进、后退四个人为意识控制控制指令，由于此时的脑电信号是由特定频率的闪烁模块刺激产生的，所以此时cca算法得到该频率下的脑电信号相关系数会高于0.7，从而判断为有效指令，移动机器人中断接收来自自主导航系统的控制指令，转而去执行来自脑控系统的有效控制指令。待移动机器人在人为决策意识控制下驶出复杂地段，操作人员停止注视闪烁模块，bci模块输出的指令又为空指令，将当前位置与目的地位置重新进行路径规划，移动机器人的运动控制继续由自主导航系统控制器来完成，直至移动机器人到达目标位置。