一种脑控动物机器人系统以及动物机器人的脑控方法
【专利摘要】本发明公开了一种脑控动物机器人系统以及动物机器人的脑控方法，本发明中通过采集人脑的脑电信号，然后对脑电信号进行一定的处理后生成相应的控制指令，用于控制动物机器人的运动，该脑控方法中提出的两种混合模式的脑对脑的控制范式，可以有效的实现脑对脑的动物机器人的控制。本发明中采用2种控制模式，分别为基于脑电信号的眼电\肌电特征与运动想象特征的混合控制模式，和基于视觉诱发电位特征和运动想象特征的混合控制模式，根据使用者的状态选择适合的控制模式，大大提高了控制的实时性和可靠性。本发明脑控动物机器人系统可以用于探索未知环境、脑功能机制研究、脑对脑网络通信、残疾人生活辅助和娱乐等领域。
【专利说明】一种脑控动物机器人系统以及动物机器人的脑控方法
【技术领域】
[0001]本发明属于动物机器人控制、脑机接口和智能交互领域，具体涉及一种脑控动物机器人系统以及动物机器人的脑控方法。
【背景技术】
[0002]脑机接口系统的基本原理是:通过脑信号检测技术获取神经系统的活动变化，再对这些信号进行分类识别，分辨出引发脑信号变化的动作意图，再用计算机把人的思维活动转变成命令信号驱动外部设备，从而在没有肌肉和外围神经直接参与的情况下，实现人脑对外部环境的直接控制。脑机接口在大脑和计算机之间建立了直接的信息通道，按照信息传输的方向，可以分为从脑到机和从机到脑两类，前者是通过记录相关脑区的神经信息解析后获取大脑意愿，来控制外部设备；另一类是通过在相关脑区施加电或光刺激，将信息由机器输入大脑，用于信息的反馈和行为诱导。
[0003]基于头皮脑电EEG (Electroencephalography)信号解析的脑机接口技术是由脑到机的一个典型应用，采用机器学习算法对使用者的脑电信号进行分析，解析使用者的动作意图，将意图转换为外部操作命令，从而控制外部设备，控制效果通过眼睛观察等手段实时反馈给使用者。基于EEG的脑机接口系统可以采用EEG信号的各种不同成分作为系统检测目标，最常用的有:基于自发的运动想象和慢皮层电位，如基于运动想象的脑电轮椅；基于诱发的事件相关P300电位，如基于P300的中文打字系统；基于诱发的稳态视觉诱发电位，如基于 SSVEP (Steady state visually evoked potential)的电话呼叫系统。另外,眼电、肌电也常常作为一种辅助信号以增加对外的控制指令数。基本的EEG信号解码步骤主要有:信号预处理，特征提取，特征分类。信号预处理往往是对原始信号进行一些初步的处理，目地是去噪，提高信噪比，以及调整信号的数值范围。常用的预处理方法有去直流、归一化、滤波和去除伪迹等。特征提取往往是基于脑电信号固有的时空关系，采用公共空间模式和独立成分分析等信号处理方法提取相应的方差、频谱等特征，并采用线性判别分析和支持向量机等高效的机器学习分类算法，对特征进行分类，从而判断使用者的动作意图。目前用于采集头皮脑电信号的设备分为有线和无线两种。Emotiv和NeuroSky等公司生产的无线脑电采集设备可以便携地采集人的脑电信号，并识别出情绪、表情和运动想象等相关脑电活动，这些设备已被应用于游戏领域；NeuroScan、Biosemi和g.tec等公司生产的有线采集设备也已经广泛运用于科研、游戏和医疗领域。有线脑电信号采集设备采集的脑电信号往往比无线采集设备采集的信号具有更高的精度，但后者在佩戴上较为便捷。
[0004]基于神经接口技术的动物机器人是由机到脑的一个典型应用。动物机器人是以动物为运动载体，采用脑机接口技术构建的新型动物机器混合系统。与传统机械机器人比，动物机器人具有无可比拟的优势。一方面，动物机器人自身的生物生理系统大大简化了机械机器人在设计和实现中所需要解决的各种难题，尤其体现在对动力学实现和能源供给等方面，使得系统难度和成本大为降低，突破了机器人发展中所遇到的无法解决的瓶颈问题。另一方面，动物机器人在运动灵活性、平稳性、健壮性、环境适应性和隐蔽性等多个方面都具有无可比拟的天然优势。这使得动物机器人比传统机电机器人更加适合某些特殊环境中的复杂任务，如空间探索、灾区救援、地理环境信息收集，甚至反恐侦察、军事目标定位和破坏。很多发达国家早已展开动物机器人相关的研究，美国波士顿大学夏威夷海洋生物研究所研制鲨鱼机器人，以进行军事追踪任务；美国加大伯克利大学研制甲虫机器人，已实现控制起飞、停止和转弯；日本广岛大学研究金鱼机器人，实现金鱼在二维的前进和转向；日本东京大学研制蟑螂机器人，初步实现直线行走的控制；山东科技大学研制鸽子机器人，控制鸽子的起飞、徘徊、左右转向和前进。以大鼠机器人为例，通过对大鼠的中脑边缘系统的“愉悦中枢”进行电刺激，可以使大鼠兴奋，从而控制大鼠向前走；通过对大鼠脑中的躯体感受皮层的左、右胡须区区域进行电刺激，可以控制大鼠左转和右转。
[0005]现有的动物机器人领域，多通过人为手动输入控制信号，完成动物机器人的运动控制，该种动物机器人的控制方法由于其交互方式不够直接、不够自然，对于残障人士和无法操作电脑的人来说，应用受限，无法实施。
【发明内容】
[0006]本发明针对现有技术的不足，提出了一种脑控动物机器人系统以及动物机器人的脑控方法。
[0007]—种脑控动物机器人系统,包括:
[0008]微型传感器，用于采集动物机器人的所处的环境信息；
[0009]脑电信号采集装置，用于采集使用者的脑电信号；
[0010]数据处理及传输装置，
[0011 ] 用于对该脑电信号进行格式转化，得到标准脑电信号，
[0012]还用于输出闪屏指令，
[0013]还用于接收并转发所述的环境信息，
[0014]还用于对标准脑电信号进行预处理，对预处理后的标准脑电信号进行特征识别，根据特征识别结果进行冲突处理得到相应的运动控制指令，根据该运动控制指令生成相应的刺激参数发送给电子背包，并将该运动控制指令发送给显示设备，
[0015]其中，对预处理后的标准脑电信号进行特征识别时:
[0016]若使用者偏向使用视觉诱发电位信号，则对预处理后的标准脑电信号进行视觉诱发电位特征和运动想象特征识别，
[0017]若使用者偏向使用眼电\肌电信号，则对预处理后的标准脑电信号进行眼电\肌电特征和运动想象特征识别；
[0018]电子背包，接收运动控制指令，并对动物机器人进行控制；
[0019]显示设备，
[0020]用于接收来自数据处理及传输装置的环境信息并显示给使用者，
[0021]还用于接收闪屏指令并输出相应的闪屏刺激，
[0022]还用于接收并显示所述的运动控制指令；
[0023]所述的运动控制指令包括向前运动控制指令、向左运动控制指令和向右运动控制指令。
[0024]本发明中的微型传感器可以为微型摄像头、距离传感器、红外探测器和温度传感器等。当微型传感器时采集到的环境信息为视频数据，直接通过显示设备进行视频播放。
[0025]本发明的脑控动物机器人系统采用脑电信号采集装置采集使用者的脑电信号，并对脑电信号进行一系列的处理，最终根据采集到的脑电信号生成相应的控制指令，然后通过控制指令形成相应的刺激参数(包括刺激强度，刺激间隔以及刺激方式等)，并将刺激参数发送给动物机器人的电子背包以控制动物机器人运动。
[0026]本发明中采用2种控制模式，分别为基于脑电信号的眼电\肌电特征与运动想象特征的混合控制模式，和基于视觉诱发电位特征和运动想象特征的混合控制模式，根据使用者的训练状态选择合适的控制模式。通常在开始实施控制前，需要对使用者进行脑控训练，得到使用者的训练状态(即使用者偏向使用眼电\肌电信号还是视觉诱发电位信号)，根据使用者的训练状态选择合适的控制模式，提高了控制的实时性和可靠性。其中视觉诱发电位信号(Steady state visually evoked potential, SSVEP)来自于使用者对闪屏刺激的注视，该闪屏刺激在显示设备上以固定频率持续播放。本发明脑控动物机器人系统，可以让残障人士和非残障人士只通过想象运动，并结合主动诱发某种眼电\肌电(如眨眼、咬紧牙齿等)，或者通过注视显示设备上的闪屏刺激以诱发视觉诱发电位(注视时正对显示设备，眼睛与显示设备距离为40cm左右，注视时长为Is左右)，来遥控动物机器人在三维空间内移动，从而为人类服务，本发明的动物机器人系统对未知环境探索、脑功能机制研究、脑对脑网络通信、残疾人生活辅助和娱乐方面具有诸多价值。
[0027]本发明中的动物机器人还携带有微型传感器，用于实时采集动物机器人所处的环境信息，并以数据处理及传输装置进行中转，发送给显示设备显示给使用者，使用者根据动物机器人所处的环境变化及时做出应变。显示设备用于使用者不能直接观察到动物机器人的应用场景，若使用者可以直接观察动物机器人的行为以及所处的环境信息，也可以不采用微型传感器和显示设备完成环境信息显示，直接观测动物机器人进行控制即可。
[0028]本发明中的闪屏刺激通过Direct Draw技术实现，其闪烁频率为15Hz或12Hz,闪烁方式有黑白翻转、红白翻转和图案翻转等多种方式可选，且闪烁中心有用作眼睛着眼点的标记，标记通常为某个英文字母或者阿拉伯数字。该模块可以在计算机屏幕自由移动，且大小可调。通常情况下，显示设备中闪烁刺激的闪烁频率为15Hz，黑白翻转，中心有字母“a”作为标记。
[0029]本发明的动物机器人不止针对大鼠机器人，还可以用于蟑螂机器人、鸽子机器人、壁虎机器人、金鱼机器人和甲虫机器人等动物机器人。使用者既可以通过直接观察动物机器人的行为来控制动物机器人，也可以对动物机器人携带的传感器传输回来的数据进行判断，从而控制动物机器人探索未知环境。
[0030]本实施例中数据处理及传输装置可以为一个硬件系统，包括各种硬件功能模块，也可以通过软件和硬件相结合，如可以认为数据处理及传输装置为一台计算机，运行有各种功能软件模块。进一步，本发明中的显示设备可以为与计算机相连的显示器，所有的功能实现均需要通过计算机进行，且该计算机上还应包括有各种信号无线收发设备(如蓝牙设备，接收微型摄像头采集的环境信息)。当然，该显示设备也可以是一个包括视频显示模块(如液晶显示器等)和数据收发功能模块的显示装置。
[0031]所述的脑电信号采集装置可选，可以为有线多导电极设备，也可以为无线多导电极设备。[0032]常用的有线脑电采集设备(如NeuroScan的SynAmps2放大器系统及相应的Quick-Cap 电极帽)使用的电极通道一般为:FP1、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6、F8、FT7、FC5、FC3、FC1、FCZ、FC2、FC4、FC6、FT8、T7、C5、C3、Cl、CZ、C2、C4、C6、T8、TP7、CP5、CP3、CPU CPZ, CP2、CP4、TP8、P7、P5、P3、PU PZ, P2、P4、P6、P8、P07、P05、ΡΟΖ, P04、P06、P08、01、0Z、02、CB2、VEOG，参考电极置于鼻尖处，脑电信号的数字化采样率一般设为IOOOHz ο
[0033]常用的无线脑电采集设备(如Emotiv EEG Neuroheadset)使用的电极通道为:AF3、F7、F3、FC5、T7、P7、01、02、P8、T8、FC6、F4、F8、AF4，参考电极位置为:P3、P4，脑电信号的数字化采样率为128Hz。
[0034]所述的数据处理及传输装置包括格式转化模块、脑电信号分析模块和控制传输模块。
[0035]所述的格式转化模块包括有线脑电信号采集帽适配器、无线脑电信号采集帽适配器和数据标准化模块。
[0036]有线脑电信号适配器用于将有线多导电极设备采集的脑电信号进行采样等操作；无线脑电信号适配器用于将无线多导电极设备采集的脑电信号进行采样等操作；数据标准化模块用于将适配器处理后的脑电信号的数据格式转换为同一标准格式，并转发给脑电信号分析模块。其中，适配器还用于将采集帽采集到的原始脑电信号发送给显示设备，通过显示设备进行显示，从而便于使用者观察，以初步判断得到的脑电信号是否稳定、有效。
[0037]佩戴有线脑电信号采集设备还是无线采集设备依据使用者的具体情况和具体应用而定，不同的适配器(包括无线脑电信号适配器和有线脑电信号适配器)对应不同的脑电信号采集设备。由于采用不同的脑电采集设备采集到的脑电信号的格式不同，为提高分析的可靠性，还设置有格式转化模块将脑电信号转化为特定的格式(即同一标准格式)，如CSV(Comma Separated Value)格式,使得数据存储单元的行向量和列向量的所代表的含义一致，以便进行后续的在线处理和离线分析。
[0038]所述的脑电信号分析模块包括:
[0039]信号预处理模块，用于对标准脑电信号进行预处理；
[0040]特征识别模块，用于对预处理后的标准脑电信号进行特征识别，包括:
[0041 ] 用于识别视觉诱发电位特征的视觉诱发电位特征识别模块，
[0042]用于识别运动想象特征的运动想象特征识别模块，
[0043]以及用于识别眼电\肌电特征的眼电\肌电特征识别模块；
[0044]冲突协调模块，用于对特征识别模块的识别结果进行冲突处理得到运动控制指令，并将该运动控制指令发送给显示设备。
[0045]特征识别模块通常包括视觉诱发电位特征识别模块、眼电\肌电特征识别模块和运动想象特征识别模块，各自独立识别预处理后的标准脑电信号中相应的特征。通常运动想象特征识别模块除了识别是否具有运动想象特征外，还确定该运动想象特征是向左还是向右。
[0046]其中眼电\肌电特征识别模块与视觉诱发电位特征识别模块二选一，因此实际运行的特征识别模块为2个并行的模块组成，可以为视觉诱发电位特征识别和运动想象特征识别，或者为眼电\肌电特征识别和运动想象特征识别。且进一步，一般情况下特征识别模块识别的结果是只有一种特征(信号特征)存在，但是在极少数情况下会出现2种信号特征均存在的情况，此时可以认为是意念控制冲突(一种信号特征对应形成的是向左或者向右的运动控制指令，另一种为向前运动控制指令)，因此通过设置冲突协调模块从特征识别结果集合中选择一个作为有效特征，并根据该有效特征进行生成相应的运动控制指令。
[0047]实际应用中，冲突协调模块依据使用者在训练时的具体情况设置，一般训练时主动诱发具有某种类型的特征的脑电信号越难，则生成运动控制指令时该种类型的特征对应的运动控制指令的优先级越高，冲突处理模块更倾向于选择该种类型的特征作为有效特征。
[0048]本发明根据大量实验，生成运动控制指令时，优先级从高到低依次为视觉诱发电位特征，运动想象特征和眼电\肌电特征。实际应用中，可根据实际训练情况调节该优先级。在实际脑控动物机器人的过程中，相对于左转和右转运动控制指令，向前运动控制指令使用的频率要高得多，且在人脑意念活动中，相对于左、右运动想象，眼电\肌电和视觉诱发电位的产生要轻松的多，因此为了提高脑控系统的实时性和可靠性，直接将向左运动想象信号转换为向左运动控制指令，向右运动想象信号转换为向右运动控制命令，眼电\肌电和视觉诱发电位转换为向前运动控制指令，这种意念活动和运动控制指令的对应方式也使系统使用者的脑控过程更为直观、轻松。
[0049]本发明中运动想象特征对应于向左运动控制指令或向右运动控制指令，视觉诱发电位特征和眼电\肌电特征应于向前运动控制指令。具体情况如下:
[0050](a)当选择眼电\肌电特征识别模块时:
[0051]若二者均不存在(既不存在运动想象特征也不存在眼电\肌电特征)，则形成的运动控制指令为空指令(即不操作)，
[0052]若二者都存在时，则形成的运动控制指令为向左运动控制指令或向右运动控制指令，向左运动想象特征对应于向左运动控制指令，向右运动想象特征对应于向右运动控制指令，
[0053]否则，形成的运动控制指令与存在的信号特征相对应:
[0054]若存在运动想象特征，则形成的运动控制指令为向左运动控制指令或向右运动控制指令，向左运动想象特征对应于向左运动控制指令，向右运动想象特征对应于向右运动控制指令，
[0055]若存在眼电\肌电特征，则形成的运动控制指令为向前运动控制指令；
[0056](b)当选择视觉诱发电位特征识别模块时，
[0057]若二者均不存在(既不存在运动想象特征也不存在视觉诱发电位特征)，则形成的运动控制指令为空指令(即不操作)，
[0058]若二者都存在时，则形成的运动控制指令为向前运动控制指令，
[0059]否则，形成的运动控制指令与存在的信号特征相对应:
[0060]若存在运动想象特征则形成的运动控制指令为向左运动控制指令或向右运动控制指令，向左运动想象特征对应于向左运动控制指令，向右运动想象特征对应于向右运动控制指令，
[0061]若存在视觉诱发电位特征，则形成的运动控制指令为向前运动控制指令。
[0062]所述的控制传输模块包括:[0063]闪屏模块，用于输出闪屏指令；
[0064]信息收发模块，用于接收微型传感器采集到的环境信息并转发给交互设备；
[0065]运动指令模块，用于将所述的运动控制指令生成形成相应的刺激参数，并将刺激参数发送给电子背包。
[0066]闪屏模块认为是一个独立形成闪屏的指令(即一段程序)，需要通过显示设备进行可视化(显示)才能被使用者用于生成视觉诱发电位特征。运动控制指令编码形成的刺激参数主要包括:刺激强度，刺激间隔以及刺激方式等。
[0067]本发明还提供了一种动物机器人的脑控方法，包括:
[0068]( I)采集使用者的脑电信号，并对采集得到的脑电信号进行格式转化，得到标准脑电信号；
[0069](2)对所述的标准脑电信号进行预处理，并根据使用者的训练状态通过以下步骤对预处理后的信号进行特征识别:
[0070]若使用者偏向使用视觉诱发电位信号，则:
[0071]对预处理后的标准脑电信号进行视觉诱发电位特征识别，判断所述的脑电信号中是否存在视觉诱发电位特征，
[0072]对预处理后的标准脑电信号进行运动想象信号特征识别，判断所述的脑电信号是否存在运动想象信号，
[0073]若使用者偏向使用眼电/肌电信号，则:
[0074]对预处理后的标准脑电信号进行眼电\肌电特征识别，判断所述的脑电信号是否存在眼电\肌电特征，
[0075]对预处理后的标准脑电信号进行运动想象特征识别，判断所述的脑电信号是否存在运动想象信号；
[0076](3)根据特征识别的识别结果进行冲突处理得到运动控制指令，所述的运动控制指令包括向前运动控制指令、向左运动控制指令和向右运动控制指令；
[0077](4)对所述的控制指令进行显示，并将所述的运动控制指令生成相应的刺激参数，并发送给电子背包以控制动物机器人运动。
[0078]在实际应用中，在正式对动物机器人实施脑电控制之前，需要对使用者进行训练，得到使用者的训练状态(即通过训练得到使用者偏向使用眼电\肌电信号还是视觉诱发电位信号)。
[0079]所述的动物机器人的脑控方法还包括以下步骤:
[0080]所述的微型传感器采集动物机器人所述的环境信息，并显示给使用者，使用者根据所述的环境信息做出运动决策并形成相应的脑电信号。
[0081]使用者通过显示设备观测动物机器人所处的环境信息，并根据观测到的环境信息做出相应路径决策(向左走、向右走、向前走)，根据决策结果进行眨眼(或咬紧牙齿等)、运动想象，或者注视显示设备上的闪屏刺激，从而产生相应的脑电信号。本发明中若向前走，系统使用者可以通过眨眼(或咬紧牙齿等)，或者注视交互界面上的闪屏；若向左走，系统使用者可以通过运动想象左；若向右走，系统使用者可以通过运动想象右。
[0082]所述步骤(I)中的格式转化将采集到的脑电信号转化为同一标准格式。
[0083]所述步骤(2)中对标准脑电信号进行预处理时依次对标准脑电信号进行电极通道选择、平均参考、去除直流成分、消除基线漂移、伪迹剔除和滤波。通过预处理大大消除了标准脑电信号中的噪声，提高信号信噪比，保证后续生成的运动控制指令准确性，从而提高该脑控方法的可靠性。
[0084]所述步骤(2)中的特征识别包括:
[0085](2-1)将预处理后的标准脑电信号复制为2个信号片段，分别为用于视觉诱发电位信号特征识别和运动想象信号特征识别的第一信号片段和第二信号片段，或者为用于眼电\肌电特征识别和运动想象特征识别的第三信号片段和第二信号片段，
[0086]其中第一信号片段按照交叉重叠进行处理，第二和第三信号片段无交叉重叠；
[0087](2-2)分别对各个信号片段进行相应的特征识别，其中:
[0088]对于第一信号片段，计算第一信号片段的功率谱密度，并与设定的阈值比较，若大于阈值则识别结果为，所述的脑电信号中存在视觉诱发电位特征，否则，得到的识别结果为所述的脑电信号中不存在视觉诱发电位特征，
[0089]对于第二信号片段，计算第二信号片段的空域特征，并利用分类器对所述的空域特征进行分类得到识别结果为所述的脑电信号中存在向左运动想象特征，或为所述的脑电信号中存在向右运动想象特征，或为所述的脑电信号中不存在向右运动想象特征和无运动想象特征，
[0090]对于第三信号片段，计算第三信号片段的信号幅值，并与设定的阈值进行比较，若大于阈值，则得到的识别结果为所述的脑电信号中存在眼电\肌电特征，否则，得到的识别结果为所述的脑电信号中不存在眼电\肌电特征。
[0091]其中第一信号片段按照有交叉重叠进行处理，第二和第三信号片段无交叉重叠，其中第一信号片段长度为1.0s左右，第二和第三信号片段长度为0.03s左右。
[0092]将经过预处理后的脑电信号在线复制为同样的2个，并实时存储到信号片段缓存区以供特征识别模块处理(第一信号片段的缓存区长度为1.0s，第二信号片段和第三信号片段的缓存区长度为0.03s)，其中对第一信号片段的交叉重叠的处理方法为:前1.0s长度的信号片段与后1.0s长度的信号片段有0.5s重叠的信号片段，即，若前一个信号片段为Ts至IJ(T+1.0) s时间区的脑电信号片段，则后一个信号片段为(T+0.5)s到(T+1.5) s时间区的脑电信号片段。
[0093]SSVEP特征识别主要米用独立分量分析(Independent Component Analysis, ICA)得到混合矩阵和解混矩阵，并选取SSVEP特征较为明显的独立源信号成分。在线判断时，预处理后的信号片段(第一信号片段)与解混矩阵相乘得到源信号，再将所选取的独立源信号成分与混合矩阵相乘得到独立的源信号，根据该信号的功率谱密度判断是否有明显的SSVEP特征，以闪屏刺激的闪烁频率为15Hz为例，若15±0.5Hz频率范围内的功率谱密度的最大值和最小值的比值大于5分贝，则存在明显的SSVEP特征，此时脑电信号片段中存在视觉诱发电位。
[0094]运动想象特征识别主要计算脑电信号的空域特征，首先对第二信号片段进行去除眼电的操作，然后对去除眼电后的第二信号片段经过共空间模式(Common SpatialPattern, CSP)特征提取,再用线性判别分析(Linear Discriminant Analysis, LDA)分类器进行分类，输出检测结果:运动想象左、运动想象右，或无运动想象信号。
[0095]眼电\肌电特征识别主要计算原始信号(第三信号片段)的幅值，并与设定的阈值(一般为100微伏)进行比较，若大于阈值，则得到的识别结果为所述的脑电信号中存在眼电\肌电特征，否则，得到的识别结果为所述的脑电信号中不存在眼电\肌电特征。
[0096]本发明的脑控动物机器人系统采用2种控制模式，分别为基于脑电信号的眼电\肌电特征与运动想象特征的混合控制模式，和基于视觉诱发电位特征和运动想象特征的混合控制模式，根据使用者的状态选择合适的控制模式，本发明中通常在开始实施控制前，需要对使用者的状态进行训练学习，得到合适的控制模式，以便提高控制的实时性和可靠性。不同于传统基于动作或者语音的人机交互方式，本发明脑控动物机器人系统及动物机器人的脑控方法，可以让残障人士和非残障人士只通过想象左、右运动，并结合主动诱发某种眼电或者肌电(如眨眼、咬紧牙齿等)，或者注视闪屏，来遥控动物机器人在三维空间内移动，从而为人类服务，适用对象广，并能够利用动物机器人携带的微型传感器探索未知环境，这在机器人未知环境探索、脑功能机制研究、脑对脑网络通信、残疾人生活辅助和娱乐方面具有诸多价值。
【专利附图】
【附图说明】
[0097]图1为本实施例的脑控动物机器人系统结构图。
【具体实施方式】
[0098]下面结合附图以及具体实施例对本发明进行详细描述。
[0099]本发明脑控动物机器人系统和方法可以应用于多个领域，如机器人未知环境探索、脑功能机制研究、脑对脑网络通信、残疾人生活辅助和娱乐等方面。需要注意的一点是，无论是处于训练过程还是使用过程，一旦系统使用者出现明显的精神疲劳，应停止使用，进行适当的休息，否则会造成系统输出准确率大幅下降。
[0100]—种脑控动物机器人系统,包括:
[0101]微型传感器，用于采集动物机器人的所处的环境信息；
[0102]脑电信号采集装置，用于采集使用者的脑电信号；
[0103]数据处理及传输装置，
[0104]用于对该脑电信号进行格式转化，得到标准脑电信号，
[0105]还用于输出闪屏指令，
[0106]还用于接收并转发所述的环境信息，
[0107]还用于对标准脑电信号进行预处理，对预处理后的标准脑电信号进行特征识别，根据特征识别结果进行冲突处理得到相应的运动控制指令，根据该运动控制指令生成相应的刺激参数发送给电子背包，并将该运动控制指令发送给显示设备，
[0108]其中，对预处理后的标准脑电信号进行特征识别时:
[0109]若使用者偏向使用视觉诱发电位信号，则对预处理后的标准脑电信号进行视觉诱发电位特征和运动想象特征识别，
[0110]若使用者偏向使用眼电\肌电信号，则对预处理后的标准脑电信号进行眼电\肌电特征和运动想象特征识别；
[0111]电子背包，接收运动控制指令，并对动物机器人(本发实施例的动物机器人为大鼠机器人)进行控制；[0112]显示设备，
[0113]用于接收来自数据处理及传输装置的环境信息并显示给使用者，
[0114]还用于接收闪屏指令并输出相应的闪屏刺激，
[0115]还用于接收并显示所述的运动控制指令；
[0116]其中运动控制指令包括向如运动控制指令、向左运动控制指令和向右运动控制指令。
[0117]本实施例中的脑电信号采集装置为有线脑电采集设备(NeuroScan的SynAmps2放大器系统及相应的Quick-Cap电极帽)使用的电极通道一般为:FP1、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6、F8、FT7、FC5、FC3、FCU FCZ, FC2、FC4、FC6、FT8、T7、C5、C3、Cl、CZ、C2、C4、C6、T8、TP7、CP5、CP3、CPU CPZ, CP2、CP4、TP8、P7、P5、P3、PU PZ, P2、P4、P6、P8、P07、P05、ΡΟΖ, P04、P06、P08、01、0Z、02、CB2、VEOG,参考电极置于鼻尖处，脑电信号的数字化采样率一般设为1000Hz。
[0118]本实施例中的微型传感器为微型摄像头，采集到的环境信息为视频数据，直接通过显示设备进行视频播放。微型传感器实时采集动物机器人所处的环境信息，并以数据处理及传输装置进行中转，发送给显示设备显示给使用者，使用者根据动物机器人所处的环境变化及时做出应变(运动决策)。
[0119]本实施例中的数据处理及传输装置包括格式转化模块、脑电信号分析模块和控制传输模块。其中格式转化模块包括有线脑电信号采集帽适配器、无线脑电信号采集帽适配器和数据标准化模块。有线脑电信号适配器用于将有线多导电极设备采集的脑电信号进行采样等操作；无线脑电信号适配器用于将无线多导电极设备采集的脑电信号进行采样等操作；数据标准化模块用于将适配器处理后的脑电信号的数据格式转换为同一标准格式(该标准格式为CSV格式，使得数据存储单元的行向量和列向量的所代表的含义一致)，并转发给脑电信号分析模块。其中，适配器还用于将采集帽采集到的原始脑电信号发送给显示设备，通过显示设备进行显示，从而便于使用者观察，以初步判断得到的脑电信号是否稳定、有效。
[0120]本实施例的脑控动物机器人系统中的脑电信号分析模块包括:
[0121]信号预处理模块，用于对标准脑电信号进行预处理；
[0122]特征识别模块，用于对预处理后的标准脑电信号进行特征识别，包括:
[0123]用于识别视觉诱发电位特征的视觉诱发电位特征识别模块，
[0124]用于识别运动想象特征的运动想象特征识别模块，
[0125]以及用于识别眼电\肌电特征的眼电\肌电特征识别模块；
[0126]其中，特征识别模块通常包括视觉诱发电位特征识别模块、眼电\肌电特征识别模块和运动想象特征识别模块，各自独立识别预处理后的标准脑电信号中相应的特征。通常运动想象特征识别模块除了识别是否具有运动想象特征外，还确定该运动想象特征是向左还是向右。眼电\肌电特征识别模块与视觉诱发电位特征识别模块二选一，实际运行的特征识别模块为2个并行的模块组成，可以为视觉诱发电位特征识别和运动想象特征识另O，或者为眼电\肌电特征识别和运动想象特征识别。
[0127]冲突协调模块，用于对特征识别模块的识别结果进行冲突处理得到运动控制指令，并将该运动控制指令发送给显示设备。[0128]本实施的控制传输模块包括:
[0129]闪屏模块，用于输出闪屏指令；
[0130]信息收发模块，用于接收微型传感器采集到的环境信息并转发给交互设备；
[0131]运动指令模块，用于将运动控制指令生成形成相应的刺激参数，并将刺激参数发送给电子背包。
[0132]闪屏模块认为是一个独立形成闪屏的指令(一段程序)，需要通过显示设备进行可视化(显示)才能被使用者用于生成视觉诱发电位特征。本实施例中的闪屏刺激通过DirectDraw技术实现，其闪烁频率为15Hz，闪烁方式有黑白翻转，且闪烁中心有用作眼睛着眼点的标记，为英文字母“a”。运动控制指令编码形成的刺激参数主要包括:刺激强度，刺激间隔以及刺激方式等。
[0133]本实施例在正式使用前还对使用者进行训练学习，根据训练学习结果，选择将预处理后的信号输入到视觉诱发电位特征识别模块和运动想象特征识别模块，从而特征识别结果为存在(或不存在)视觉诱发电位特征或存在运动想象特征(或不存在)，且设定冲突协调处理模块生成运动控制指令时各个信号特征的优先级别从高到低依次为视觉诱发电位特征，运动想象特征和眼电\肌电特征。具体情况如下:
[0134](a)当选择眼电\肌电特征识别模块时:
[0135]若二者均不存在(既不存在运动想象特征也不存在眼电\肌电特征)，则形成的运动控制指令为空指令(即不操作)，
[0136]若二者都存在时，则形成的运动控制指令为向左运动控制指令或向右运动控制指令，向左运动想象特征对应于向左运动控制指令，向右运动想象特征对应于向右运动控制指令，
[0137]否则，形成的运动控制指令与存在的信号特征相对应:
[0138]若存在运动想象特征则形成的运动控制指令为向左运动控制指令或向右运动控制指令，向左运动想象特征对应于向左运动控制指令，向右运动想象特征对应于向右运动控制指令，
[0139]若存在眼电\肌电特征，则形成的运动控制指令为向前运动控制指令；
[0140](b)当选择视觉诱发电位特征识别模块时，
[0141]若二者均不存在(既不存在运动想象特征也不存在视觉诱发电位特征)，则形成的运动控制指令为空指令(即不操作)，
[0142]若二者都存在时，则形成的运动控制指令为向前运动控制指令，
[0143]否则，形成的运动控制指令与存在的信号特征相对应:
[0144]若存在运动想象特征则形成的运动控制指令为向左运动控制指令或向右运动控制指令，向左运动想象特征对应于向左运动控制指令，向右运动想象特征对应于向右运动控制指令，
[0145]若存在视觉诱发电位特征，则形成的运动控制指令为向前运动控制指令。
[0146]使用者通过注视闪屏刺激诱发稳态视觉诱发电位特征，或者通过眨眼、咬紧牙齿等脸部动作形成眼电\肌电特征来控制动物机器人向前运动，通过运动想象控制机器人向左或向右运动。
[0147]佩戴以及训练完毕后，将大鼠机器人放置在任务环境中进行探索。该脑控方法具体如下:
[0148](I)采集使用者的脑电信号，并对采集得到的脑电信号进行格式转化，得到标准脑电信号。格式转化将采集到的脑电信号转化为同一标准格式，得到的标准脑电信号的格式为CSV格式。
[0149](2)对标准脑电信号进行预处理，对标准脑电信号进行预处理时依次对标准脑电信号进行电极通道选择、平均参考、去除直流成分、消除基线漂移、伪迹剔除和滤波。通过预处理大大消除了标准脑电信号中的噪声，提高信号信噪比。
[0150]并根据使用者的训练状态通过以下步骤对预处理后的标准信号进行特征识别:
[0151]若使用者偏向使用视觉诱发电位特征，则:
[0152]对预处理后的标准脑电信号进行视觉诱发电位特征识别，判断脑电信号中是否存在视觉诱发电位特征，
[0153]对预处理后的标准脑电信号进行运动想象信号特征识别，判断脑电信号是否存在运动想象信号，
[0154]若使用者偏向使用眼电/肌电特征，则:
[0155]对预处理后的标准脑电信号进行眼电\肌电特征识别，判断所述的脑电信号是否存在眼电\肌电特征，
[0156]对预处理后的标准脑电信号进行运动想象特征识别，判断所述的脑电信号是否存在运动想象信号，
[0157]其中，特征识别包括:
[0158](2-1)将预处理后的标准脑电信号复制为2个信号片段，分别为用于视觉诱发电位信号特征识别和运动想象信号特征识别的第一信号片段和第二信号片段，或者为用于眼电\肌电特征识别和运动想象特征识别的第三信号片段和第二信号片段，
[0159]其中第一信号片段按照交叉重叠进行处理，第二和第三信号片段无交叉重叠；
[0160](2-2)分别对各个信号片段进行相应的特征识别，其中:
[0161]对于第一信号片段，计算第一信号片段的功率谱密度，将设定频率范围内的功率谱密度的最大值和最小值的比值与设定的阈值进行比较，若大于阈值则识别结果为，所述的脑电信号中存在视觉诱发电位特征，否则，得到的识别结果为所述的脑电信号中不存在视觉诱发电位特征。
[0162]本实施中，由于闪屏刺激的闪烁频率为15Hz，因此设定频率范围为15±0.5Hz，且设定的阈值为5分贝。
[0163]对于第二信号片段，计算第二信号片段的空域特征，并利用分类器对所述的空域特征进行分类(通过线性判别分析(Linear Discriminant Analysis,LDA)分类器进行分类实现)得到识别结果为所述的脑电信号中存在向左运动想象特征，或为所述的脑电信号中存在向右运动想象特征，或为所述的脑电信号中不存在向右运动想象特征和无运动想象特征；
[0164]对于第三信号片段，计算第三信号片段的信号幅值，并与设定的阈值(为100微伏)进行比较，若大于阈值，则得到的识别结果为所述的脑电信号中存在眼电\肌电特征，否贝U，得到的识别结果为所述的脑电信号中不存在眼电\肌电特征。
[0165]其中第一信号片段按照有交叉重叠进行处理，第二和第三信号片段无交叉重叠，其中第一信号片段长度为1.0s左右，第二和第三信号片段长度为0.03s左右。
[0166]将经过预处理后的脑电信号在线复制为同样的2个，并实时存储到信号片段缓存区以供特征识别模块处理(第一信号片段的缓存区长度为1.0s，第二信号片段和第三信号片段的缓存区长度为0.03s)，其中对第一信号片段的交叉重叠的处理方法为:前1.0s长度的信号片段与后1.0s长度的信号片段有0.5s重叠的信号片段，即，若前一个信号片段为Ts到(T+1.0)s时间区的脑电信号片段，则后一个信号片段为(T+0.5)s到(T+1.5)s时间区的脑电信号片段。
[0167](3)根据特征识别的识别结果进行冲突处理得到运动控制指令，运动控制指令包括向前运动控制指令、向左运动控制指令和向右运动控制指令；
[0168](4)对控制指令进行显示，并将所述的运动控制指令生成相应的刺激参数，并发送给电子背包以控制动物机器人运动。本实施的刺激参数包括刺激强度，刺激间隔以及刺激方式。
[0169]且在整个脑控动物机器人的过程中，动物机器人携带的微型摄像头将采集到的视频信息通过无线网络(如1.2GHz频段)传输到计算机上，并在计算机显示器上进行实时播放。使用者通过观察交互界面上的任务环境的视频做出路径决策(向左走、向右走、向前走)。当路径决策为向前走，使用者可以选择眨眼，或者注视交互界面上的闪屏刺激；若向左走，系统使用者可以通过运动想象左；若向右走，系统使用者可以通过运动想象右，根据使用者的反应生成相应的脑电信号。
[0170]本申请实施例的各模块或各步骤可以用通用的计算装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本申请实施例不限制于任何特定的硬件和软件结合。
[0171]以上公开的仅为本发明的具体实施例，但是本发明的保护范围并不局限于此，任何熟悉本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，都应涵盖在本实用发明的保护范围之内。
【权利要求】
1.一种脑控动物机器人系统，其特征在于，包括: 微型传感器，用于采集动物机器人的所处的环境信息； 脑电信号采集装置，用于采集使用者的脑电信号； 数据处理及传输装置， 用于对该脑电信号进行格式转化，得到标准脑电信号， 还用于输出闪屏指令， 还用于接收并转发所述的环境信息， 还用于对标准脑电信号进行预处理，对预处理后的标准脑电信号进行特征识别，根据特征识别结果进行冲突处理得到相应的运动控制指令，根据该运动控制指令生成相应的刺激参数发送给电子背包，并将该运动控制指令发送给显示设备， 其中，对预处理后的标准脑电信号进行特征识别时: 若使用者偏向使用视觉诱发电位信号，则对预处理后的标准脑电信号进行视觉诱发电位特征和运动想象特征识别， 若使用者偏向使用眼电\肌电信号，则对预处理后的标准脑电信号进行眼电\肌电特征和运动想象特征识别； 电子背包，接收运动控制指令，并对动物机器人进行控制； 显示设备， 用于接收来自数据处理及传输装置`的环境信息并显示给使用者， 还用于接收闪屏指令并输出相应的闪屏刺激， 还用于接收并显示所述的运动控制指令； 所述的运动控制指令包括向前运动控制指令、向左运动控制指令和向右运动控制指令。
2.如权利要求1所述的一种脑控动物机器人系统，其特征在于，所述的数据处理及传输装置包括格式转化模块、脑电信号分析模块和控制传输模块。
3.如权利要求2所述的一种脑控动物机器人系统，其特征在于，所述的格式转化模块包括有线脑电信号采集帽适配器、无线脑电信号采集帽适配器和数据标准化模块。
4.如权利要求3所述的一种脑控动物机器人系统，其特征在于，所述的脑电信号分析模块包括: 信号预处理模块，用于对标准脑电信号进行预处理； 特征识别模块，用于对预处理后的标准脑电信号进行特征识别，包括: 用于识别视觉诱发电位特征的视觉诱发电位特征识别模块， 用于识别运动想象特征的运动想象特征识别模块， 以及用于识别眼电\肌电特征的眼电\肌电特征识别模块； 冲突协调模块，用于对特征识别模块的识别结果进行冲突处理得到运动控制指令，并将该运动控制指令发送给显示设备。
5.如权利要求4所述的一种脑控动物机器人系统,其特征在于，所述的控制传输模块包括: 闪屏模块，用于输出闪屏指令； 信息收发模块，用于接收微型传感器采集到的环境信息并转发给交互设备；运动指令模块，用于将所述的运动控制指令生成形成相应的刺激参数，并将刺激参数发送给电子背包。
6.一种动物机器人的脑控方法，其特征在于，包括: (1)采集使用者的脑电信号，并对采集得到的脑电信号进行格式转化，得到标准脑电信号; (2)对所述的标准脑电信号进行预处理，并根据使用者的训练状态通过以下步骤对预处理后的信号进行特征识别: 若使用者偏向使用视觉诱发电位信号，则: 对预处理后的标准脑电信号进行视觉诱发电位特征识别，判断所述的脑电信号中是否存在视觉诱发电位特征， 对预处理后的标准脑电信号进行运动想象信号特征识别，判断所述的脑电信号是否存在运动想象信号， 若使用者偏向使用眼电/肌电信号，则: 对预处理后的标准脑电信号进行眼电\肌电特征识别，判断所述的脑电信号是否存在眼电\肌电特征， 对预处理后的标准脑电信号进行运动想象特征识别，判断所述的脑电信号是否存在运动想象信号； (3)根据特征识别的识别结果进行冲突处理得到运动控制指令，所述的运动控制指令包括向前运动控制指令、向左运动控制指令和向右运动控制指令； (4)对所述的控制指令进行显示，并将所述的运动控制指令生成相应的刺激参数，并发送给电子背包以控制动物机器人运动。
7.如权利要求6所述的动物机器人的脑控方法，其特征在于，还包括以下步骤: 所述的微型传感器采集动物机器人所述的环境信息，并显示给使用者，使用者根据所述的环境信息做出运动决策并形成相应的脑电信号。
8.如权利要求7所述的动物机器人的脑控方法，其特征在于，所述步骤(1)中的格式转化包括将采集到的脑电信号转化为同一标准格式。
9.如权利要求8所述的动物机器人的脑控方法，其特征在于，所述步骤(2)中对标准脑电信号进行预处理时依次对标准脑电信号进行电极通道选择、平均参考、去除直流成分、消除基线漂移、伪迹剔除和滤波。
10.如权利要求9所述的动物机器人的脑控方法，其特征在于，所述步骤(2)中的特征识别包括: (2-1)将预处理后的标准脑电信号复制为2个信号片段，分别为用于视觉诱发电位信号特征识别和运动想象信号特征识别的第一信号片段和第二信号片段，或者为用于眼电\肌电特征识别和运动想象特征识别的第三信号片段和第二信号片段， 其中第一信号片段按照交叉重叠进行处理，第二和第三信号片段无交叉重叠； (2-2)分别对各个信号片段进行相应的特征识别，其中: 对于第一信号片段，计算第一信号片段的功率谱密度，并与设定的阈值比较，若大于阈值则识别结果为，所述的脑电信号中存在视觉诱发电位特征，否则，得到的识别结果为所述的脑电信号中不存在视觉诱发电位特征，对于第二信号片段，计算第二信号片段的空域特征，并利用分类器对所述的空域特征进行分类得到识别结果为所述的脑电信号中存在向左运动想象特征，或为所述的脑电信号中存在向右运动想象特征，或为所述的脑电信号中不存在向右运动想象特征和无运动想象特征， 对于第三信号片段，计算第三信号片段的信号幅值，并与设定的阈值进行比较，若大于阈值，则得到的识别结果为所述的脑电信号中存在眼电\肌电特征，否则，得到的识别结果为所述的脑电信号中不存在眼电\肌电`特征。
【文档编号】G05D1/02GK103885445SQ201410105028
【公开日】2014年6月25日 申请日期:2014年3月20日 优先权日:2014年3月20日
【发明者】俞一鹏, 潘纲, 钱存乐, 吴朝晖 申请人:浙江大学