本发明属于脑机一体化研究领域，涉及了无人机脑机一体化智能控制方法与技术。
背景技术：
本发明公开的新型无人机智能控制系统以脑机一体化技术为核心，使操作人员仅通过大脑思维就能够精确的控制无人机完成复杂的飞行任务。脑机一体化是神经科学与工程科学的交叉领域，它是一种不依赖于人的四肢等外围神经与肌肉组织组成的正常输出通路的脑-机通讯系统，它通过实时记录大脑头皮信号，并对脑电信号(electroencephalography，eeg)进行分析解码大脑的意图来直接控制外部设备。这项技术在航空、航天等军事领域上有着广泛的应用，美国德克萨斯大学正在研发脑控无人机，这将是无人机战场革命性的改变；美国军方计划研究士兵用意念远程操纵“阿凡达”替身在战场作战，脑电能够辅助对武器设备的控制，从而大幅度提高单兵作战能力。
2012年，美国neurosky公司推出了puzzleboxorbit产品，用注意力程度控制飞行器升高，2013年，明尼苏达大学研制出单模式eeg控制四旋翼飞行器；2016年，东北大学tianweishi等人利用想象运动控制无人机左转右转；2017年，美国圣安东尼奥市德州大学lenismerino等人利用单模式ssvep控制飞行器，正确率为85％。
目前，将脑机一体化技术用于对无人机的智能控制仍存在以下难点，主要有：
(1)单模式脑机一体化技术的局限性，如：稳态视觉诱发电位(steadystatevisualevokedpotential，ssvep)识别准确率高，但是环境适应性差，容易引起实验人员的视觉疲劳；想象运动(motorimagery，mi)无需刺激诱发，耐环境好，但特征较弱，识别准确率较低，而且不同被试的完成率差别较大。意识眨眼任务虽然容易实现，但是指令单一，易受肌电等外界噪声的干扰。
(2)系统准确率的提高、响应时间的降低与稳定性的增强，无人机的飞行方向是否按照实验人员的意愿执行，唯一取决于脑机一体化系统对eeg的模式识别结果，无人机完成复杂飞行任务的保障是脑机一体化系统的高准确率。而对无人机的脑控不同于对键盘输入、机械臂等简单机械系统的控制，若系统响应延迟1秒，无人机就有撞机坠落的危险。在室外无人机飞行控制实验中，需要考虑实验人员状态，通讯系统远距离传输，室外风速等可变因素。
技术实现要素：
鉴于以上所述现有的技术难点，本发明的目的在于提供无人机脑机一体化智能控制的方法与技术。具体是提取实验人员想象运动和ssvep脑电特征，并利用眨眼进行模式切换，识别出实验人员的意图，从而实现对无人机的运动控制。
本发明通过如下技术方案实现：
一、无人机脑机一体化智能控制系统，包括视觉刺激诱发模块、实时画面回传模块、脑电采集仪、多种特征eeg处理模块、脑机通信模块与无人机及机载单片机模块。
机载单片机安装在无人机上，视觉刺激诱发模块、实时画面回传模块、脑电采集仪、多种特征eeg处理模块与脑机通信模块均安装在地面，全局摄像头放置在室外场地，实时飞行画面通过全局摄像头回传给实验人员，视觉刺激诱发模块与实时画面回传模块安装在一起，以便使实验人员在接受视觉刺激时能同时观看到飞行画面。脑电采集仪被佩戴在操作人员的头部，用于采集实验人员进行三种任务时产生的eeg，依次经过放大模块和模数转换模块,再传送给多种特征eeg处理模块，eeg处理模块将eeg分析处理后经脑机通信模块传输到机载单片机模块,最终控制无人机飞行。
二、无人机脑机一体化智能控制方法，包括以下步骤:
1)采用所述的多模式脑机一体化系统，将脑电采集仪佩戴在实验人员的头部，实验人员观看实时飞行画面，执行短时注视视觉刺激、想象运动与眨眼，将采集到的eeg依次进行放大、模数转换，然后传输给eeg处理模块。
2)eeg处理模块在接收到实验人员的eeg之后，依次进行预处理、特征提取和分类的处理，得到eeg分类结果，将分类结果通过脑机传输模块传输到机载单片机模块。
3)机载单片机模块将分类结果转换为特定任务对应的动作控制信号发送到无人机控制进行相应的各个动作:实验人员通过短时注视视觉刺激控制无人机升高/降低，利用想象运动控制无人机左前/右前飞行，利用眨眼控制以上两种模式的切换，并使无人机悬停。
所述步骤2)多种特征eeg处理模块对eeg的处理具体包括：
首先对数据进行基线校准、频域滤波、导联选择等预处理。
对于想象运动所诱发的erd/ers特征，运用基于完备信息的共空间模式方法(completeinformationcommonspatialpattern,ci-csp)，不同于传统csp方法只提取收尾差异最大的特征，该方法还提取了中间特征信息，将两种信息融合成完备特征向量。实验结果证明ci-csp算法在保障分类正确率的前提下，能够进一步减少所需要脑电信号导联通道数，缩短实验人员想象时间。
对于视觉刺激所诱发的ssvep特征，运用基于多信号分类(multiplesignalclassification,music)关联的特征提取方法，将ssvep信号转换到频域上提取频域特征，克服了嘈杂环境下频谱分辨率低的问题，同时仅使用了枕区一个电极。
对于意识眨眼所诱发的时域特征，运用基于阈值-间隔的意识眨眼检测方法，以波峰高度范围与间隔范围作为约束条件，统计1.5秒波峰的个数作为特征，来判断被试是否意识眨眼。
所述步骤3)脑机通信模块与机载单片机模块对无人机控制具体包括:
eeg处理计算机通过脑机通信模块将指令传送给机载单片机模块。将无人机提供的接口与单片机相连，将wi-fi模块与单片机相连。对单片机进行编程，使指令通过单片机传输给无人机的飞控系统，从而执行相应的各个动作。
本发明将多模式脑机一体化技术运用在无人机的智能控制中，与现有技术相比，本发明具有如下优点和有益效果：
(1)设计了多种eeg诱发模式并优化了实验范式，克服了单想象运动模式脑机一体化下的低信息传输率；
(2)减少了单任务下的视觉负担,使系统更加稳定，同时增大了脑机一体化智能控制系统的适应人群；
(3)控制速度快，正确率高，首次将多模式脑机一体化技术应用于无人机智能控制中，提高了脑机一体化系统的各项指标。
附图说明
图1为无人机脑机一体化智能控制系统的框架；
图2为多种eeg诱发模式的设计方案；
具体实施方式
以下结合附图和实施例对本发明做进一步详细说明,但本发明的实施方式不限于此。
本发明的总体原理是在实验人员不用进行任何肢体动作和语言实现对无人机上升/下降、左前/右前、悬停等动作的控制。如图1所示为多模式脑机一体化系统框架。利用脑电检测仪采集实验人员在进行想象运动/注视不同闪烁频率的led/意识眨眼任务下的eeg，eeg经过预处理、特征提取、分类识别后转换为控制指令，控制指令通过脑机通信模块发送给无人机，同时实验人员通过全局摄像头观察无人机的飞行情况，自行规划飞行路线，最终控制无人机完成预设的飞行任务。
如图2所示为多种eeg诱发模式设计方案。想象身体不同部位所激发出的erd/ers在大脑顶区的分布位置及强度均不同，因此本项目设计了左手、右手、双手、双脚、舌头的想象运动范式，通过实验对比发现想象左手、右手运动产生的ers/erd最为明显。在诱发ssvep信号时，通过实验详细对比了基于lcd的视觉刺激范式和基于led的视觉刺激范式，实验结果表明led所激发出的ssvep电位在频谱纯净度、频率可区分度以及分类正确率上显著优于lcd，因此选择led作为视觉刺激源，然后从可用的5-30hz频带范围内经过大量实验选择了两个诱发特征最明显的最优刺激频率，分别为12.4hz与18hz。为了将意识眨眼与正常眨眼区分开，规定意识眨眼为实验人员一秒眨眼三次且力度高于正常眨眼。
多模式脑机一体化系统的视觉刺激诱发模块与实时画面回传模块装置的正上方与正下方分别钻孔并放置绿色led，当系统检测到被试在进行想象运动时，led自动关闭，当系统检测到模式转换为快速视觉刺激时，led开始闪烁。装置中心放置平板电脑，用于显示无人机飞行的实时回传画面。
实施例一
本发明在室外环境下设计了一种相对复杂的任务，实验人员脑控无人机以s型路线绕过第一个门柱之后，调整方向穿过第一个宽为3.5米的门洞，穿过后立即改变方向，再穿过第二个规格一样的门洞，最后使无人机降落在指定终点。在实验开始前，将飞行任务提前告知实验人员，实验开始后，所有飞行指令与飞行路线皆由实验人员自行规划，其他人员不得给实验人员任何提示。为了保证实验的安全性，首先设定安全边界，在简单飞行任务中，设定实验场地的边界为两侧道沿；实验人员控制无人机时一旦超出边界，就宣布实验结束，由安全员用遥控器控制无人机降落到安全位置。
在总共20次复杂飞行任务实验中，实验人员成功完成任务16次，另外4次只穿越了一个门洞。实验人员总共需要穿越门洞数40个，实际穿越门洞数36个，边界碰撞次数0次，总飞行时间为34分钟。实验人员脑控无人机穿越一个门洞的平均时间需要1.81分钟，长于一个技术熟练的飞手用遥控器控制无人机穿过门洞的平均时间，但远远低于基线穿越门洞所需要的时间。