基于脑机接口的无人机控制与广域目标检测系统及方法

1.本发明涉及无人机技术领域，特别是涉及一种基于脑机接口的无人机控制与广域目标检测系统及方法。


背景技术：

2.随着认知神经科学、信息科学和工程技术的发展和整合，脑机接口(bci)技术已进入快速发展的新阶段。大脑和计算机之间的联系越来越紧密，它们之间的信息交换已经从感觉和感知发展到认知，导致无缝连接和认知协作，人类智能和人工智能的深度集成显示了bci未来发展的新趋势。
3.在无人机遥感技术体系中，目前主要采用遥控控制台的方式，然而这些无人机控制方式都依赖于使用者双手操作。但在很多场景下，在执行多任务时如果指挥者双手被占用，则无法兼顾无人机控制。脑机接口技术的发展为该问题提供了有效的解决方案。因此，设计一种基于脑机接口的无人机控制与广域目标检测系统及方法是十分有必要的。


技术实现要素：

4.本发明的目的是提供一种基于脑机接口的无人机控制与广域目标检测系统及方法，能够使用户通过脑电波直接给无人机下达控制指令，解放了用户的双手，提高了灵活性、实用性及用户操作的舒适性。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于脑机接口的无人机控制与广域目标检测系统，包括：无人机本体、ar刺激器、脑电采集器、数据接收器、中央控制器及处理端，所述ar刺激器佩戴在用户的眼部，用于对用户进行视觉刺激，所述脑电采集器佩戴在用户的头部，用于采集脑电数据，所述脑电采集器连接所述数据接收器，所述数据接收器连接所述处理端及ar刺激器，所述ar刺激器和所述处理端连接所述中央控制器，所述中央控制器用于负责整个系统的控制，所述无人机本体上设置有图像采集装置，所述图像采集装置及无人机本体连接所述中央控制器，所述处理端用于对脑电数据进行处理。
7.可选的，所述数据接收器与所述处理端之间通过数据堆栈池进行异步隔离，用于保证处理端灵活读取及处理数据，所述ar刺激器与处理端之间通过消息队列栈进行异步隔离，用于提升稳定性，所述数据接收器与所述ar刺激器之间通过并口trigger发生的方式进行时钟同步。
8.本发明还提供了一种基于脑机接口的无人机控制与广域目标检测方法，应用于上述的基于脑机接口的无人机控制与广域目标检测系统，包括如下步骤：
9.步骤1：根据ssvep刺激模型在ar刺激器中建立人机交互界面，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，其中飞行模式包括指令飞控模式及航点飞控模式，选择完毕后，通过ar刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行；
10.步骤2：飞行过程中，无人机本体上设置的图像采集装置实时采集图像，并对图像
进行处理，发送至ar刺激器，通过快速序列视觉呈现方法对图像进行识别，判断是否为目标图像。
11.可选的，步骤1中，根据ssvep刺激模型在ar刺激器中建立人机交互界面，具体为：
12.建立ssvep刺激模型，根据ssvep刺激模型在ar刺激器中建立人机交互界面，其中，人机交互界面包括ar刺激交互主界面、指令飞控界面及航点飞控界面，所述ar刺激交互主界面包括指令飞控、航点飞行、降落初始点及就近降落选项，所述指令飞控界面包括起飞、上升、下降、前进、后退、左转、右转、左飞、右飞及返回主界面选项，所述航点飞控界面包括航点飞行主界面、一级目录界面及二级目录界面，所述航点飞行主界面包括规划航线、清除航点、开始飞行及返回主界面选项，所述一级目录界面设置有一级区域地图、编号键盘、删除及完成选项，其中一级区域地图均分为9个子图，分别对应编号键盘的1至9编号选项，所述二级目录界面设置有二级区域地图、编号键盘及撤销选项，其中，二级区域地图为一级区域地图的子图，所述二级区域地图均分为9个子图，分别对应编号键盘的1至9编号选项。
13.可选的，步骤1中，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，具体为：
14.用户根据航线将注意力集中到指令飞控或航点飞行选项上，选择指令飞控模块或航点飞行模式，将注意力集中到降落初始点或就近降落的选项，控制无人机本体返回起飞点降落或原地垂直降落。
15.可选的，步骤1中，选择完毕后，通过ar刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行，具体为：
16.选择指令飞控模式，进入指令飞控界面，指令飞控界面的起飞、上升、下降、前进、后退、左转、右转、左飞、右飞及返回主界面选项以不同频率闪烁，用户根据视野目标判断，将注意力集中到指令飞控界面的各选项上，脑电采集器根据ssvep相应信号识别用户的操作意图，中央控制器控制无人机本体做出相应的动作，用户的每次操作都会使无人机本体执行预设的距离及角度，进而控制无人机本体的飞行姿态；
17.选择航点飞控模式，进入航点飞行主界面，选择规划航线的选项进入一级目录界面，通过编号键盘的1-9编号选项选择与其对应的一级区域地图的子图，进入二级目录界面，通过编号键盘的1-9编号选项选择与其相对应得二级区域地图的子图，进行航点的选取，其中，二级目录界面的撤销选项用于撤销上一步的选择，一级目录界面的删除选项用于删除上一个选择的航点，当所有航点均选择完成时，通过选择一级目录界面的完成选项完成航点的规划，返回航点飞行主界面，航点飞行主界面的清除航点选项用于清除所有航点，返回主界面选项用于返回ar刺激交互主界面，开始飞行选项用于控制无人机本体沿航点开始飞行，航点飞行过程中，无人机本体朝向为航线朝向，无人机本体默认飞行高度为30米，飞行速度为2.6m/s。
18.可选的，步骤2中，无人机本体上设置的图像采集装置实时采集图像，并对图像进行处理，发送至ar刺激器，通过快速序列视觉呈现方法对图像进行识别，判断是否为目标图像，具体为：
19.在无人机本体飞行过程中，无人机本体的云台打开，且角度为-90
°
，使得图像采集装置实时定位采集无人机本体正下方的图像，并将其传送至中央控制器，得到图像流，中央控制器将图像流均匀切割为图片，并将图片通过快速序列视觉呈现方法呈现在ar刺激器
上，脑电采集器实时采集用户的脑电数据，并基于广域目标检测算法对脑电数据进行降噪处理，处理完毕后，利用图片相关性进行联合概率判决，判断是否为目标图像。
20.可选的，基于广域目标检测算法对脑电数据进行降噪处理，具体为：
21.利用xdawn去除脑电数据中的ssvep成分，构建xdawn脑电模型为：
22.x＝da+n
23.式中，为采集的脑电数据，为真实脑电响应，为噪声代表用户大脑的持续活动及伪像，n
t
代表总采样长度，ne代表诱发脑电长度，ns表示导联数，为toeplitz矩阵，其中，第一行为0，第一列有刺激的时刻时记为1，其余为0，da代表与目标刺激的同步反应，其中，响应a的最小二乘估计为：
[0024][0025]
将时间标记的toeplitz矩阵d首列记为，当其出现任意图像刺激的时刻记为1，其余时刻为0。由于目标图像数量远小于非目标图像，且目标图像也含有ssvep成分，因此在去除ssvep成分过程中可忽略目标图像产生的erp成分。将原始信号x减去计算得到的da，即去除掉了ssvep成分。
[0026]
可选的，在航点飞行过程中，无人机朝向为航线方向，飞行速度固定，当目标出现时，根据无人机的飞行高度、速度、拍摄广角，进行是否有目标的联合判决；
[0027]
当目标首次出现时，其出现的区域为目标图像的上半部分，该区域的高度为飞行速度
×
拍摄间隔，同理，目标再次出现的区域则为下一个相同高度区域，以此类推，对首次出现的区域进行标签判决，首先找到该区域子图的其它区域相关子图，进行联合概率计算，得到联合概率t(x)；
[0028]
假设：该组多张相关图像中不含目标成分；
[0029]
假设：该组多张相关图像中含有目标成分；
[0030]
确定一个阈值门限γ，当联合概率t(x)＞γ时选择假设，表示检测到目标，反之选择假设，没有发现目标。
[0031]
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于脑机接口的无人机控制与广域目标检测系统及方法，该系统通过采集用户脑电信号，并基于广域目标检测方法发现搜索目标，进一步根据检测环境的情况进行无人机的协同控制，广域目标检测方法利用快速序列视觉呈现方法对图像进行识别，利用了大脑潜在的快速反应能力，在用户甚至没有意识到目标图片的出现时，仍能在目标图片所诱发的脑电信号中检测出目标图案，同时利用利用相关图片进行联合概率判决，大大提高目标识别准确率。
附图说明
[0032]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0033]
图1为本发明实施例基于脑机接口的无人机控制(左)与广域目标检测(右)系统结构示意图；
[0034]
图2a为ar刺激交互主界面图；
[0035]
图2b为指令飞控界面图；
[0036]
图3a为航点飞控界面图；
[0037]
图3b为一级目录界面图；
[0038]
图3c为二级目录界面图；
[0039]
图3d为开始飞行二次确认界面图；
[0040]
图3e为返回主菜单二次确认界面图；
[0041]
图4a为训练集图；
[0042]
图4b为测试集图；
[0043]
图5a为仅通过2-20hz带通处理的脑电图；
[0044]
图5b为经过xdawn去除ssvep成分的脑电图；
[0045]
图6a为受到目标刺激的叠加脑电信号图；
[0046]
图6b为受到目标刺激的叠加热力图；
[0047]
图7为目标可能出现位置示意图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
本发明的目的是提供一种基于脑机接口的无人机控制与广域目标检测系统及方法，能够使用户通过脑电波直接给无人机下达控制指令，解放了用户的双手，提高了灵活性、实用性及用户操作的舒适性。
[0050]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0051]
如图1所示，本发明实施例提供的基于脑机接口的无人机控制(左)与广域目标检测系统(右)，包括：无人机本体、ar刺激器、脑电采集器、数据接收器、中央控制器及处理端，所述ar刺激器佩戴在用户的眼部，用于对用户进行视觉刺激，所述脑电采集器佩戴在用户的头部，用于采集脑电数据，所述脑电采集器连接所述数据接收器，所述数据接收器连接所述处理端及ar刺激器，所述ar刺激器和所述处理端连接所述中央控制器，所述中央控制器用于负责整个系统的控制，所述无人机本体上设置有图像采集装置，所述图像采集装置及无人机本体连接所述中央控制器，所述处理端用于对脑电数据进行处理。
[0052]
所述数据接收器与所述处理端之间通过数据堆栈池进行异步隔离，用于保证处理端灵活读取及处理数据，所述ar刺激器与处理端之间通过消息队列栈进行异步隔离，用于提升稳定性，所述数据接收器与所述ar刺激器之间通过并口trigger发生的方式进行时钟同步。
[0053]
所述中央控制器及处理端可以采用高性能控制器或pc端。
[0054]
在各个子系统的信息交互方面，由于传输需求以及开发方面限制，我们采用tcp-ip协议和kafka协议两种方式进行传输，kafka是由tcp-ip进行封装实现，具有信息传输稳
定、使用方便快捷等特点。其中，数据接收器与数据堆栈池间采用tcp-ip协议，无人机消息中转件与无人机本体间采用tcp-ip协议，广域目标检测端使用tcp-ip协议，其余的信息传输采用kafka协议。
[0055]
所述图像采集装置固定设置在所述无人机本体的云台上，将图像实时回传到广域目标检测的刺激器上。
[0056]
本发明采用ar刺激器，ar刺激器是指在ar眼镜上呈现图片，对用户进行视觉刺激，从而使其大脑产生相应的脑电信号，戴在用户眼部的ar刺激器中可以同时呈现多个指令目标，每个目标以不同频率或者不同相位闪烁，用户将目光注意力集中到所希望发出的指令上，使大脑皮层产生对应的稳态视觉诱发电位(ssvep)响应信号，当刺激稳定且收集到足够的背景脑电后启动脑电采集器，开始采集脑电(eeg)数据，通过脑电识别算法进行实时检测并识别指令，并将指令实时发送出去控制无人机本体的飞行参数，指挥者根据视野状况，通过ar刺激器中的指令目标来下达无人机本体控制指令，进行搜索、打击(捕捉)或者跟踪等功能，实现无人机本体的飞行路径进行控制。
[0057]
数据接收器定时从脑电采集器读取并存储脑电数据，处理端从数据接收器实时读取脑电数据并判断是否需要新数据，例如，每次获取40ms的数据，若不需要新数据，也就是数据长度达到我们需要的则进行算法处理，否则继续读取和判断是否需要新数据，使用这样的动态窗模式可以大幅度提高信息传输速率，也可以保证识别准确率的提高。
[0058]
数据接收器与处理端之间采用数据堆栈池进行异步隔离，保证数据处理端加灵活地读取以及处理数据，ar刺激器与处理端之间通过消息队列栈进行异步隔离，ar刺激器和处理端无需和对方保持时间上地同步，并不需要发送trigger进行校准，能够运行各自程序，由此构成异步“脑机接口”，通过这样的异步处理方式，假如在用户休息、走神的时候，不会给出错误的判决，提升系统的稳定性。
[0059]
本发明还提供了一种基于脑机接口的无人机控制与广域目标检测方法，应用于上述基于脑机接口的无人机控制与广域目标检测系统，包括如下步骤：
[0060]
步骤1：根据ssvep刺激模型在ar刺激器中建立人机交互界面，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，其中飞行模式包括指令飞控模式及航点飞控模式，前者主要是通过用户的脑电来控制无人机本体的倾角，使无人机本体按照预定方向飞行，后者则是利用用户脑电选取航线的起点和终点，以及飞行高度、飞行速度、飞机朝向、云台角度等参数，来实现无人机本体的定点巡航，选择完毕后，通过ar刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行；
[0061]
步骤2：无人机本体上设置的图像采集装置实时采集图像，并对图像进行处理，发送至ar刺激器，通过快速序列视觉呈现方法对图像进行识别，判断是否为目标图像。
[0062]
当路径比较长或者需要精准飞行控制时，则需要利用到航点飞行功能，两者都是通过脑电来进行选取和控制的。两者都是通过识别稳态视觉诱发电位(ssvep)响应信号，进行异步动态窗处理，整个过程无需trigger，系统可以识别用户的脑电处于工作态还是静息态，用户可随时休息。
[0063]
如图2及图3(图3a至3e)所示，步骤1中，根据ssvep刺激模型在ar刺激器中建立人机交互界面，具体为：
[0064]
建立ssvep刺激模型，根据ssvep刺激模型在ar刺激器中建立人机交互界面，其中，
人机交互界面包括ar刺激交互主界面、指令飞控界面及航点飞控界面，所述ar刺激交互主界面包括指令飞控、航点飞行、降落初始点及就近降落的选项，所述指令飞控界面包括起飞、上升、下降、前进、后退、左转、右转、左飞、右飞及返回主界面的选项，所述航点飞控界面包括航点飞行主界面、一级目录界面及二级目录界面，所述航点飞行主界面包括规划航线、清除航点、开始飞行及返回主界面的选项，所述一级目录界面设置有一级区域地图、编号键盘、删除及完成的选项，其中一级区域地图均分为9个子图，分别对应编号键盘的1至9编号，所述二级目录界面设置有二级区域地图、编号键盘及撤销的选项，其中，二级区域地图为一级区域地图的子图，所述二级区域地图均分为9个子图，分别对应编号键盘的1至9编号。
[0065]
所述开始飞行及返回主界面均设置有二次确认界面，用于供用户实现二次确认，提高了容错性。
[0066]
步骤1中，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，具体为：
[0067]
用户根据航线将注意力集中到指令飞控或航点飞行的选项上，选择指令飞控模块或航点飞行模式，将注意力集中到降落初始点或就近降落的选项，控制无人机本体返回起飞点降落或原地垂直降落。
[0068]
步骤1中，选择完毕后，通过ar刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行，具体为：
[0069]
选择指令飞控模式，进入指令飞控界面，指令飞控界面的起飞、上升、下降、前进、后退、左转、右转、左飞、右飞及返回主界面的选项以不同频率闪烁，用户根据视野目标判断，将注意力集中到指令飞控界面的各选项上，脑电采集器根据ssvep相应信号识别用户的操作意图，中央控制器控制无人机本体做出相应的动作，用户的每次操作都会使无人机本体执行预设的距离及角度，进而控制无人机本体的飞行姿态；
[0070]
选择航点飞控模式，进入航点飞行主界面，选择规划航线的选项进入一级目录界面，通过编号键盘的1-9编号选择与其对应的一级区域地图的子图，进入二级目录界面，通过编号键盘的1-9编号选择与其相对应得二级区域地图的子图，进行航点的选取，其中，二级目录界面的撤销选项用于撤销上一步的选择，一级目录界面的删除选项用于删除上一个选择的航点，当所有航点均选择完成时，通过选择一级目录界面的完成选项完成航点的规划，返回航点飞行主界面，航点飞行主界面的清除航点选项用于清除所有航点，返回主界面选项用于返回ar刺激交互主界面，开始飞行选项用于控制无人机本体沿航点开始飞行，航点飞行过程中，无人机本体朝向为航线朝向，无人机本体默认飞行高度为30米，飞行速度为2.6m/s，其中，无人机本体的其他参数可根据具体需求调整，例如飞行高度、飞行速度、飞机朝向、云台角度等参数。
[0071]
快速序列视觉呈现rapid serial visual presentation(rsvp)是脑机接口最重要的范式之一，属于被动型诱发脑电范式，简单来讲，就是将一系列图片，以较高的速率依次呈现在被试者眼前，一般呈现频率为2hz-15hz，本发明中广域目标检测采用10hz呈现频率进行呈现，即每秒呈现10张图像，持续一分钟以内，同时，图像内容分为目标图像和非目标图像，例如非目标图像可以是不含人的街景，而目标图像可以是含人的街景，又比如目标图像是任意某个英文字母，非目标图像是其余25个字母图像，其中目标图像的数量远少于非目标图像，一般比例为2％-10％，由于目标图像及其稀疏，被试者在看到目标图像后的脑电反应会比较大，这样可以诱发大脑中的oddball新奇响应，由于脑电信号是严格锁相的，
即从目标图像出现到引起我们脑电反应的时延是一致的，虽然人与人之间是不同的，但是对于个人来说是一致的，因此我们可以根据诱发的脑电信号，找到引起新奇反应的脑电成分，经过相位对应也就能找到目标图像；
[0072]
其中，ar刺激器与数据接收器之间需要进行严格的时钟同步，这里主要采用并口trigger发送的方式，它相比其他连接方式的时间精度更高，时钟同步靠的是脑电采集器triggerbox将trigger同步记录到脑电信号中以保证刺激范式与数据采集之间的时序精度，trigger信号即标记信号，相当于直接在脑电采集器采到的脑电信号中打上标记，比如我们需要把每张图片出现的时刻标记在脑电信号中，才能将刺激和脑电信号对应起来，得知该刺激对应的是哪一段脑电信号，其trigger信号由ar刺激器产生脑电采集器triggerbox发送，接收方式可以采用有线和无线两种，优先选择485有线传输方式，以保证精度和稳定性。
[0073]
步骤2中，无人机本体上设置的图像采集装置实时采集图像，并对图像进行处理，发送至ar刺激器，通过快速序列视觉呈现方法对图像进行识别，判断是否为目标图像，具体为：
[0074]
在无人机本体飞行过程中，无人机本体的云台打开，且角度为-90
°
，使得图像采集装置实时定位采集无人机本体正下方的图像，并将其传送至中央控制器，得到图像流，中央控制器将图像流均匀切割为图片，并将图片通过ar刺激器通过快速序列视觉呈现方法依次快速呈现在用户眼前，脑电采集器实时采集用户的脑电数据，并基于广域目标检测算法对脑电数据进行降噪处理，处理完毕后，利用图片相关性进行联合概率判决，判断是非为目标图像，并实时反馈给ar刺激器，采用并行架构设计，其中，目标图像可以为搜救目标、敌方舰机等等。
[0075]
该系统需要根据需求，同时平衡刺激数据接收过程与检测过程的速率差异，以及检测过程与反馈过程的速率差异。
[0076]
图像采集装置采集的可能是图像流，也可能是视频流，扫描无人机传回的图像流或者视频流，将视频流切割成图片，依次快速呈现在使用者眼前，例如1秒钟呈现10张图片，要求被试在快速呈现地图片序列中寻找目标图片，只需在大脑中寻找目标，或者对发现的目标图像进行计数，其中计数只是为了提高注意力，不需其它额外的动作，从而进行广域目标监测，即监测无人机回传的地面或者环境图像。
[0077]
如图4(图4a和4b)所示，广域目标检测分为训练阶段和实测阶段，在训练阶段，挑选事先拍摄好的目标与非目标图像呈现rsvp刺激，每个trial刺激呈现15秒，共150张图片，相隔两个trial休息15秒，每个block共计10个trail，进行6个block实验，与测试阶段不同的是，这些图像很清晰，没有遮挡，且目标大部分位于图像中央；
[0078]
测试阶段，利用无人机本体定点巡航实景拍摄的视频流进行检测，我们首先将无人机本体传回的视频流进行切分，每2秒截取一帧的图片，比如，一分钟的视频流就截取成30张图片，然后将这样截取后的每一张大图切割成4
×
5的小图，共计20张，我们称之为子图，之后再以每秒10张的频率呈现在刺激器上，每张子图呈现0.1秒，这样每一张大图总计呈现时间是2秒，与视频截取成图像的间隔相吻合，保证用户可以连续无间断的进行目标搜索，时间能够充分利用。
[0079]
测试图像与训练图像不同的是，测试集图像是实景实拍的，除了被平均切割以外，
没有经过任何特殊化处理，目标可能出现在刺激图像的左上角，甚至被遮挡。
[0080]
用户在进行快速序列视觉呈现任务过程中会诱发相应的脑电响应，其中主要的两种脑电成分是稳态视觉诱发电位ssvep和事件相关电位erp，前者是由于呈现了很多张图片，每一张图片的出现都会引起视觉信号vep，那么连续稳定的图片呈现就会引起ssvep成分，后者erp的电位出现则是由于图片新奇性，受试者在长期观察非目标图像，突然出现一张目标图像，那么就会诱发erp反应，一般来讲，在图片出现后的300毫秒左右响应最大，称为p300电位，因此，我们推断非目标图像所诱发的成分为ssvep，而目标图像所诱发的成分为ssvep+erp，我们的任务就是区分这两种成分，但由于脑电信号的极低信噪比，可以说是任何风吹草动都会引起信号的不稳定，甚至心脏跳动、眨眼都会影响信号，所以我们要尽可能的剔除噪声的干扰来区分两种成分。
[0081]
基于广域目标检测算法对脑电数据进行降噪处理，具体为：
[0082]
利用xdawn去除脑电数据中的ssvep成分，一般来讲，我们假设采集的脑电数据s为一个c
×
t的大矩阵，其中c表示导联数，也就是电极数量，也被称为空间，t则表示采样的时间点数，例如我们采集额叶af8、顶叶cz、枕叶o1等三个导联的数据，1000hz采样率采集500毫秒的数据，那么需要处理的脑电数据就是3
×
500的矩阵，为：
[0083][0084]
rsvp每0.1秒生成一次刺激，会导致脑电在时间上的相关性，也就是说上一次刺激的反应还没有结束，下次刺激就来了，于是构建xdawn脑电模型为：
[0085]
x＝da+n
[0086]
式中，为采集的脑电数据，为真实脑电响应，为噪声代表用户大脑的持续活动及伪像，n
t
代表总采样长度，ne代表诱发脑电长度，ns表示导联数，为toeplitz矩阵，其中，第一行为0，第一列有刺激的时刻时记为1，其余为0，
[0087][0088]
d的第一列标识着时间，就是信号在产生后会不断衰减影响后面的信号，直至某一刻衰减为0，一般我们认为刺激产生800ms基本上不会对脑电产生影响，也就是说人的脑电已经趋于平静，da代表与目标刺激的同步反应，其中，响应a的最小二乘估计为：
[0089][0090]
将时间标记的toeplitz矩阵d首列记为，当其出现任意图像刺激的时刻记为1，其余时刻为0。由于目标图像数量远小于非目标图像，且目标图像也含有ssvep成分，因此在去
除ssvep成分过程中可忽略目标图像产生的erp成分。将原始信号x减去计算得到的da，即去除掉了ssvep成分。
[0091]
如图5所示，某用户的56电极导联的受到非目标刺激的500ms脑电信号，由于脑电信号信噪比极低，需要多次叠加平均才能看出信号波形，图5为叠加100次的信号图，其中图5a为仅通过2-20hz带通处理的脑电图，图5b为经过xdawn去除ssvep成分的脑电图，可以明显看出，图5a有很强的10hz、20hz脑电成分，这是由于图片呈现频率为10hz导致的vep信号叠加，形成了ssvep波形，而图5b为减去提取出来的ssvep噪声成分，经过多次叠加平均噪声能量基本为0；
[0092]
图6a为受到目标刺激的500ms脑电数据，如图6b所示，可以看出在枕叶(位置靠后的导联、主要负责视觉)、额叶(位置靠前的导联、主要负责认知)有明显的p300响应，也就是受到刺激后300毫秒有一个正峰，而顶叶(位置居中的导联)则响应很小，基本符合生物学、心理学认知。
[0093]
利用图片相关性进行联合概率判决，具体为：
[0094]
脑电分类研究大多采用多元判别分析作为识别的分类器，他是多元统计分析中fisher线性判别法的一个扩展，当有两个以上的射频设备需要分类时，通过将输入数据投影到低维空间，有效地降低了输入数据的维数，我们需要找到投影向量投影后，目标是最大化λ组间和组内平方和的比值，定义为公式：
[0095][0096]
其中是sb群间散射矩阵，sw是群内散射矩阵，我们可以计算出投影向量b是矩阵的特征向量，而λ是反映群分离的对应特征值；
[0097]
在本发明中，需要区分的两类为目标图像和非目标图像，在单张子图判决上，我们采用hdca判决思想，脑电信号采集64导数据，在导联空间上采用fisher线性判别进行降维，之后在时间维度采用logistic判决，计算得到每张子图以输出属于是目标图像的概率p；
[0098]
在航点飞行过程中，无人机朝向为航线方向，飞行速度固定，因此当目标首次出现时，其出现的区域为图像上半部分，如图7所示的a区域，该区域的高度为飞行速度
×
拍摄(截取)间隔。同理，目标再次出现的区域则为下一个相同高度区域，如图中的b区域，以此类推，假设图片的拍摄高度视野是每个区域的4倍(向下取整)。因此，当目标出现在无人机的视野中后，它会依次出现在abcd区域，我们根据区域大小将图像切割成4份，并将每个区域平均切割成5个子图，每张图片中的20个子图依次进行rsvp呈现；
[0099]
我们目标是对a区域的子图，即首次出现的区域进行标签判决。首先找到a区域子图的其它区域相关子图，即相关的bcd区域的图像，进行联合概率计算。
[0100]
假设：该组多张相关图像中不含目标成分；
[0101]
假设：该组多张相关图像中含有目标成分。
[0102]
确定一个阈值门限γ，当联合概率t(x)＞γ时选择假设，表示检测到目标，反之选择假设，没有发现目标。
[0103]
本发明提供的基于脑机接口的无人机控制与广域目标检测系统及方法，该系统通过采集用户脑电信号，并基于广域目标检测方法发现搜索目标，进一步根据检测环境的情
况进行无人机的协同控制，广域目标检测方法利用快速序列视觉呈现方法对图像进行识别，利用了大脑潜在的快速反应能力，在用户甚至没有意识到目标图片的出现时，仍能在目标图片所诱发的脑电信号中检测出目标图案，同时利用利用相关图片进行联合概率判决，大大提高目标识别准确率。
[0104]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。