一种基于脑机接口的无人机集群混合模式控制系统及方法

本发明涉及脑控无人机接口控制领域，尤其涉及一种基于脑机接口的无人机集群控制系统及方法。

背景技术：

1、现阶段自主控制的无人机集群的感知系统、运算处理系统、决策系统智能化程度不高，无法在复杂的环境下自主完成各种任务，通常需要用户在操控席实施控制，在复杂任务时需要用户双手积极灵活配合才能完成，这要求操控人员大量训练才能掌握集群控制技巧，所以短时间内实现无人机的全自主智能控制难度较大。因此将脑-机接口(braincomputer interface，bci)技术引入无人机集群控制系统中，将人工智能与生物智能、有人系统与无人系统的深度融合协同，实现无人机集群人机混合控制，可以解放人的双手，提高用户的工作效率，这将成为未来无人机集群控制技术发展的重要方向。

2、稳态视觉诱发电位(steady-state visual evoked potential，ssvep)是当用户接收到具有一定频率，相位和持续时间的视觉刺激时，大脑枕区诱发出趋于稳定、与刺激或其高次谐波频率一致的成分的脑信号。ssvep-bci具有高信噪比(signal-noise-ratio，snr)、高信息传输率(information transfer rate，itr)、幅值稳定、抗干扰能力强、较少或无需训练等优势。构建基于ssvep-bci的无人机集群控制方法为用户提供直接打通脑与无人机集群之间的通路，可以为残疾人提供一种新的控制方法，也为作战人员提供一种新型的人机交互方式，大大提高作战效率。

3、在脑-控无人机集群控制系统的已公开专利有：(1)cn113625749a《一种基于稳态视觉诱发电位的脑-控无人机编队控制方法；(2)cn113625769a《一种基于脑电信号的无人机编队多模态控制系统》。

4、现有技术存在以下缺陷：

5、1.用户界面功能过于简单，无法提供第一视角和反馈当前无人机状态，且误触发概率大；

6、2.脑控无人机集群系统并非纯ssvep脑电模式控制，而是使用了眼电控制，影响用户舒适性；

7、3.现有的脑控无人机集群控制策略过于简单，集群飞行模式单一死板，且控制不灵活，需要的脑电分析模块过多，不利于控制模式的转换，无法得到较高的鲁棒性和控制精度。

技术实现思路

1、针对现有技术，本发明的目的在于提出了一种基于脑机接口的无人机集群混合模式控制系统及方法，设计了自适应的动态人机交互界面满足用户通过在第一视角观察每一架无人机当前状态，使用一个界面动态地控制多架无人机飞行的混合模式飞行状态。

2、为了达到上述发明目的，本发明利用以下技术方案实现：

3、一种基于脑机接口的无人机集群混合模式控制系统，包括：

4、人机交互界面单元、脑电信号采集单元、脑电信号处理单元、指令映射单元、逻辑控制单元以及多无人机组网单元；

5、其中：所述人机交互界面单元，用于向用户呈现刺激、回传无人机视频、显示当前指令提供交互界面形式的操作，所述人机交互界面单元进一步包括模式可变部分、指令输出部分、单架无人机选定部分、视频反馈部分、无人机集群控制部分，所述模式可变部分设置有相同飞行状态和不同飞行状态这两种无人机集群飞行模式的转换操作的2个刺激块；所述指令输出部分设置无人机四维控制的飞行状态指令对应的刺激块；所述单架无人机选定部分用于选定无人机集群中特定架次的无人机序号进行单独控制；所述脑电信号采集单元，用于通过电极采集用户的大脑枕区信号，经放大器放大、滤波处理后形成数据信息，传输给所述脑电信号处理单元；所述脑电信号处理单元，用于处理脑电信号特征判断飞行模式类别，所述类别包括不同飞行模式和相同飞行模式；所述指令映射单元，用于将飞行模式类别映射成逻辑控制单元的输入；所述逻辑控制单元，用于执行无人机集群的混合模式控制策略：对于相同飞行模式，用户注视模式选择部分中的无人机集群相同飞行状态的刺激块，控制无人机同步起飞；对于相同飞行模式，用户注视模式选择部分中的无人机集群不同飞行状态的刺激块，然后用户注视单架无人机选定部分的指定飞机序号刺激块，独立控制指定飞机，其它无人机则保持悬停，等待任务完成，两种模式可以在任务期间相互转变；所述无人机组网单元用于构建无人机集群和计算机的通信链路。

6、一种基于脑机接口的无人机集群混合模式控制方法，包括：

7、利用所述无人机组网单元构建无人机集群和计算机的通信链路，动态地通过人机交互界面向用户呈现刺激，通过脑电信号采集单元采集用户的大脑枕区信号，经放大器放大、滤波处理后形成数据信息，对刺激采用移除非刺激态的连续时间片段叠加的刺激范式方法进行编码，传输给所述信号处理单元，通过脑电信号处理单元处理脑电信号，解析脑电特征，包括进行脑电信号预处理、特征提取和模式识别，根据脑电信号特征判断飞行模式类别，所述飞行模式类别包括不同飞行模式和相同飞行模式；利用指令映射单元将飞行模式类别映射成逻辑控制单元的输入；利用所述逻辑控制单元执行无人机集群的混合模式飞行控制策略：对于相同飞行模式，用户注视模式选择部分中的无人机集群相同飞行状态的刺激块，控制无人机同步起飞；对于相同飞行模式，用户注视模式选择部分中的无人机集群不同飞行状态的刺激块，然后用户注视单架无人机选定部分的指定飞机序号刺激块，独立控制指定飞机，其它无人机则保持悬停，等待任务完成，两种模式可以在任务期间相互转变；最后当特定架次无人机飞行任务完成后将完成信号反馈到人机界面，当前刺激停止，后续执行下一个任务。

8、本发明的有益效果及优点在于：

9、人机交互界面方便用户在任何环境下都能够实时掌握无人机集群当前的飞行状态，实时将脑电处理算法的分类结果和无人机的飞行姿态进行实时反馈以便于及时做出调整，从而提高脑-控交互的友好性，达到辅助用户对无人机集群实时、精准控制的目的；

10、一方面有效提高脑-机接口对无人机集群控制的灵活性和鲁棒性，降低无人机集群的控制难度，使得无人机集群的操控不再依赖双手和自主控制，另一方面引入生物智能作为最高决策可以打通无人机集群自主控制的另一条通路，保证在复杂环境下，无人机集群在单一的脑电模式下也能圆满完成任务。

技术特征：

1.一种基于脑机接口的无人机集群混合模式控制系统，其特征在于，包括：

2.如权利要求1所述的一种基于脑机接口的无人机集群混合模式控制系统，其特征在于，所述视频反馈部分用于同时回传每架无人机的视频画面；当任务完成后，飞机对应的刺激块将不再闪烁和参与分类。

3.如权利要求1所述的一种基于脑机接口的无人机集群混合模式控制系统，其特征在于，所述多无人机组网单元进一步包括在一个局域网内的分配无人机的ip地址，使得无人机、放大器、pc主机和标签盒。

4.如权利要求1所述的一种基于脑机接口的无人机集群混合模式控制系统，其特征在于，所述无人机交互界面单元的用户视角为2.05°。

5.如权利要求1所述的一种基于脑机接口的无人机集群混合模式控制系统，其特征在于，所述脑电信号处理单元进一步包括：预处理：数据截取与选择、250hz降采样、50hz陷波、以及滤波；在标签起始的0.14s后开始截取，至一个刺激片段起始的δt+0.14s结束，将截取的数据从1khz降采样至250hz；滤波：对数据进行切比雪夫ⅱ型带通滤波器对所有数据片段进行滤波；特征提取：将预处理后的脑电数据送入trca空间滤波器后与每一个模板进行匹配。

6.一种基于脑机接口的无人机集群混合模式控制方法，其特征在于，包括：

7.如权利要求6所述的一种基于脑机接口的无人机集群混合模式控制方法，其特征在于，所述人机交互界面单元进一步包括模式可变部分、指令输出部分、单架无人机选定部分、视频反馈部分、无人机集群控制部分；所述模式可变部分设置有用于无人机集群相同飞行状态和不同飞行状态这两种飞行模式的转换操作的2个刺激块；所述指令输出部分设置无人机四维控制的飞行状态指令对应的刺激块；所述单架无人机选定部分用于选定无人机集群中特定架次的无人机序号进行单独控制；所述视频反馈部分用于同时回传每架无人机的视频画面；当任务完成后，飞机对应的刺激块将不再闪烁和参与分类。

8.如权利要求6所述的一种基于脑机接口的无人机集群混合模式控制方法，其特征在于，所述多无人机组网单元进一步包括在一个局域网内的分配无人机的ip地址，使得无人机、放大器、pc主机和标签盒。

9.如权利要求6所述的一种基于脑机接口的无人机集群混合模式控制方法，其特征在于，所述无人机交互界面单元的用户视角为2.05°。

10.如权利要求6所述的一种基于脑机接口的无人机集群混合模式控制方法，其特征在于，所述脑电信号处理单元进一步包括：预处理：数据截取与选择、250hz降采样、50hz陷波、以及滤波；在标签起始的0.14s后开始截取，至一个刺激片段起始的δt+0.14s结束，将截取的数据从1khz降采样至250hz；滤波：对数据进行切比雪夫ⅱ型带通滤波器对所有数据片段进行滤波；特征提取：将预处理后的脑电数据送入trca空间滤波器后与每一个模板进行匹配。

技术总结
本发明公开了一种基于脑机接口的无人机集群混合模式控制系统及方法，结合稳态视觉诱发SSVEP电位脑电模式与无人机集群控制；包括人机交互界面单元、脑电信号采集单元、脑电信号处理单元、指令映射单元、逻辑控制单元及多无人机组网单元；利用脑电信号处理单元处理脑电信号特征判断飞行模式类别；利用逻辑控制单元执行无人机集群的混合模式控制策略；进行多架无人机的混合飞行模式控制，实现无人机集群分布式和高机动性飞行。本发明提高脑‑控交互的友好性，辅助用户对无人机集群实时、精准控制，有效提高脑‑机接口对无人机集群控制的灵活性和鲁棒性，引入生物智能作为最高决策实现无人机集群自主控制。

技术研发人员：王正义,许敏鹏,曹洪涛,梅杰,李昂,奕伟波,张利剑,明东
受保护的技术使用者：天津大学
技术研发日：
技术公布日：2024/4/22