运动想象脑机接口通信方法、装置、系统、介质及设备与流程

1.本发明属于脑-机接口的通信与计算技术领域，涉及检测方法和反馈系统，特别是涉及一种运动想象脑机接口通信方法、装置、系统、介质及设备。


背景技术：

2.脑机接口是一种新型的通过从人体头颅表面采集的脑电信号实现人脑与外部设备信息交互的的技术。脑机接口的几种主要的实现方式按照所提取的脑电信号种类可以分为p300脑机接口，运动想象脑机接口和ssvep(steady-state visual evoked potential，稳态视觉诱发电位)脑机接口等。其中，运动想象脑机接口在医疗康复领域和非医疗领域的拥有巨大应用场景，因而被许多研究人员所关注。运动想象任务是通过想象执行一项特定任务而不实际执行来完成的。当前研究中广泛使用的运动想象任务是对右手、左手、右脚、左脚、双脚和舌头等身体部位的想象；许多其他任务也在研究中，如与肘部、拳头和手指有关的运动。人在进行运动想象的过程中，大脑皮层会产生两种变化明显的节律信号，分别是8-15hz的μ节律信号和18-24hz的β节律。在运动想象时，神经元细胞被激活、新陈代谢速度加快，大脑皮层对侧运动感觉区的脑电节律能量会明显降低，而同侧运动感觉区的脑电节律能量增大，这种现象称为事件相关去同步(event related desynchronization，erd)/事件相关同步(event related synchronization，ers)。基于这种关系，通过人大脑主动控制左、右脑、节律幅度的高低就可以产生多种控制指令。大脑控制过程会产生左右手运动想象的erd/ers现象。erd/ers现象与大脑的真实运动意图具有很强的相关性，同时它是被试者通过自主运动想象产生的，不需要执行实际的肢体活动，也不需要外部的刺激。因此，通过解码erd/ers现象形成时脑电信号中的运动意图，非常适合作为脑机接口控制外部设备的指令依据。特别是对于那些截瘫、肢体残缺的患者，可以通过运动想象的方式来控制诸如外骨骼、轮椅、机械臂等外部设备进行康复训练、辅助行走。
3.一个完整的运动想象脑机接口系统包含三个重要的技术步骤，分别是信号采集，信号处理，外部设备控制与反馈。具体地，在信号采集阶段，受试者需要进行特定部位的运动想象，一般手部想象的动作为握球或汽车换挡等，下肢想象动作为脚趾抓地等。动作的想象需要持续一定时间(通常为2
–
4秒)，这样一来，对应部位的erd/ers信号便会在受试者的大脑皮层产生。同时，通过给受试者佩戴电极帽，布置于其上的电极就可以通过非侵入式的方式采集得到头皮表面的脑电信号，并通过线缆将信号传递至模数转换模块和数据转发模块等，然后在上位机上得到标准化的脑电数字信号。通过对该数字信号使用特定的算法进行处理分析，就可以知道受试者想象运动的是哪一个身体部位，以及其所尝试输出的控制指令具体是什么，并最终将该控制指令传递至外部设备以实现控制效果。外部设备的控制效果作为反馈信号，对受试者的运动想象进行反馈调节，从而完成整个运动想象脑机接口的工作流程。
4.运动想象脑机接口进行降采样、滤波、去伪迹等预处理后，脑电信号的信噪比(signal noise ratio,snr)有所增强，但是其数据量仍然较大，需要进一步提取运动想象
相关的特征信息。bci系统的eeg信号特征提取算法往往从时域、频域和空域不同角度进行分析。常见的时域分析特征提取算法包括：hjorth参数、自适应自回归(adaptive autoregressive，aar)模型和粒子滤波等。常见的频域分析特征提取算法包括快速傅里叶变换(fast fourier transform，fft)、频谱特征、小波变换(wavelet transform，wt)等。常见的空域分析特征提取算法为共空间模式(common spatial pattern，csp)。该算法旨在寻找可将不同类信号方差比值最大化的空间滤波器组。除了以上传统的特征提取算法，更多的特征提取算法将时域、频域、空域分析方法进行结合，如小波包变换(wavelet packet transform，wpt)可以提取多个时间窗口和频段的信息，因此比fft更适合非平稳的eeg信号。
5.对脑电信号进行特征提取后，特征值将被输入至分类器进行进一步处理。分类器为输入特征值从两个或两个以上类别中选择一个合适的标签，以便产生离散的输出控制信号(例如控制机械手臂向上或向下运动)。按照训练分类器所使用的样本是否带标签，可将分类学习算法分为监督式、无监督式、半监督式算法。顾名思义，监督式分类算法所使用的的样本都带有标签；非监督式分类算法所用样本都没有标签；半监督式分类算法所用样本中只有部分样本附带有标签。目前运动想象分类效果最好的分类器均为监督式算法，如基于线性判别式分析(linear discriminant analysis，lda)的卡尔曼自适应线性判别式分析(kalman adaptive lda，kalda)，贝叶斯分类器(bayesian classifier)，支持向量机(support vector machine，svm)等。神经网络(neural networks，nn)模仿生物学中的神经网络，具有适应性强，拟合性高的特点，与非平稳、复杂度高的脑电信号具有天然的相合性。基于神经网络的deepconvnet、shallowcspnet、eegnet和fbcnet在运动想象脑机接口分类问题上取得了良好的效果。但是分类精度越高的算法通常需要更多的训练数据，运动想象脑机接口实验准备耗时大，实验过程长，每位受试者难以获得充足的训练数据。而由于不同受试者之间脑电信号的巨大差异，其他受试者采集的训练数据无法直接用于新受试者的训练，这是制约目前运动想象脑机接口在现实中应用的主要因素。
6.在受试者的训练样本较少的情况下，如何提高运动想象脑机接口系统性能是棘手的问题。近年来，迁移学习(transfer learning，tl)已经成为解决这一问题的新的方法。tl使用来自不同特征空间或特征分布的数据，补偿有标签的训练数据的不足，从而构造更准确的分类模型。tl的目标是，从一个或多个源任务提取有用知识，并将其应用于另一个目标任务，与传统的机器学习不同的是无需完全相同特征分布的数据分布，只需相关即可，传统的机器学习和迁移学习差异具有不同的视觉目标，而在组合ssvep范式中，n个不同的频率可以编码n2个不同的视觉目标，而这个数字在考虑超过2个视觉刺激组合成为一个目标时会更高。
7.迁移学习提升运动想象脑机接口系统分类性能的一种典型方法是，使用其他受试者的实验样本训练得到分类模型，之后保留模型的部分结构，使用新的受试者数据在此基础上继续训练。然而，传统的深度迁移方法仍存在一些不足。一方面，当前基于迁移学习的运动想象脑机接口算法通常只将人为选择的单个已有的受试者或所有已有的受试者整体作为源域。前者无法充分利用所有已有的受试者数据，对于较复杂的模型仍无法满足其对训练数据的需求；后者则会出现不同特征空间(受试者)的训练数据相互干扰的现象，模型难以收敛。另一方面，当前的基于迁移学习运动想象脑机接口算法为一次性，不可更新的。
当数据集中引入新的受试者时，如果想利用新受试者的数据，所有已训练好的受试者均需要在引入新受试者数据的情况下重新训练。如果多次引入新的受试者，并且新受试者的数量不规律时，还需要对迁移算法进行相应的修改，在实际应用中这是不被允许的。因此，当前的已有的基于迁移学习的运动想象脑机接口算法仅能针对已有的数据集，而不能作为一个随着采集受试者数量增多而动态更新的系统。


技术实现要素：

8.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种运动想象脑机接口通信方法、装置、系统、介质及设备，用于提高运动想象脑机接口的分类性能，并且实现运动想象脑机接口在现实中的部署。
9.为实现上述目的及其他相关目的，本发明提供一种运动想象脑机接口通信方法，所述运动想象脑机接口通信方法包括：获取带标签的脑电数据，并将所述脑电数据划分为训练集和验证集；随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型；基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练，获得分别与各源域受试者对应的目标域模型。
10.于本发明的一实施例中，所述随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型包括：随机选取数个源域受试者作为初始混合域，并基于所述初始混合域对应的训练集的脑电数据获得第一混合源域模型；提取所述第一混合源域模型的特征提取器参数，作为下一轮的混合域模型模型特征提取器的初始化参数；随机选取数个源域受试者作为第二混合域，并基于所述第二混合域对应的训练集的脑电数据和所述第一混合源域模型的特征提取器参数获得第二混合源域模型；依次类推，获得第n混合域以及与所述第n混合域对应的第n混合源域模型。
11.于本发明的一实施例中，所述第一混合源域模型、所述第二混合源域模型，
……
，所述第n混合源域模型中分类器的参数随机初始化。
12.于本发明的一实施例中，还包括：基于所述验证集中各源域受试者对应的脑电数据分别对所述第一混合源域模型、所述第二混合源域模型，
……
，所述第n混合源域模型进行验证，并输出验证结果。
13.于本发明的一实施例中，还包括：将所述验证结果与对应的源域受试者的历史混合源域模型进行对比，获取与所述源域受试者对应的最佳混合源域模型。
14.于本发明的一实施例中，所述基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练包括：基于所述训练集中各源域受试者的脑电数据分别对与所述源域受试者对应的最佳混合源域模型进行训练。
15.本发明还公开一种运动想象脑机接口通信装置，所述运动想象脑机接口通信装置包括：数据集模块，用于获取带标签的脑电数据，并将所述脑电数据划分为训练集和验证集；混合域模型模块，随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型；目标域模型模块，基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练，获得分别与各源域受试者对应的目标域模型。
16.本发明还公开一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的运动想象脑机接口通信方法的步骤。
17.本发明还公开一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，在调用所述计算机程序时实现如上所述的运动想象脑机接口通信方法的步骤。
18.本发明还公开一种运动想象脑机接口通信系统，所述运动想象脑机接口通信系统包括如上所述的电子设备，至少一个脑电采集设备，至少一个计算设备以及至少一个外部设备；其中：所述电子设备为云端服务器；所述脑电采集设备与所述计算设备相连，用于采集源域受试者的脑电数据，并将采集的源域受试者的脑电数据传输至对应的所述计算设备；各所述计算设备分别与所述云端服务器相连，用于将从所述脑电采集设备接收到的脑电数据进行标签分类，形成含标签的脑电数据，将所述含标签的脑电数据传输至所述云端服务器，并从所述云端服务器接收与各源域受试者对应的目标域模型，基于所述目标域模型生成控制所述外部设备的控制指令；各所述外部设备分别与对应的所述计算设备相连，基于从所述计算设备接收到的控制指令进行工作。
19.如上所述，本发明所述的运动想象脑机接口通信方法、装置、系统、介质及设备，具有以下有益效果：
20.1、本发明中，源域受试者不再是人为选择的，而是系统自动在所有已有受试者中选择的与目标受试者匹配度最高的一部分受试者。这样得到的源域数据量更大，并且与目标受试者脑电数据相似度更高，分类性能提升更大，提高运动想象脑机接口的分类性能。
21.2、本发明中，每当数据集引入新的受试者时，对新的受试者进行训练时也可以将所有已训练好的受试者的模型进行更新，整个系统所有受试者的分类精度都会随着采集的受试者的增多而提高，实现运动想象脑机接口在现实中的部署，因此也解决了上述传统方法中难以在现实中应用的问题。
附图说明
22.图1显示为本发明实施例所述的运动想象脑机接口通信方法的流程示意图。
23.图2显示为本发明实施例所述的运动想象脑机接口通信方法中多源域迁移学习的工作流程图。
24.图3显示为本发明实施例所述的运动想象脑机接口通信装置的原理结构示意图。
25.图4显示为本发明实施例所述的电子设备的一种实现结构示意图。
26.图5显示为本发明实施例所述的运动想象脑机接口通信方法的工作流程示意图以及运动想象脑机接口通信系统的原理结构示意图。
27.元件标号说明
28.100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
运动想象脑机接口通信装置
29.110
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数据集模块
30.120
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
混合域模型模块
31.130
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
目标域模型模块
[0032]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
运动想象脑机接口通信系统
[0033]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
云端服务器
[0034]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
脑电采集设备
[0035]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算设备
[0036]
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
外部设备
[0037]
101
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
[0038]
1001
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0039]
1002
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
[0040]
s100～s300
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
具体实施方式
[0041]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0042]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0043]
本发明实施例的目的在于提供一种运动想象脑机接口通信方法、装置、系统、介质及设备，用于提高运动想象脑机接口的分类性能，并且实现运动想象脑机接口在现实中的部署。
[0044]
本实施例提供一种运动想象脑机接口通信方法、装置、系统、介质及设备，作为比较，传统的运动想象脑机接口系统中，本实施例中，训练数据与测试数据属于相同的受试者，二者是相互对应的，不同受试者的训练数据不能混合使用，否则会严重影响分类精度。针对这种情况所提出的传统迁移学习运动想象算法需要人为选择特定的源域受试者，迁移过程中只有被选择的源域受试者数据起作用，其余已有的受试者数据均被浪费了，分类性能仍有较大的提升空间。其次，当前的基于迁移学习运动想象脑机接口算法只针对于特定的数据集与特定的模型，不具有可更新性与拓展性。
[0045]
以下将详细阐述本实施例的运动想象脑机接口通信方法、装置、系统、介质及设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的运动想象脑机接口通信方法、装置、系统、介质及设备。
[0046]
请参阅图1，本实施例提供一种运动想象脑机接口通信方法，所述运动想象脑机接口通信方法包括以下步骤s100至步骤s300。
[0047]
s100，获取带标签的脑电数据，并将所述脑电数据划分为训练集和验证集；
[0048]
s200，随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型；
[0049]
s300，基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练，获得分别与各源域受试者对应的目标域模型。
[0050]
以下对本实施例运动想象脑机接口通信方法中的上述步骤s100至步骤s300进行详细说明。
[0051]
s100，获取带标签的脑电数据，并将所述脑电数据划分为训练集和验证集。
[0052]
其中，预先设定训练集和验证集的划分比例，所述划分比例中，优选训练集的数量大于验证集的数量，即训练集的数量与验证集的数量的比值大于1。例如，80％的带标签的脑电数据作为训练集，20％的带标签的脑电数据作为验证集。
[0053]
s200，随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型。
[0054]
图2显示为本实施例所述的运动想象脑机接口通信方法中多源域迁移学习的工作流程图。于本实施例中，所述随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型包括：
[0055]
1)随机选取数个源域受试者作为初始混合域，并基于所述初始混合域对应的训练集的脑电数据获得第一混合源域模型；
[0056]
2)提取所述第一混合源域模型的特征提取器参数，作为下一轮的混合域模型模型特征提取器的初始化参数；随机选取数个源域受试者作为第二混合域，并基于所述第二混合域对应的训练集的脑电数据和所述第一混合源域模型的特征提取器参数获得第二混合源域模型；
[0057]
3)依次类推，获得第n混合域以及与所述第n混合域对应的第n混合源域模型。
[0058]
s300，基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练，获得分别与各源域受试者对应的目标域模型。
[0059]
即本实施例中，每轮训练从所有源域受试者中随机选择数个源域受试者作为混合源域，利用其训练数据训练得到混合源域的模型，之后将该模型的特征提取器参数输送到下一轮，作为下一轮模型特征提取器的初始化参数。
[0060]
同时，于本实施例中，所述第一混合源域模型、所述第二混合源域模型，
……
，所述第n混合源域模型中分类器的参数随机初始化。即，同时每一轮的分类器都进行随机初始化。
[0061]
于本实施例中，还包括：基于所述验证集中各源域受试者对应的脑电数据分别对所述第一混合源域模型、所述第二混合源域模型，
……
，所述第n混合源域模型进行验证，并输出验证结果。
[0062]
于本实施例中，还包括：将所述验证结果与对应的源域受试者的历史混合源域模型进行对比，获取与所述源域受试者对应的最佳混合源域模型。
[0063]
即每轮得到的源域模型在对应受试者的验证集上进行验证，保留效果更好的模型参数。所有混合源域训练完成后，所有源域受试者都得到了更新后的新模型。
[0064]
于本实施例中，所述基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练包括：基于所述训练集中各源域受试者的脑电数据分别对与所述源域受试者对应的最佳混合源域模型进行训练。
[0065]
在传统的运动想象脑机接口系统中，每个受试者使用前均需要采集大量的训练数据来训练得到特征提取器和分类器。模型拟合所需要的训练数据量通常需要耗费数小时乃至数天来进行采集，这在实际应用中是无法接受的。而本实施例是基于多源迁移学习、可动态更新的运动想象脑机接口方法，可以利用所有已有源域受试者的脑电数据来进行模型的训练，在大幅度减少新源域受试者训练数据的情况下，还能取得更好地分类性能。
[0066]
同时，本实施例克服了过去运动想象脑机接口系统只针对特定受试者、特定模型
结构的不足，每当获得新的受试者数据时，就可以对所有已有受试者的模型进行更新。本实施例对使用的脑电特征提取与分类的算法没有要求，可以根据实际需要更换符合要求的脑电特征提取与分类算法，并且所有的传统算法一旦结合本实施例均可以获得显著的分类性能提升。
[0067]
本发明所述的运动想象脑机接口通信方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0068]
如图3所示，本实施例还公开一种运动想象脑机接口通信装置100，所述运动想象脑机接口通信装置100包括：数据集模块110，混合域模型模块120以及目标域模型模块130。
[0069]
所述数据集模块110用于获取带标签的脑电数据，并将所述脑电数据划分为训练集和验证集；所述混合域模型模块120用于随机选取数个源域受试者作为混合域，基于所述混合域对应的训练集的脑电数据获得混合源域模型；所述目标域模型模块130用于基于所述训练集中各源域受试者的脑电数据分别对所述混合源域模型进行训练，获得分别与各源域受试者对应的目标域模型。
[0070]
本实施例中，所述运动想象脑机接口通信装置100可以实现本发明所述的运动想象脑机接口通信方法，但本发明所述的运动想象脑机接口通信方法的实现装置包括但不限于本实施例列举的运动想象脑机接口通信装置100的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0071]
本技术中，所述运动想象脑机接口通信装置100可以实现本实施例所述的运动想象脑机接口通信方法，故而所述运动想象脑机接口通信装置100的各模块的具体实现功能参见所述运动想象脑机接口通信方法的细节描述，在此不再重述。
[0072]
但本发明所述的运动想象脑机接口通信方法的实现装置包括但不限于本实施例列举的运动想象脑机接口通信装置100，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统/装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0073]
参见图4所示，本发明实施例还提供一种电子设备101，所述电子设备101优选为云端服务器。所述电子设备101包括：存储器1001和处理器1002。所述存储器1001存储有一计算机程序；所述处理器1002与所述存储器1001通信相连，在调用所述计算机程序时实现本发明所述的运动想象脑机接口通信方法的步骤。
[0074]
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述的运动想象脑机接口通信方法的步骤。
[0075]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
[0076]
其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram
以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0077]
如图5所示，本发明实施例还提供一种运动想象脑机接口通信系统1，所述运动想象脑机接口通信系统1包括如上所述的电子设备101(即云端服务器10)，至少一个脑电采集设备20，至少一个计算设备30以及至少一个外部设备40。
[0078]
其中：所述脑电采集设备20与所述计算设备30相连，用于采集源域受试者的脑电数据，并将采集的源域受试者的脑电数据传输至对应的所述计算设备30；各所述计算设备30分别与所述电子设备101相连，用于将从所述脑电采集设备20接收到的脑电数据进行标签分类，形成含标签的脑电数据，将所述含标签的脑电数据传输至所述电子设备101，并从所述电子设备101接收与各源域受试者对应的目标域模型，基于所述目标域模型生成控制所述外部设备40的控制指令；各所述外部设备40分别与对应的所述计算设备30相连，基于从所述计算设备30接收到的控制指令进行工作。
[0079]
即本实施例中，所述运动想象脑机接口通信系统1包含一台脑电采集设备20，一台包含相应信号处理和运动想象识别算法的上位机的计算设备30，云端服务器10，一个需要通过脑机接口传递指令来进行工作的外部设备40。
[0080]
本实施例首次将迁移学习部署在现实的运动想象脑机接口系统中，可以应用在在医疗康复、外骨骼器械等领域。所有源域受试者的训练数据均可以保存在云端服务器10，每当获取到新用户的训练数据时，云端服务器10会自动对所有源域受试者的模型进行更新，使所有用户均能享受到数据增多所带来的性能提升，加快运动想象脑机接口在医疗康复、外骨骼等关键领域中的落地应用。
[0081]
例如，需要利用本实施例中的运动想象脑机接口通信系统1来对一台外骨骼设备进行控制。脑电信号采集设备与外骨骼设备均与计算设备30连接，计算设备30通过网络与云端服务器10通信。
[0082]
瘫痪患者通过想象左手运动，右手运动，双脚运动与静息状态来分别控制外骨骼左转、右转、前进和停止。使用前，患者先根据屏幕上的提示分别想象左手握球，右手握球，双脚抓地，静息状态，每种状态各10次，总计共40次实验。该步骤通常只耗时3-5分钟。之后，上位计算机将采集到的带标签的脑电数据以mat格式打包发送到云端服务器10。
[0083]
在云端服务器10上，新用户的数据与已有数据共同执行模型更新的过程，80％的带标签数据作为训练集，20％的带标签数据作为验证集。每轮训练从所有用户中随机选择数个用户作为混合源域，利用其训练数据训练得到混合源域的模型，之后将该模型的特征提取器参数输送到下一轮，作为下一轮模型特征提取器的初始化参数，同时每一轮的分类器都进行随机初始化。每轮得到的源域模型在对应受试者的验证集上进行验证，保留效果更好的模型参数。所有混合源域训练完成后，所有受试者都得到了更新后的新模型。
[0084]
之后再使用每个受试者的训练集数据对新模型进行微调(使用更小的学习率)。因为每个受试者所采集的数据量较小，整个迁移的训练流程耗时与传统方法中一个受试者采集数百次实验训练流程耗时相近，但是同样的时长可以更新所有已有受试者的模型，同时每个模型的分类精度远高于传统方法。
[0085]
本实施例中，模型结构通常可以采用较为成熟的模型，如deepconvnet和eegnet，这些模型在实验室环境下经过了许多研究人员的测试，对于运动想象脑机接口信号的分类识别有良好效果，同时迁移学习能够将这些模型的分类精度提高20％(四分类从60％左右到80％左右)，达到了现实应用的精度要求。
[0086]
本实施例中，模型训练过程的耗时与云端服务器10配置相关，在采用最新的商用服务器cpu与gpu情况下，10分钟以内即可完成所有受试者模型的更新。因此，每个患者第一次使用前的全部准备环节仅需耗时15分钟以内。云端服务器10会将更新完成的模型发送到所有患者的设备之上，已经使用过该设备的患者再次使用时不需要进行等待即可使用最新更新的模型，有效提高受试者模型的更新时间，并且源域受试者不再是人为选择的，而是系统自动在所有已有受试者中选择的与目标受试者匹配度最高的一部分受试者。这样得到的源域数据量更大，并且与目标受试者脑电数据相似度更高，有效提高每个模型的准确率。
[0087]
本实施例中，用户的上位计算机接收到云端服务器10发送的模型后，便可以开始使用外骨骼了。使用时，脑电采集设备20始终保持工作，并将采集到的信号每2s作为一个样本进行预处理，并发送到模型中进行识别。患者可以根据自身需要想象不同身体部位的运动。例如，患者需要前进时，想象双腿运动，脑电采集设备20识别的当前运动状态就会由静息状态转变为前进，接收到前进信号的外骨骼设备就会保持前进运动，直到患者停止想象双脚运动恢复静息状态，外骨骼设备就会停止前进。
[0088]
综上所述，本发明中，源域受试者不再是人为选择的，而是系统自动在所有已有受试者中选择的与目标受试者匹配度最高的一部分受试者。这样得到的源域数据量更大，并且与目标受试者脑电数据相似度更高，分类性能提升更大，提高运动想象脑机接口的分类性能；本发明中，每当数据集引入新的受试者时，对新的受试者进行训练时也可以将所有已训练好的受试者的模型进行更新，整个系统所有受试者的分类精度都会随着采集的受试者的增多而提高，实现运动想象脑机接口在现实中的部署，因此也解决了上述传统方法中难以在现实中应用的问题。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0089]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。