基于40通道脑电采集设备的脑控智能肢体运动训练系统

本发明涉及一种智能肢体运动训练系统。特别是涉及基于40通道脑电采集设备的脑控智能肢体运动训练系统。

背景技术：

1、脑卒中是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一种常见的脑血液循环障碍性疾病。该病不仅会对患者的运动神经通路造成损害，还会进一步导致人体运动功能障碍，使其致残率、致死率在世界范围内居高不下。多数脑卒中患者会遗留不同程度的残疾，无法自理，给患者、亲属和社会带来了沉重的负担。尽管有效的康复训练能够加速神经功能的恢复、减轻残疾的程度，给患者带来一定的便利，但对于脑卒中后重度肢体功能障碍，尤其是上肢运动功能严重受损的患者来说，目前还没有一种行之有效的康复方法。在此背景下，运动想象疗法逐渐受到关注。它不仅操作简单、易行，还能够充分调动患者的主动性和积极性。基于运动想象的脑-机接口系统(braincomputer interface,bci)在康复过程中扮演着重要的角色。它能够部分激活受损的运动传导通路，将患者的运动意图转化为指令来控制康复装置进行相应的动作，从而帮助患者完成主动康复训练。但是，要想提高运动想象信号分类的准确率并增强脑卒中康复的效果，仍然面临着许多困难，这是由于脑电信号具有高维非线性、非平稳性和个体差异性等诸多问题，准确且全面地提取运动想象信号特征仍然是一个巨大的挑战。

2、为解决实际应用场景中被试个体差异所引起的系统性能下降，迁移学习被引入并大范围应用，其核心思想是从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。领域自适应(domain adaptation,da)是一种迁移学习的方法，其目的是把分布不同的源域和目标域的数据，映射到一个特征空间中，使其在该空间中的距离尽可能近，即在特征空间中对源域训练的目标函数，就可以迁移到目标域上，提高目标域上的准确率。

3、在获取包括脑电信号在内的高维数据全局的几何特征时，传统的数据分析一般会失败，其原因在于空间本质上是全局线性的，而数据本身往往呈现出强非线性特征，因此可以借助流形(manifold)，在欧氏空间中嵌入非欧式低维流形。从几何的角度来看，流形本质上反映了全局与局部属性的区别和联系。流形是一般的几何对象的总称，包括各种维数的曲线曲面等。和一般的降维分析一样，流形学习把一组高维空间中的数据在低维空间中重新表示；和以往方法不同的是，在流形学习中有一个假设，就是所处理的数据采样于一个潜在的流形上，或是说对于这组数据存在一个潜在的流形。对于不同的方法，对于流形性质的要求各不相同。

4、以流形为基础的流形学习是一种强大的数据分析方法，可以用于处理高维数据，并寻找其潜在的低维结构。这种方法在机器学习和数据挖掘等领域得到了广泛的应用。在流形学习中，一个重要的概念是“局部线性嵌入”(locally linear embedding,lle)。这种方法假设数据点在局部范围内可以通过线性子空间进行表示，从而将高维数据嵌入到低维空间中。通过这种方式，可以更好地揭示数据的内在结构，并对其进行分类或聚类等操作。另一种常见流形学习方法是“等距映射”(isometric mapping,isomap)。这种方法通过保持数据的全局结构来将高维数据映射到低维空间中。它通过考虑数据点之间的距离来保留数据的拓扑结构，从而得到更加准确的结果。此外，还有许多其他的流形学习方法，如“拉普拉斯特征映射”(laplacian eigenmaps)和“随机游走”(random walks)等。这些方法都有各自的特点和优势，可以根据不同的应用场景选择合适的方法。总之，流形学习作为一种非常有用的工具，可以用于处理高维数据并揭示其内在结构，通过使用不同的流形学习方法，可以获得更加准确和有用的结果，从而更好地理解数据并解决实际问题。

技术实现思路

1、本发明所要解决的技术问题是针对脑电信号高维、非线性的特性以及受试者个体差异对系统性能的影响，提出基于流形的跨被试多尺度脑电解码模型(mamsm)，通过流形分析提高特征提取的效果并实现领域自适应，进而提高解码效果。本发明的目的在于实现基于40通道脑电采集设备的脑控智能肢体运动训练系统，该系统能够通过非侵入式脑电信号采集设备实时获取用户的脑电信号，并依据基于流形的跨被试多尺度脑电解码模型(mamsm)对信号进行分析和处理，从而结合硬件系统实现对肢体运动的有效控制和指导。

2、本发明所采用的技术方案是基于40通道脑电采集设备的脑控智能肢体运动训练系统，被试者通过观看需训练肢体动作视频进行运动想象，同时脑电信号采集设备采集被试者的运动想象eeg脑电信号；对获得的运动想象eeg脑电信号进行预处理；通过特征处理与识别模块构建协方差矩阵，通过正则化使得训练域与目标域对齐，具体为基于流形的跨被试多尺度脑电解码模型(mamsm)；通过分类器实现训练肢体运动想象eeg脑电信号的有效分类与辨识，将分类结果传输到肢体功能性电刺激设备，脑控智能康复系统基于所述运动意图协助被试者进行肢体运动训练。

3、所述的脑控智能肢体训练系统包括：脑电采集设备、与所述特征处理与识别模块相连的主控制器、与所述主控制器相连的肢体功能性电刺激设备。

4、所述脑电采集设备主要包含三个相互关联的不同组成部分：上位机、受试者以及中间的采集模块。采集模块包括：虚拟串口通讯模块、数字电源模块、stm32h743iit6主控模块、spi隔离模块、电源隔离模块、ads1299采集模块、模拟电源模块、采集前端与右腿驱动模块以及脑电极帽。其中虚拟串口通讯模块、数字电源模块与stm32h743iit6主控模块属于数字模块。ads1299采集模块、模拟电源模块、采集前端与右腿驱动模块以及脑电极帽属于模拟模块。脑电极帽根据10-20国际标准导联分布采集fp1，fp2，af7，af3，afz，af4，af8，f7，f3，fz，f4，f8，ft7，fc3，fcz，fc4，ft8，t7，c3，cz，c4，t8，tp7，cp3，cpz，cp4，tp8，p7，p3，pz，p4，p8，po7，po3，poz，po4，po8，o1，oz，o2，‘t9’，‘t10’四十个电极的脑电信号。其中‘t9’，‘t10’分别代表位于左耳后乳突的参考电极和右耳后乳突的右腿驱动电极。

5、所述脑电采集设备所有模块的具体工作流程如下：首先，上位机运行相应的实验程序，对受试者进行相应范式的eeg诱发。受试者产生的eeg信号被脑电极帽采集，经过采集前端与右腿驱动模块处理后以模拟信号的形式进入ads1299采集模块。ads1299采集模块将模拟信号转换为相应的数字信号，携带相应的设置字符串发送给stm32h743iit6主控模块。stm32h743iit6主控模块对数字信号进行排序与裁剪后，将处理后的数据通过虚拟串口模块发送给上位机。整个采集模块由上位机进行供电。需要注意的是，数字模块与模拟模块之间通过spi隔离模块与电源隔离模块对信号通讯与电源传输进行隔离，防止数字模块的噪声对模拟信号采集造成影响。

6、所述肢体功能性电刺激设备包括供电系统、无线通信模块、神经肌肉电刺激模块。供电系统由4节标准电压为3.7v的18650锂电池进行供电，主要分为3部分：电源隔离模块、系统供电模块、电刺激信号源供电模块；无线通信模块选择sy-bk003，该模块主控采用bk3431q，通信方式为ble4.2，与主控制器之间采用uart连接，支持串口透传；神经肌肉电刺激模组负责实现神经肌肉电刺激的信号升压与波形整流，模块共包括boost升压电路、h桥式驱动电路、电极脱落检测电路。

7、所述的特征处理与识别模块具体包括如下步骤：对运动想象eeg脑电信号进行预处理，具体为通过五阶巴特沃斯带通滤波器对原始脑电信号进行带通滤波，下限频率是1hz，上限频率是42hz，同时降采样至250hz；在特征提取阶段，基于流形的跨被试多尺度脑电解码模型(mamsm)首先利用多尺度并行卷积模块，提取不同感觉场尺度的特征，增强cnn中的特征表示能力，其次将协方差特征嵌入用于对eeg信号特征的spd流形建模，并用作领域自适应操作输入；脑电图信号的短时段被视为试验或样本。

8、多尺度并行卷积模块实现局部特征提取，多个卷积模块并行拼接，以增加网络中的特征感知场。并行卷积作为一种重要的多尺度特征提取结构，有利于提取不同特征域中的多种互补信息。多尺度卷积处理流程包括1×1卷积层，3×3卷积层，5×5个卷积层，以及一个最大池化层，不同的分支包含一个固定大小的卷积核。根据卷积核的大小填充，以保证不同尺度卷积后的特征大小一致性。模块的输出包含由多个卷积内核提取的综合特征，并将此信息传递到后续阶段。

9、流形转换过程具体如下：

10、原始spd流形空间中的spd矩阵通过对数欧几里得度量(lem)映射到对数空间：

11、logp1：p1∈p(n)→tp∈s(n)

12、其中，spd矩阵空间p(n)是可微流形。

13、两个spd矩阵p1、p2之间的测地线距离为：

14、δlem(p1,p2)＝||logp1(p2)||p1＝||log(p2)-log(p1)||f

15、其中，||·||f是与lem相关的frobenius范数。

16、黎曼距离用于定义一组spd矩阵的几何平均值θ(p1,p2,...,pn)。它被定义为最小化以下度量色散的点：

17、

18、经流形转换后，特征提取阶段的嵌入被转化为spd流形，数据特征从欧几里得空间映射到spd流形；将嵌入划分为多个从而得到一系列spd数据形式的包含时间信息的协方差矩阵；在得到一些数据点后，进行归一化，并在每个主对角元素上添加一个微小量最后在spd序列上加上一个小的单位矩阵来保证他们是正定的spd矩阵。

19、应用lem度量下的相似性仿射不变性将来自不同领域的数据对齐，使来自不同被试者的数据具有可比性。由于黎曼距离的全等不变性，只要同一主体的点间距离不变，新数据集变换后的黎曼均值可以视为单位矩阵。单位矩阵充当spd流形的原点。

20、定义m1和m2分别是源域和目标域的黎曼均值。ω和ψ是源域和目标域的协方差矩阵分别位于其中的spd流形。然后，

21、

22、

23、在分类器模块，采用线性空间对应的规范的非线性/流行空间分类器进行分类，将损失定为模型输出与真实值的交叉熵损失。根据分类器输出结果，经主控制器与肌电信号采集和多通道电刺激输出模块对训练者欲训练动作进行外部刺激，以实现相关部位的恢复训练。