康复训练系统以及训练方法

1.本技术属于康复训练技术领域，具体涉及一种康复训练系统以及训练方法。


背景技术：

2.脑卒中俗称中风，脑卒中患者由于大脑神经中枢受损极易导致运动功能障碍，会给家庭和社会带来沉重负担，因此其术后康复显得尤为重要。运动想象脑机接口相比于传统被动康复方式，通过识别患者主动的运动想象脑电并将其转化为康复外设的控制指令，实现有大脑主动参与的“中枢-外周-中枢”闭环康复，是一种潜在的有效康复方法。
3.但是，脑卒中患者由于语言功能障碍、运动功能障碍、运动想象疲劳等很难一直保持良好的情绪状态，现有脑机接口康复训练系统无法识别干预脑卒中患者情绪状态。
4.因此，如何提供一种能够识别干预脑卒中患者情绪状态的康复训练系统以及训练方法成为本领域技术人员急需解决的问题。


技术实现要素：

5.因此，本技术要解决的技术问题在于提供一种融合情绪识别的康复训练系统以及训练方法，能够识别脑卒中患者情绪状态以及在情绪状态不佳时有效的干预。
6.为了解决上述问题，本技术提供一种康复训练系统，包括：
7.情绪处理装置，情绪处理装置能够调整测试者的情绪状态；
8.和情绪处理模块，情绪处理模块电连接情绪处理装置，情绪处理模块能够识别测试者的情绪状态；如果测试者的情绪状态不佳，则情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
9.进一步地，情绪处理装置包括视频播放装置，视频播放装置能够通过播放视频调整测试者的情绪状态。
10.进一步地，情绪处理模块包括er离线建模模块和er在线分类模块；er 离线建模模块能够通过测试者的脑电数据和事件标签生成测试者的情绪识别分类模型，er在线分类模块能够根据测试者的脑电数据和情绪识别分类模型识别测试者的情绪状态。
11.进一步地，当er在线分类模块识别出测试者的情绪状态不佳时，er在线分类模块控制视频播放装置播放调整视频，以调整测试者的情绪状态。
12.进一步地，康复训练系统还包括mi离线建模模块和mi在线分类模块；mi 离线建模模块通过测试者的脑电数据和事件标签生成测试者的运动想象分类模型，mi在线分类模块根据测试者的脑电数据和运动想象分类模型识别测试者的运动想象意图。
13.进一步地，康复训练系统还包括反馈装置，反馈装置与mi在线分类模块电连接，mi在线分类模块能够控制反馈装置对测试者进行触觉、视觉和听觉中至少一种的反馈。
14.进一步地，反馈装置包括电刺激反馈仪；电刺激反馈仪能够对测试者进行触觉反馈；
15.和/或，反馈装置包括ar眼镜，ar眼镜能够给予测试者视觉和听觉反馈， ar眼镜形
成视频播放装置。
16.进一步地，康复训练系统还包括脑电采集装置，情绪处理模块电连接脑电采集装置，脑电采集装置用于采集测试者在测试过程中产生的脑电信号；情绪处理模块能够根据脑电信号识别测试者的情绪状态。
17.进一步地，康复训练系统还包括脑电采集模块，脑电采集模块与脑电采集装置电连接；脑电采集模块与情绪处理模块电连接。
18.进一步地，当康复训练系统还包括反馈装置，反馈装置包括电刺激反馈仪，康复训练系统还包括mi在线建模模块时，电刺激反馈仪与mi在线分类模块通过串口协议通信；
19.和/或，当康复训练系统还包括反馈装置，反馈装置包括ar眼镜，康复训练系统还包括mi在线建模模块和和er在线分类模块时，ar眼镜与mi在线分类模块和所er在线分类模块均通过tcp协议通信。
20.本技术还公开了一种如上述的康复训练系统的训练方法，其特征在于，包括如下步骤：
21.情绪处理模块识别所述测试者的情绪状态；
22.如果所述测试者的情绪状态不佳，则暂停训练，且所述情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
23.进一步地，训练方法还包括如下步骤：
24.步骤s1:进行离线训练：通过情绪视频分别诱发患者的中性情绪和积极情绪，并引导患者进行运动想象任务；
25.步骤s2:当所述康复训练系统还包括mi离线建模模块和mi在线分类模块时，所述mi离线建模模块进行训练建模，为所述mi在线分类模块提供模型；
26.步骤s3:当所述康复训练系统还包括er离线建模模块和在线分类模块时，所述er离线建模模块进行训练建模，为所述er在线分类模块提供模型；
27.步骤s4:进行在线训练：系统引导患者进行运动想象任务，所述mi在线分类模块识别患者运动想象意图，所述er在线分类模块识别患者情绪状态；
28.步骤s5:系统将运动想象意图其转化为ar眼镜、电刺激反馈仪的控制指令， ar眼镜给予患者视觉和听觉反馈，电刺激反馈仪给予触觉反馈。
29.进一步地，步骤s1，进行离线训练包括如下步骤：
30.s11:设置离线训练任务量，开启脑电数据保存；
31.s12:根据训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
32.s13:播放情绪视频，分别诱发患者中性情绪和积极情绪；
33.s14:查询实验序列表，获取当前训练任务类型，相应地开启运动想象引导画面，同时向脑电数据中添加事件标签；
34.s15:患者根据引导画面，进行运动想象任务，然后是短暂休息；
35.s16:判断实验序列表上的任务是否为空，如果序列表不为空，返回s14开始新的运动想象任务；
36.s17:判断是否所有离线训练任务量结束，没结束则返回s12开始新一轮任务，直到离线任务全部结束，然后关闭脑电数据保存；
37.和/或，步骤s2中，当所述康复训练系统还包括mi离线建模模块和mi在线分类模块时，所述mi离线建模模块进行训练建模，为所述mi在线分类模块提供模型包括如下步骤：
38.s21：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
39.s22：遍历运动想象时间窗，以准确率为依据寻找患者最佳运动想象时间窗；
40.s23：滤波器组将预处理后的脑电信号分解为多个频带的信号；
41.s24：采用共空间模式算法提取多个频带上的空域特征；
42.s25：再采用特征选择方法，选择出与运动想象相关性最高的特征；
43.s26：若是离线建模，则用提取出的特征和运动想象标签进行训练建模，生成模型；
44.s27：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的运动想象意图。
45.和/或，步骤s3中，当所述康复训练系统还包括er离线建模模块和在线分类模块时，所述er离线建模模块进行训练建模，为所述er在线分类模块提供模型；包括如下步骤：
46.s31：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
47.s32：采用离散短时傅里叶变换将时域上的脑电信号映射到频域上，以准确率为依据寻找患者最佳情绪识别频带；
48.s33：提取最佳情绪识别频带上的微分熵特征；
49.s34：采用特征平滑算法平滑特征；
50.s35：采用特征选择算法选择出与情绪相关性最高的特征；
51.s36：若是离线建模，则用提取出的特征和情绪标签进行训练建模，生成模型；
52.s37：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的情绪状态。
53.和/或，步骤s4中，进行在线训练包括如下步骤：
54.s41：设置在线训练任务量，开启脑电数据保存；
55.s42：根据在线训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
56.s43：查询实验序列表，得到当前的康复任务类型，相应地开启引导画面，并发送标签信息；
57.s44：患者根据引导画面，进行运动想象任务，然后是短暂休息；
58.s45：系统根据标签位置截取脑电数据，调用算法识别运动想象意图和情绪状态；
59.s46：将识别结果和任务类型对比，若运动想象正确则进行视、听、触多反馈的康复训练，若情绪不佳则通过积极视频调控；
60.s47：判断是否所有在线训练任务量结束，没结束则返回步骤s43开始新一轮任务，直到在线任务全部结束。
61.本技术提供的康复训练系统以及训练方法，本技术能够识别干预脑卒中患者情绪状态，可以实时监测患者情绪状态并及时进行对消极情绪干预，有望提升患者的训练积极性，改善康复效果。
附图说明
62.图1为本技术康复训练系统的结构示意图；
63.图2为本技术离线训练运行流程图；
64.图3为本技术运动想象解码算法流程图；
65.图4为本技术情绪识别解码算法流程图；
66.图5为本技术在线训练运行流程图；
67.图6为本技术康复训练系统界面。
具体实施方式
68.结合参见图1-5所示，一种康复训练系统，包括情绪处理装置和情绪处理模块，情绪处理装置能够调整测试者的情绪状态；情绪处理模块电连接情绪处理装置，情绪处理模块能够识别测试者的情绪状态；如果测试者的情绪状态不佳则情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
69.本技术能够实时监测患者情绪状态并及时进行干预，有望提升患者的训练积极性，改善康复效果。本技术为融合情绪识别的mi-bci康复训练系统及方法。本技术工作基本原理是：采集并解码患者进行运动想象时产生的脑电信号，并将其转化为康复外设的控制指令，通过视、听、触多反馈实现大脑主动参与的闭环康复，促进大脑中枢神经重塑。同时通过患者的脑电信号进行情绪识别，若情绪不佳，则暂停训练并采用积极情绪视频进行调控，提高训练积极性后再恢复训练，改善康复治疗效果。
70.本技术还公开了一些实施例，情绪处理装置包括视频播放装置，视频播放装置能够通过播放视频调整测试者的情绪状态。通过情绪视频调整测试者的情绪状态，使其的情绪更积极。
71.本技术还公开了一些实施例，情绪处理模块包括er离线建模模块和er在线分类模块；er离线建模模块能够通过测试者的脑电数据和事件标签生成测试者的情绪识别分类模型，er在线分类模块能够根据测试者的脑电数据和情绪识别分类模型识别测试者的情绪状态。
72.本技术还公开了一些实施例，当er在线分类模块识别出测试者的情绪状态不佳时，er在线分类模块控制视频播放装置播放调整视频，以调整测试者的情绪状态。
73.本技术还公开了一些实施例，康复训练系统还包括mi离线建模模块和mi 在线分类模块；mi离线建模模块通过测试者的脑电数据和事件标签生成测试者的运动想象分类模型，mi在线分类模块根据测试者的脑电数据和运动想象分类模型识别测试者的运动想象意图。
74.本技术还公开了一些实施例，康复训练系统还包括反馈装置，反馈装置与 mi在线分类模块电连接，mi在线分类模块能够控制反馈装置对测试者进行触觉、视觉和听觉中至少一种的反馈。
75.本技术还公开了一些实施例，反馈装置包括电刺激反馈仪；电刺激反馈仪能够对测试者进行触觉反馈；
76.和/或，反馈装置包括ar眼镜，ar眼镜能够给予测试者视觉和听觉反馈， ar眼镜形成视频播放装置。
77.本技术还公开了一些实施例，康复训练系统还包括脑电采集装置，情绪处理模块电连接脑电采集装置，脑电采集装置用于采集测试者在测试过程中产生的脑电信号；情绪
处理模块能够根据脑电信号识别测试者的情绪状态。本技术可实现自适应脑电解码，寻找最优运动想象时间窗以及最优情绪识别频带，提升运动想象和情绪识别的分类准确率。本系统将运动想象与情绪识别算法在应用系统上集成，实现大脑主动参与的康复训练的同时，还能降低消极情绪对康复的影响，提升患者训练积极性，改善康复效果。
78.本技术还公开了一些实施例，康复训练系统还包括脑电采集模块，脑电采集模块与脑电采集装置电连接；脑电采集模块与情绪处理模块电连接。
79.本技术还公开了一些实施例，当康复训练系统还包括反馈装置，反馈装置包括电刺激反馈仪，康复训练系统还包括mi在线建模模块时，电刺激反馈仪与mi在线分类模块通过串口协议通信；
80.和/或，当康复训练系统还包括反馈装置，反馈装置包括ar眼镜，康复训练系统还包括mi在线建模模块和er在线分类模块时，ar眼镜与mi在线分类模块和所er在线分类模块均通过tcp协议通信。
81.本技术还公开了一些实施例，一种如上述的康复训练系统的训练方法，包括如下步骤：
82.情绪处理模块识别测试者的情绪状态；
83.如果测试者的情绪状态不佳，则暂停训练，且情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
84.本技术还公开了一些实施例，训练方法还包括如下步骤：
85.步骤s1:进行离线训练：通过情绪视频分别诱发患者的中性情绪和积极情绪，并引导患者进行运动想象任务；
86.步骤s2:当康复训练系统还包括mi离线建模模块和mi在线分类模块时， mi离线建模模块进行训练建模，为mi在线分类模块提供模型；
87.步骤s3:当康复训练系统还包括er离线建模模块和在线分类模块时，er 离线建模模块进行训练建模，为er在线分类模块提供模型；
88.步骤s4:进行在线训练：系统引导患者进行运动想象任务，mi在线分类模块识别患者运动想象意图，er在线分类模块识别患者情绪状态；
89.步骤s5:系统将运动想象意图其转化为ar眼镜、电刺激反馈仪的控制指令， ar眼镜给予患者视觉和听觉反馈，电刺激反馈仪给予触觉反馈。
90.本技术还公开了一些实施例，步骤s1，进行离线训练包括如下步骤：
91.s11:设置离线训练任务量，开启脑电数据保存；
92.s12:根据训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
93.s13:播放情绪视频，分别诱发患者中性情绪和积极情绪；
94.s14:查询实验序列表，获取当前训练任务类型，相应地开启运动想象引导画面，同时向脑电数据中添加事件标签；
95.s15:患者根据引导画面，进行运动想象任务，然后是短暂休息；
96.s16:判断实验序列表上的任务是否为空，如果序列表不为空，返回s14开始新的运动想象任务；
97.s17:判断是否所有离线训练任务量结束，没结束则返回s12开始新一轮任务，直到
离线任务全部结束，然后关闭脑电数据保存；
98.和/或，步骤s2中，当康复训练系统还包括mi离线建模模块和mi在线分类模块时，mi离线建模模块进行训练建模，为mi在线分类模块提供模型包括如下步骤：
99.s21：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
100.s22：遍历运动想象时间窗，以准确率为依据寻找患者最佳运动想象时间窗；
101.s23：滤波器组将预处理后的脑电信号分解为多个频带的信号；
102.s24：采用共空间模式算法提取多个频带上的空域特征；
103.s25：再采用特征选择方法，选择出与运动想象相关性最高的特征；
104.s26：若是离线建模，则用提取出的特征和运动想象标签进行训练建模，生成模型；
105.s27：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的运动想象意图。
106.和/或，步骤s3中，当康复训练系统还包括er离线建模模块和在线分类模块时，er离线建模模块进行训练建模，为er在线分类模块提供模型；包括如下步骤：
107.s31：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
108.s32：采用离散短时傅里叶变换将时域上的脑电信号映射到频域上，以准确率为依据寻找患者最佳情绪识别频带；
109.s33：提取最佳情绪识别频带上的微分熵特征；
110.s34：采用特征平滑算法平滑特征；
111.s35：采用特征选择算法选择出与情绪相关性最高的特征；
112.s36：若是离线建模，则用提取出的特征和情绪标签进行训练建模，生成模型；
113.s37：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的情绪状态。
114.和/或，步骤s4中，进行在线训练包括如下步骤：
115.s41：设置在线训练任务量，开启脑电数据保存；
116.s42：根据在线训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
117.s43：查询实验序列表，得到当前的康复任务类型，相应地开启引导画面，并发送标签信息；
118.s44：患者根据引导画面，进行运动想象任务，然后是短暂休息；
119.s45：系统根据标签位置截取脑电数据，调用算法识别运动想象意图和情绪状态；
120.s46：将识别结果和任务类型对比，若运动想象正确则进行视、听、触多反馈的康复训练，若情绪不佳则通过积极视频调控；
121.s47：判断是否所有在线训练任务量结束，没结束则返回步骤s43开始新一轮任务，直到在线任务全部结束。
122.本技术康复训练系统，包括康复训练硬件和康复训练软件：所述康复训练硬件包括脑电采集设备、电刺激反馈仪、ar眼镜；所述康复训练软件包括数据采集模块、mi离线建模模块、mi在线分类模块、er离线建模模块、er在线分类模块。所述与数据采集模块通过tcp协议通信，所述电刺激反馈仪与mi在线分类模块通过串口协议通信，所述ar眼镜与mi在线分类模块和er在线分类模块通过tcp协议通信。
123.脑电采集设备用于采集患者脑电信号，并发送至数据采集模块，为mi离线建模模块、mi在线分类模块、er离线建模模块、er在线分类模块提供脑电数据；mi离线建模模块通过脑电数据和事件标签生成患者个性化的运动想象分类模型，所述mi在线分类模块根据脑电数据和该分类模型识别患者运动想象意图；mi在线分类模块会将患者运动想象意图转化为所述电刺激反馈仪和ar 眼镜的控制指令，电刺激反馈仪给予患者触觉反馈，ar眼镜给予患者视觉和听觉反馈；er离线建模模块通过脑电数据和事件标签生成患者个性化的情绪识别分类模型，er在线分类模块根据脑电数据和该分类模型识别患者情绪状态；er 在线分类模块会在患者情绪状态不佳时，通过ar眼镜播放积极视频对患者进行情绪调控，提高训练积极性。
124.融合情绪识别的mi-bci康复训练方法，采用本发明融合情绪识别的 mi-bci康复训练系统进行操作，步骤如下：
125.(1)医务人员帮助患者佩戴脑电采集设备、ar眼镜以及电刺激反馈仪；
126.(2)登记或者查询患者的个人信息，并连接脑电采集设备和电刺激反馈仪，以及选择ar场景；
127.(3)先进行离线训练：系统通过情绪视频分别诱发患者的中性情绪和积极情绪，并引导患者进行运动想象任务；
128.(4)mi离线建模模块进行训练建模，为mi在线分类模块提供模型；
129.(5)er离线建模模块进行训练建模，为er在线分类模块提供模型；
130.(6)再进行在线训练：系统引导患者进行运动想象任务，mi在线分类模块识别患者运动想象意图，er在线分类模块识别患者情绪状态；
131.(7)系统将运动想象意图其转化为ar眼镜、电刺激反馈仪的控制指令， ar眼镜给予患者视觉和听觉反馈，电刺激反馈仪给予触觉反馈；
132.(8)若患者情绪不佳则先暂停康复训练，通过积极视频调控情绪后再进行康复训练。
133.所述步骤(3)中系统离线训练内部运行的具体步骤如下：
134.(3-1)设置离线训练任务量，开启脑电数据保存；
135.(3-2)根据训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
136.(3-3)播放情绪视频，分别诱发患者中性情绪和积极情绪；
137.(3-4)查询实验序列表，获取当前训练任务类型，相应地开启运动想象引导画面，同时向脑电数据中添加事件标签；
138.(3-5)患者根据引导画面，进行运动想象任务，然后是短暂休息；
139.(3-6)判断实验序列表上的任务是否为空，如果序列表不为空，返回(3-4) 开始新的运动想象任务；
140.(3-7)判断是否所有离线训练任务量结束，没结束则返回(3-2)开始新一轮任务，直到离线任务全部结束，然后关闭脑电数据保存。
141.所述步骤(4)中mi离线建模模块和mi在线分类模块具体步骤如下：
142.(4-1)将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
143.(4-2)遍历运动想象时间窗，以准确率为依据寻找患者最佳运动想象时间窗；
144.(4-3)滤波器组将预处理后的脑电信号分解为多个频带的信号；
145.(4-4)采用共空间模式算法提取多个频带上的空域特征；
146.(4-5)再采用特征选择方法，选择出与运动想象相关性最高的特征；
147.(4-6)若是离线建模，则用提取出的特征和运动想象标签进行训练建模，生成模型；
148.(4-7)若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的运动想象意图。
149.所述步骤(5)中er离线建模模块和er在线分类模块具体步骤如下：
150.(5-1)将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
151.(5-2)采用离散短时傅里叶变换将时域上的脑电信号映射到频域上，以准确率为依据寻找患者最佳情绪识别频带；
152.(5-3)提取最佳情绪识别频带上的微分熵特征；
153.(5-4)采用特征平滑算法平滑特征；
154.(5-5)采用特征选择算法选择出与情绪相关性最高的特征；
155.(5-6)若是离线建模，则用提取出的特征和情绪标签进行训练建模，生成模型；
156.(5-7)若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的情绪状态。
157.所述步骤(6)中系统在线训练内部运行的具体步骤如下：
158.(6-1)设置在线训练任务量，开启脑电数据保存；
159.(6-2)根据在线训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
160.(6-3)查询实验序列表，得到当前的康复任务类型，相应地开启引导画面，并发送标签信息；
161.(6-4)患者根据引导画面，进行运动想象任务，然后是短暂休息；
162.(6-5)系统根据标签位置截取脑电数据，调用算法识别运动想象意图和情绪状态；
163.(6-6)将识别结果和任务类型对比，若运动想象正确则进行视、听、触多反馈的康复训练，若情绪不佳则通过积极视频调控；
164.(6-7)判断是否所有在线训练任务量结束，没结束则返回(6-3)开始新一轮任务，直到在线任务全部结束。
165.本领域的技术人员容易理解的是，在不冲突的前提下，上述各有利方式可以自由地组合、叠加。
166.以上仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本技术的保护范围。