基于EEG与EMG同步的语音刺激反馈康复系统和方法与流程

基于eeg与emg同步的语音刺激反馈康复系统和方法
技术领域
1.本发明属于语言康复训练技术领域，尤其涉及一种基于eeg与emg同步的语音刺激反馈康复系统和方法。


背景技术：

2.对构音障碍的治疗方法可视为语言康复训练的一种。一般来说语言康复训练是针对异常的言语表现进行治疗，遵循由易到难的原则，循序渐进。按评定结果分析与言语产生的关系，选择治疗顺序为：呼吸
→
喉
→
腭和腭咽区
→
舌体
→
舌尖
→
唇
→
下颌。其中构音障碍往往与发声肌肉无力、肌张力低有关，因此首先应增强发声相关肌肉肌力，以往多采用发声相关肌肉电刺激，如喉外肌群电刺激等。
3.随着生物电信号技术的不断成熟，其相关技术已经逐渐运用到康复治疗领域，使用脑电eeg、肌电emg作为辅助手段，提高了康复的精细化反馈。但如今脑肌电在康复治疗领域仍存在一些不足，如仅将脑肌电作为输入系统，其将重心放在了对康复状态的评估，或者只使用了肌电进行控制模式的细化却未使用脑电，使其失去了精准的时间同步性。


技术实现要素：

4.本发明要解决的技术问题是，提供一种基于eeg与emg同步的语音刺激反馈康复系统和方法，实现脑电肌电的高精度，高同步性刺激反馈治疗，有效提高对于构音障碍的治疗效果。
5.为实现上述目的，本发明采用如下的技术方案：
6.一种基于eeg与emg同步的语音刺激反馈康复系统，包括：头皮脑电(eeg)采集子系统、表面肌电(emg)采集子系统、脑肌电同步系统、信号模式提取子系统，刺激反馈子系统、提示系统；其中，
7.对于无构音障碍人群，在所述提示系统指示下，通过所述eeg采集子系统与emg采集子系统同步采集其执行提示任务的生物电信号，所述脑肌电同步系统通过向eeg采集子系统与emg采集子系统发送trigger进行信号精准同步，信号同步采集后经由所述信号模式提取子系统得到所述指示任务的通用性脑肌电同步模型；
8.对于患者，在所述提示系统指示下进行运动想象训练，同步采集其脑肌电数据，并输入至所述信号模式提取子系统，将此运动想象产生的脑肌电数据与通用性脑肌电同步模型进行匹配，所述刺激反馈系统实时接收到在所述信号模式提取子系统中处理过的同步脑肌电信号并进行相应的刺激反馈治疗。
9.作为优选，通过滑窗策略对实时采集到的脑肌电信号和相关运动模式信号进行匹配，当脑肌电信号和已有运动模式信号的匹配度超过设定的阈值时，则认定此构音障碍患者开始此运动想象训练。
10.作为优选，所述头皮脑电采集子系统和表面肌电采集子系统分别获取患者对发音想象的eeg和emg信号，经过所述脑肌电同步系统，在所述信号模式提取子系统中通过对其
发音时训练动作的信号进行处理，并与当前相关的喉部运动的运动模型进行匹配，构成对喉部肌肉的刺激计划以用于患部；在患者进行运动想象的过程中，喉部在电刺激的作用下，进行发音相关运动，其引起的感知觉神经反馈将反馈至中枢神经系统，进而促进神经组织代偿修复。
11.作为优选，所述头皮脑电采集子系统和表面肌电采集子系统分别获取患者面部咀嚼与发音“ya”时对应的eeg和emg信号，经过脑肌电同步，在所述信号模式提取子系统通过对其面、腮部训练动作的信号进行处理，并与当前运动模型匹配，构成指定的刺激计划以用于患部；在患者运动想象进行过程中，患部在电刺激的作用下，将进行提高相关运动，其引起的感知觉神经反馈将反馈至中枢神经系统，进而促进神经组织代偿修复。
12.作为优选，所述头皮脑电(eeg)采集子系统、表面肌电(emg)采集子系统、脑肌电同步系统、信号模式提取子系统、刺激反馈系统、提示系统之间通过以kafka消息队列为代表的消息中间键进行连接通信。
13.本发明还提供一种基于eeg与emg同步的语音刺激反馈康复方法，包括以下步骤：
14.步骤s1、模型训练模式：对于无构音障碍人群，在提示系统指示下，通过eeg采集子系统与emg采集子系统同步采集其执行提示任务的生物电信号，脑肌电同步系统通过向eeg采集子系统与emg采集子系统发送trigger进行信号精准同步，信号同步采集后经由信号模式提取子系统得到该指示任务的通用性脑肌电同步模型；
15.步骤s2、康复训练模式：对于患者，在提示系统指示下进行运动想象训练，同步采集其脑肌电数据，并输入至信号模式提取子系统，将此运动想象产生的脑肌电数据与通用性脑肌电同步模型进行匹配，刺激反馈系统实时接收到在所述信号模式提取子系统中处理过的同步脑肌电信号并进行相应的刺激反馈治疗。
16.作为优选，通过滑窗策略对实时采集到的脑肌电信号和相关运动模式信号进行匹配，当脑肌电信号和已有运动模式信号的匹配度超过设定的阈值时，则认定此构音障碍患者开始此运动想象训练。
17.作为优选，所述头皮脑电(eeg)采集子系统、表面肌电(emg)采集子系统、脑肌电同步系统、信号模式提取子系统、刺激反馈系统、提示系统之间通过以kafka消息队列为代表的消息中间键进行连接通信。
18.本发明语音刺激反馈康复系统与方法，其主要应用于医疗康复领域。本发明有效提高了运动想象与刺激反馈方法结合的精度和同步性，解决了其结合的低精度和低同步性的问题，具有更好的康复效果。
附图说明
19.图1为本发明实施例基于eeg与emg同步的语音刺激反馈康复系统的结构示意图；
20.图2为fbcsp算法流程图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
22.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
23.实施例1：
24.如图1所示，本发明实施例提供一种基于eeg与emg同步的语音刺激反馈康复系统包括：头皮脑电(eeg)采集子系统、表面肌电(emg)采集子系统、脑肌电同步系统、信号模式提取子系统、刺激反馈系统、提示系统。其中
25.模式训练模式：对无构音障碍人群，提示系统显示其需执行的运动模式，被试者在辅助实验人员的帮助下，学习并确定动作执行标准合格。达到动作标准后，对其进行脑肌电数据采集。此时脑肌电同步系统对头皮脑电(eeg)采集子系统和表面肌电(emg)采集子系统周期性地发送用于同步的trigger信号。头皮脑电(eeg)采集子系统和表面肌电(emg)采集子系统实时采集头皮脑电和表面肌电信号，并将信号发送至信号模式提取子系统，其在来自提示系统发送的当前运动模式下，对得到的相关信号预处理并迭代学习，从而得到该运动模式的相应模型。
26.康复训练模式：对构音障碍患者，提示系统为其显示需要完成的运动模式。在训练开始前对头皮脑电信号和表面肌电信号进行采集，并把采集到的信号同步发送至信号模式提取子系统。其通过滑窗策略对实时采集到的脑肌电信号和相关运动模式信号进行匹配，当脑肌电信号和已有的运动模式信号的匹配度超过设定的阈值时，则认定此构音障碍患者开始此运动想象任务。刺激反馈系统实时接收到在信号模式提取子系统中处理过的同步脑肌电信号并进行相应的刺激反馈，以保障刺激治疗和患者运动想象的同步性。同时，提示系统在屏幕上显示该患者的运动想象与已有的标准运动模型之间的相似度，从而提升患者的注意力和主动性，进而使其更好的完成运动想象过程，提高运动想象任务的精确性。
27.作为本发明实施例的一种实施方式，提示系统是训练及康复时向被试者传输要求运动模式的显示系统，起指示被试者调整纠正运动模式的功能。其发送目前训练动作至信号模式提示子系统，并实时显示运动想象标准型评分，以辅助患者纠正其运动想象模式。提示系统通过两个子程序分别完成提示与通信两个功能，其硬件主要分为显示器与计算机主机两部分。提示子程序对被试者进行提示和引导，通过文字和视频两种方式把设定的运动模式显示在屏幕上，并将当前被试者运动想象情况与标准模型的匹配度的评分进行显示，以此为被试者提供调控运动想象方式和其注意力的方式。通信子程序将目前运动模式发送给信号模式提取子系统。若在康复模式下，其会接收信号模式提取子系统反馈回的构音障碍患者运动想象和标准模型间匹配度。
28.作为本发明实施例的一种实施方式，头皮脑电采集子系统对被试者脑电信号进行采集，并接收脑肌电同步系统发来的trigger，将trigger和采集到的信号同步输入进信号模式提取子系统。头皮脑电采集子系统主要功能为通过64导脑电帽对于被试者的eeg信号进行以1000hz为代表的高精度信号采样。因其和表面肌电采集系统都具有高采集频率、高精度的时间同步性的特点，故通过信号同步子模块与其通信的方法对时间进行同步。采集子系统接收信号同步系统发来的trigger，其作为时间标志物，通过其同步信号中的本地时间戳与采集子系统采集到的本地时间戳进行时间戳的对照，使得采集到的肌电和脑电信号的同步性和精确性得到保障。
29.作为本发明实施例的一种实施方式，表面肌电采集子系统，对被试者构音系统的肌电信号进行采集，并接收脑肌电同步系统发来的trigger，将trigger和采集到的信号同步输入进信号模式提取系统。表面肌电(emg)采集子系统：通过多导电极，其主要采集被试者构音系统中高精度的肌电信号。和头皮脑电采集子系统相同，其也记录和同步子模块间的通信时间，通过接收信号同步系统发来的trigger与其本地的时间戳进行对照，从而使其的同步和精确性有所保障。
30.作为本发明实施例的一种实施方式，脑肌电同步系统将时间同步信号trigger发送给头皮脑电采集子系统和表面肌电采集子系统，从而使其具有同步性。脑肌电同步系统通过向头皮脑电采集系统和表面肌电采集系统发送用作时间同步的trigger，使脑电采集系统和肌电采集系统有一套相对应的时间刻度，通过在这两个系统中使用这套时间刻度同步拼接，使这两套系统信号的时间达到高精度同步，从而为本系统实现运动想象与肌电刺激的高同步性进行保障。
31.作为本发明实施例的一种实施方式，信号模式提取子系统对提示系统发送的当前运动模式和头皮脑电采集子系统、表面肌电采集子系统发送的脑肌电数据进行接收，并对此数据进行数据信号处理，然后发送处理的结果以及相关的控制指令。信号模式提取子系统可分为模型训练功能和康复训练功能这两个部分。
32.模型训练功能：其在脑肌电同步系统发送trigger的同步下，将同步后脑肌电信号模式分类。再以提示系统发送的运动模式为标签进行分类，并在不同标签下对脑肌电模式进行特征选择，并保存生成的样式脑肌电信号。在训练模式下，信号模式提取子系统会分析提示动作目标和采集到的脑肌电的同步数据的相关性，并建立相对应的模型。若模型已经存在，对其进行迭代学习，从而使其可迁移性增强。
33.康复训练功能：信号模式提取系统接收提示系统发送的动作模式并调用，其所对应的模式信号与接收到的当前发送的同步脑肌电进行匹配，当匹配度达到一定阈值时，此系统将向刺激反馈系统输入对应时间的相关肌肉电刺激指令从而完成刺激反馈治疗。与此同时将匹配度输出至提示系统，以此为被试者提供相关的运动想象提示，并与此时对应肌肉刺激反馈进行同步对照，从而使患者达到同步的、精准的、主-被动结合的康复训练。在康复模式下，信号模式提取子系统会把当前运动模式与所接收到的脑肌电数据进行匹配，并将刺激控制指令同步发送到刺激反馈子系统中，同时将运动模式匹配度发送到提示系统，辅助以患者矫正运动想象准确性。
34.进一步，模型训练功能中，信号模式子系统中对运动想象信号的处理可分为对头皮脑电信号处理和对表面肌电信号处理。运动想象领域内，当前的特征提取算法无训练模式主流采用以fbcsp为代表的传统学习算法，以及以cnn为代表的神经网络有训练算法，由于传统算法具有较好的可解释性，本发明实施例以fbcsp为例解释其算法具体过程。fbcsp中文全称为：滤波器组共空间模式(filter bank common spatial pattern)，具体算法流程由数个频域滤波器以及空间滤波器组成，加以svm、lda等分类算法实现对于信号的特征提取与分类。流程如图2所示，信号经由9个带通滤波器，其通带频率分别为4-8、8-12
……
36-40hz，过滤后得到多个带通信号，后经共空间模式(csp)算法进行空间滤波，滤波后进一步进行特征选择，采用互信息的评分方式进行最有效特征的选择，最后将选中的n个同步后脑肌电信号特征作为输入，通过将数据动作模式作为标签进行有监督训练训练，最终进行
交叉验证，选择训练结果最好的学习器作为最终模型。
35.共空间模式(csp)算法又可继续进行步骤分解分为：混合空间协方差矩阵、主成分分析(白化特征值矩阵)、空间滤波器等。设x1、x2为两类目标的数据矩阵，其归一化后的协方差矩阵r1、r2可表示为：
[0036][0037]
当中trace(x)为矩阵x的迹，为xi矩阵的转置。
[0038]
后求混合空间协方差矩阵r：
[0039][0040]
其中，为矩阵ri的平均协方差矩阵。
[0041]
对r矩阵进行特征值分解：
[0042]
r＝uλu
t
[0043]
其中，u为r矩阵的特征向量组成的矩阵，由于u矩阵为正交矩阵，其逆矩阵等于其转置。
[0044]
其中，λ为r矩阵特征值组成的对角矩阵。
[0045]
则可得其白化矩阵p为：
[0046][0047]
其中，λ-1
为λ的逆矩阵
[0048]
对于r1、r2进行变换：
[0049]
s1＝pr1p
t
,s2＝pr2p
t
[0050]
r1+r2＝e
[0051]
其中，e为单位阵，si为ri经由变换后得到的矩阵。
[0052]
接着对s1、s2做分解：
[0053][0054]
其中bi为si矩阵的特征向量组成的矩阵，λi为其特征值的对角矩阵。
[0055]
最终得到特征向量与特征值，此时，对于所有特征值当中，与最大的对应的特征向量为方差最大分类效果最好的，选做当前子频带空间滤波器。
[0056]
出于保证本发明实施例系统当中高同步性的考虑，相较与传统分类算法中仅将多实际运动作为标签进行分类，本发明实施例分类器将“空闲状态”(即不进行任何任务)同样视为一种运动模式，与各“运动模式”进行二分类的空间滤波器训练，使得空间滤波器可以充分获取其是否在进行运动想象的信息。并且进行特征提取后的过程使用类如线性判别分析(lda)的方法进行最终分类，方法原理为：找到线性投影关系，使得其具有最大的类间方差与最小的类内方差，对此提出目标函数：
[0057]
[0058]
其中：
[0059][0060]
其中，为投影后均值；
[0061]
而为投影后方差：
[0062][0063]
最终，其目标函数可转化为：
[0064][0065]
其中，si为投影前方差，w为变换矩阵。
[0066]
对目标函数进行求解，得出其变换矩阵w，并可通过变换矩阵得到最终降维统计判别量k。
[0067]
csp特征在本发明实施例中经由lda线性判别分析。每一个目标经由线性变换变化到一个一维直线kx+b＝y上(其中k为系数矩阵，x为自变量向量，y为因变量向量)，其中对于直线具有基矢直线具有基矢且其每次判别特征均可表示为对于其中k系数组作为评分依据进行评分函数构造，取一类目标系数均值作为最高分标准，其分数随距离均值的距离逐渐下降，当距离下降到随距离均值的距离逐渐下降，当距离下降到时为60分，超过阈值后为不及格。使用指数公式设定得分其中k为判别目标降维投影后所对应基矢的系数，作为判别统计量。τ为收敛参数，影响最高分得分与收敛速度。为当前判别类目标k统计量均值。k
th
为区域边界阈值概念。
[0068]
作为本发明实施例的一种实施方式，刺激反馈系统执行信号模式提取子系统所发送的控制指令，将相对应的反馈刺激信号进行输出，以电极的方式在运动想象的同步下对患者的患部进行刺激反馈治疗，实现对构音障碍患者进行相匹配的刺激反馈康复治疗。
[0069]
作为本发明实施例的一种实施方式，头皮脑电(eeg)采集子系统、表面肌电(emg)采集子系统、脑肌电同步系统、信号模式提取子系统、刺激反馈系统、提示系统之间通过以kafka消息队列为代表的消息中间键进行连接通信。
[0070]
作为本发明实施例的一种实施方式，对于本发明实施例语音刺激反馈康复系统的
控制模式进行详细说明：
[0071]
发音运动模式：头皮脑电采集子系统和表面肌电采集子系统分别接收来自患者对发音想象的eeg和emg信号，经过脑肌电同步系统，在信号模式提取子系统中通过对其发音时训练动作的信号进行处理，并与当前相关的喉部运动的运动模型进行匹配，构成对喉部肌肉的刺激计划，进而作用于患部。在患者进行运动想象的过程中，喉部在电刺激的作用下，进行发音相关运动，其引起的感知觉神经反馈将反馈至中枢神经系统，进而促进神经组织代偿修复。需要增强训练时，还可通过施加反向刺激进行阻抗训练。如在要求患者进行喉部运动时施以拮抗喉部运动的刺激模式进行阻抗训练，以实现更好的训练效果。
[0072]
面部、颊部提高运动模式：接收来自患者面部咀嚼与发音“ya”时对应的eeg和emg信号，经过脑肌电同步，在信号模式系统通过对其面、腮部训练动作的信号进行处理，并与当前运动模型匹配，构成指定的刺激计划，进而作用于患部。在患者运动想象进行过程中，患部在电刺激的作用下，将进行提高相关运动，其引起的感知觉神经反馈将反馈至中枢神经系统，进而促进神经组织代偿修复。
[0073]
作为本发明实施例的一种实施方式，对于本发明实施例语音刺激反馈康复系统的治疗模式进行举例说明：
[0074]
系统治疗模式，主要是关于康复运动的运动内容进行设计与对照。本发明实施例语音刺激反馈康复系统支持多种康复运动模式，以下内容以发音器官运动训练为例进行说明。
[0075]
运动想象训练的环境和体位：环境安静、宽敞，患者坐于有靠背的椅子上，保持髋膝踝关节90
°
弯曲，头颈及脊柱保持直立，前臂放于面前治疗桌上。
[0076]
运动想象训练的任务内容：发“呀”、“啊”、“哒”、“吗”、“吧”等音节。
[0077]
运动想象训练实施：根据上述任务内容，要求患者每个动作以第一人称的角度完成。
[0078]
以发“呀”音为例：
[0079]
(1)任务内容以视频与文字提示的形式播放给患者观看(视频中发音动作为多角度录制)，被试观看视频2次；
[0080]
(2)治疗师演示发“呀”2次；
[0081]
(3)患者尝试使用发“呀”2次，期间治疗师适当给予引导，尽量使得患者张口动作及开闭声带内收幅度尽可能大；
[0082]
(4)给予以下指导语：“请根据运动内容，把注意力集中到您的下颌喉部(动作部位)。现在，请您想象发“呀”，在想象过程中，请使得屏幕上显示的评分尽可能高，完成2次后请告诉我体会。”[0083]
(5)系统开始实时采集、分析脑肌电信号，患者依照指导想象发“呀”动作2次，每个动作以第一人称的角度完成。
[0084]
(6)依照(4)及(5)中的训练方法，想象发音动作3次；
[0085]
(7)尝试发音动作3次；
[0086]
(8)每个动作以上过程重复2次。观察其构音器官动作在刺激反馈帮助下是否与标准动作相近，并记录每次系统平均得分。
[0087]
本发明实施例，首先对于无构音障碍人群，在提示系统指示下，通过eeg采集子系
统与emg采集子系统同步采集其执行提示任务的生物电信号，脑肌电同步系统通过向eeg采集子系统与emg采集子系统发送trigger进行信号精准同步，信号同步采集后经由信号模式提取子系统得到该指示任务的通用性脑肌电同步模型；同时在提示系统指示下进行运动想象训练，同步采集其脑肌电数据，并输入至信号模式提取子系统，将此运动想象产生的脑肌电数据与通用性脑肌电同步模型进行匹配，同步进行该模式的刺激反馈康复治疗，并向患者实时提示当前运动想象标准性评分，以实现精准同步的、主-被动结合的、双向训练的刺激反馈治疗，提高康复效果。
[0088]
实施例2：
[0089]
本发明实施例还提供一种基于eeg与emg同步的语音刺激反馈康复方法，包括以下步骤：
[0090]
步骤s1、模型训练模式：对于无构音障碍人群，在提示系统指示下，通过eeg采集子系统与emg采集子系统同步采集其执行提示任务的生物电信号，脑肌电同步系统通过向eeg采集子系统与emg采集子系统发送trigger进行信号精准同步，信号同步采集后经由信号模式提取子系统得到该指示任务的通用性脑肌电同步模型；
[0091]
步骤s2、康复训练模式：对于患者，在提示系统指示下进行运动想象训练，同步采集其脑肌电数据，并输入至信号模式提取子系统，将此运动想象产生的脑肌电数据与通用性脑肌电同步模型进行匹配，刺激反馈系统实时接收到在所述信号模式提取子系统中处理过的同步脑肌电信号并进行相应的刺激反馈治疗。
[0092]
作为本发明实施例的一种实施方式，通过滑窗策略对实时采集到的脑肌电信号和相关运动模式信号进行匹配，当脑肌电信号和已有运动模式信号的匹配度超过设定的阈值时，则认定此构音障碍患者开始此运动想象训练。
[0093]
作为本发明实施例的一种实施方式，所述头皮脑电(eeg)采集子系统、表面肌电(emg)采集子系统、脑肌电同步系统、信号模式提取子系统、刺激反馈系统、提示系统之间通过以kafka消息队列为代表的消息中间键进行连接通信。
[0094]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，在任何熟悉本技术领域的技术人员在本发明所述的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应该以权利要求的保护范围为准。