基于脑机接口的脑卒中患者语音交流看护控制系统及方法与流程

本发明属于语音交流看护控制技术领域，尤其涉及一种基于脑机接口的脑卒中患者语音交流看护控制系统及方法。

背景技术

脑卒中(cerebralstroke)又称中风或脑血管意外(cerebralvascularaccident，cva)，是一种急性脑血管疾病，由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病。

脑卒中已成为中老年人健康的最大威胁之一。脑卒中具有发病率高、致残率高、病死率高、复发率高等特点，严重影响着人类的健康。脑卒中预后会遗留有不同程度的肢体功能障碍、感觉障碍、言语障碍、认知障碍等，约37.66％存在言语障碍，言语障碍给病人的日常生活带来了巨大的困难：(1)言语障碍很大程度上导致了脑卒中抑郁，不仅会降低患者的生活质量，且与预后差、死亡率上升、日常生活活动能力受损及康复治疗依从性差密切相关。(2)脑卒中语言障碍使得患者与家人和医护人员的沟通困难，患者很难表达自己的照顾需求和身体的状况，阻碍了家人和医护人员给予及时的照顾和有效的护理。因此为脑卒中患者提供一种有效的沟通交流系统，改善患者的语言状况就显得尤为重要。

近些年来随着脑科学、计算机科学、信号处理技术的极大发展，脑机接口(brain-computerinterface，bci)技术给那些具有严重功能障碍的患者带来了福音。bci是一种不依赖于大脑外周神经与肌肉组成的正常输出通路的通讯控制系统。该系统采集患者的脑电信号(electroencephalography，eeg)，对这些脑电信号进行处理、分析，识别出引起这些脑电变化的动作意图，再使用计算机语言进行编程，这样就把人的思维活动转换成相应的命令信号驱动外部设备，因此，bci技术不仅能够为中风及偏瘫患者的康复治疗带来希望，更能有效增强脑卒中语言障碍患者与外界交流和沟通的能力，提高患者的生活质量。

现阶段，利用脑机接口技术实现文字的输入已经有了较多的研究，但是使用者要传达的信息还只是停留在屏幕上，给信息交流造成了不便；基于脑机接口技术实现文字的输入大部分只是为了实现存在语言障碍的重度残疾人士与他人的文字传递，几乎很少将其应用到在其住院期间的看护和护理上，并不能判断患者是否有需要交流的意图，也未实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出。

技术实现要素：

为了解决现有技术的不足，本发明的第一目的是提供一种基于脑机接口的脑卒中患者语音交流看护控制系统，其能够判断患者是否有需要交流的意图，实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出。

本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统，包括：视觉刺激模块，其分为若干个闪烁区域，每个闪烁区域的闪烁频率不同且常亮，用于刺激脑卒中患者产生脑电信号；

脑电信号采集模块，其被配置为实时采集所述脑电信号并传送至脑电信号分析模块；

所述脑电信号分析模块被配置为：当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，传送至语音合成模块，且形成呼叫信号传送至病房呼叫模块；

所述语音合成模块被配置为：

对输入的脑电信号特征完成分词以及标注；

基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成xml格式文件；

解析xml格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的xml文件进行韵律结构预测；

根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用psola算法进行修改，最后合成语音并输出。

进一步的，所述病房呼叫模块被配置为接收所述呼叫信号，并关联相关医护人员。

进一步的，所述视觉刺激模块包括用户选择模式和用户确定模式这两种模式。

进一步的，在用户选择模式下，所有闪烁区域均为白色方框，黑色背景。

进一步的，在用户确定模式下，辨识出用户注视的区域后，用户注视区域变为除了黑色和白色的其他种类的颜色，便于用户对自己的选择进行及时的确定。

进一步的，在所述脑电信号分析模块中，判断患者是否注视频闪区域的具体过程为：对采集到的脑电信号进行分析判断其与预先设定的参考信号的相关系数是否小于阈值；若小于阈值，则为空闲状态，即患者没有注视频闪；若大于阈值，则是患者注视某一频闪区域，即患者为输入状态。

进一步的，所述脑电信号分析模块在提取出脑电信号特征之前还对脑电信号进行滤波处理。

进一步的，在所述脑电信号分析模块中，采用典型相关分析对脑电信号进行频率特征提取。

进一步的，在所述语音合成模块中，使用汉语词法分析系统对输入的脑电信号特征完成分词以及标注。

本发明的第二目的是提供一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法，其能够判断患者是否有需要交流的意图，实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出。

本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法，包括：

视觉刺激模块中所有闪烁区域常亮；

脑电信号采集模块实时采集所述脑电信号并传送至脑电信号分析模块；

脑电信号分析模块分析判断患者是否注视频闪区域，当判断患者是否注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，分别传送至病房呼叫模块和语音合成模块；

语音合成模块对输入的脑电信号特征完成分词以及标注；

基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成xml格式文件；

解析xml格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的xml文件进行韵律结构预测；

根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用psola算法进行修改，最后合成语音并输出。

与现有技术相比，本发明的有益效果是：

本发明能够判断患者是否有需要交流的意图，实现将患者的有交流意图的脑电信号筛选出来，且将患者的有交流意图的脑电信号转换成中文语音的形式输出；

本发明将患者的脑电信号转换为用户想要表达的文字信号并通过语音合成软件通过语音播放出来，利于患者与看护人员及家人进行及时的沟通与交流，打破了屏幕的限制以及病人在紧急需要医护人员前来时无法表达的困境，促进了患者与家人和与医护人员的交流，有利于对其照顾和护理医治的开展。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统结构示意图；

图2是脑电信号采集模块的电极位置图；

图3(a)为视觉刺激模块频闪显示界面；

图3(b)为视觉刺激模块频闪反馈界面；

图4是本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法流程图；

图5是本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的工作流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

术语解释：

ssvep：steady-statevisualevokedpotential，稳态视觉诱发电位；

bci：braincomputerinterface,脑机接口；

featureextraction：特征提取；

classificationalgorithm：分类算法；

cca：canonicalcorrelationanalysis,典型相关分析；

voicesynthesis：语音合成；

textanalysis：文本分析。

针对目前言语障碍给脑卒中患者的生活和康复带来的巨大问题，目前脑机接口的发展状态和脑机接口在脑卒中患者交流应用中存在的问题，本发明提供了一种基于脑机接口的脑卒中患者语音交流看护系统。

如图5所示，本发明提供的一种基于脑机接口的脑卒中患者语音交流看护系统的工作流程为：

看护人员将需要表达的想法通过看护人员的语音信号传递给患者，患者大脑理解之后，通过注视不同频率闪烁的刺激模块，将想要表达的想法通过文字输入的方式传递给系统，系统获取患者输入的文字信息并进行语音合成，最终将合成之后的能够表达患者想法的语音信号反馈给看护人员。

如图2所示，本发明的一种基于脑机接口的脑卒中患者语音交流看护系统由视觉刺激模块、脑电信号采集模块、脑电信号分析模块、语音合成模块和病房呼叫模块组成。

具体地：

(1)视觉刺激模块

视觉刺激模块分为若干个闪烁区域，每个闪烁区域的闪烁频率不同且常亮，用于刺激脑卒中患者产生脑电信号。

视觉刺激模块可以采用刷新率60帧/秒的液晶显示器完成，分辨率可以设置为1366×768(像素)。视觉刺激界面如图4所示。由于用户需要使用视觉刺激界面完成中文的输入，因此视觉刺激界面采用对中国人使用比较方便的九宫格中文输入界面。刺激目标由11个区域组成，刺激目标的频率分别设为6.1hz、7.5hz、8.57hz、9hz、10.3hz、11hz、12hz、13hz、14.3hz、17hz、19hz、23hz。

刺激目标选择白色方块，背景颜色为黑色。

视觉刺激模块分为两种工作模式，用户选择模式和用户确定模式。

在用户选择模式下，所有闪烁区域均为白色方框，黑色背景。

在用户确定模式下，辨识出用户注视的区域后，用户注视区域变为除了黑色和白色的其他种类的颜色，便于用户对自己的选择进行及时的确定。

(2)脑电信号采集模块

脑电信号采集模块，其被配置为实时采集所述脑电信号并传送至脑电信号分析模块。

患者佩戴电极帽进行脑电信号的采集。由于ssvep信号只与患者大脑的视觉区域有关，因此可以只采集患者大脑视觉区域的脑电信号，如图2所示。图2虚线下方电极为本系统需要采集的10个电极位置，分别为t5、p3、pz、p4、t6、po3、po4、o1、oz、o2处，导联位置符合国际10-20标准。

用户佩戴脑电帽产生不同的eeg，eeg通过放大器由无线wifi传送到eeg放大器控制端。

(3)脑电信号分析模块

脑电信号分析模块被配置为：当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，传送至语音合成模块，且形成呼叫信号传送至病房呼叫模块。

eeg采集系统采集到的脑电信号通过wifi传输到eeg分析模块，eeg分析模块对eeg进行在线处理，分析结果发送给语音合成模块，从而实现一套由稳态视觉诱发电位ssvep完成汉字输入，由语音合成技术完成从文本到语音的转换的脑卒中语言障碍患者交流看护系统。

在所述脑电信号分析模块中，判断患者是否注视频闪区域的具体过程为：对采集到的脑电信号进行分析判断其与预先设定的参考信号的相关系数是否小于阈值；若小于阈值，则为空闲状态，即患者没有注视频闪；若大于阈值，则是患者注视某一频闪区域，即患者为输入状态。

在脑电信号分析模块中，当判断患者注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征的具体过程为：

预处理：先对ssvep信号进行2hz到40hz的带通滤波，消除高频及工频干扰。滤波算法采用5阶butterworth滤波器。

频率提取：本发明采用典型相关分析(canonicalcorrelationanalysis,cca)进行ssvep信号的频率提取。

典型相关分析(canonicalcorrelationanalysis,cca)是多元统计学的组成部分，是研究两组变量间相互关系的统计分析方法。cca应用于提取ssvep相应频率时，两组多变量分别定义为x、y，其中x是多通道的eeg信号，y被设定为一组参考信号，如式(1)：

其中，(1)式中，n是谐波数量，f是刺激频率。

eeg信号x与参考信号y寻找一组矢量wx,wy，这一组矢量可以使向量x,y之间的相关系数达到最大，其中x＝x^twx，y＝y^twy。计算方法如式(2)所示：

其中，对wx,wy，得出x和y之间的相关系数ρ的最大值，即是得到了最大的典型相关系数。选取不同的f，计算ρ，则最大ρ对应的频率被认为是ssvep响应频率。

(4)语音合成模块

本发明采用基于隐马尔科夫模型(hmm)的语音合成方法。具体工作流程如下：

使用汉语词法分析系统(instituteofcomputingtechnology,chineselexicalanalysissystem，ictclas)对输入的文本完成分词以及标注工作。

ictclas主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。

在字音转换的过程中，基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成xml格式文件；

解析xml格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的xml文件进行韵律结构预测；

根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用psola算法进行修改，最后合成语音并输出。

psola算法使得基于波形拼接的语音合成以及基于大语料库的语音合成成为了目前的主流技术,现在很多合成系统中都采用此算法,比如科大讯飞公司的产品。

例如：时域基音同步叠加法(td-psola)是psola算法中最简单、应用最广泛、效率高的一种形式，用psola算法实现语音合成时主要有三个步骤，分别为基音同步分析、基音同步修改和基音同步合成。

第一步基音同步分析：同步分析的功能主要是对语音合成单元进行同步标记设置。psola技术中，短时信号的截取和叠加、时间长度的选择，均是依据同步标记进行的。

以语音合成单元的同步标记为中心，选择适当长度(一般取两倍的基音周期)的时窗对合成单元做加窗处理，获得一组短时信号xm(n):

xm(n)＝hm(tm-n)x(n)(3)

其中tm为基音标注点，hm(n)一般取hamming窗，窗长度大于原始信号的一个基音周期，因此窗间有重叠。窗长一般取为原始信号的基音周期的2-4倍。

第二步基音同步修改：同步修改在合成规则的指导下，调整同步标记，产生新的基音同步标记。具体地说，就是通过对合成单元同步标记的插入、删除来改变合成语音的时长；通过对合成单元标记间隔的增加、减小来改变合成语音的基频等。这些短时合成信号序列在修改时与一套新的合成信号基音标记同步。在td-psola方法中，短时合成信号是由相应的短时分析信号直接拷贝而来。若短时分析信号为x(ta(s),n)，短时合成信号为x(ts(s),n)，则有：

x(ts(s),n)＝x(ta(s),n)(4)

式中ta(s)为分析基音标记，ts(s)为合成基音标记。

第三步基音同步合成：基音同步合成是利用短时合成信号进行叠加合成。如果合成信号仅仅在时长上有变化，则增加或减少相应的短时合成信号；如果是基频上有变换则首先将短时合成信号变换成符合要求的短时合成信号再进行合成。若采用原始信号谱与合成信号谱差异最小的最小平方叠加合成法进行语音信号的合成，则最终合成信号为：

式(5)可简化为：

式(6)中的分母是一个时变的单位化因子，补偿相邻窗口叠加部分的能量损失。该因子在窄带条件下接近于常数，在宽带条件下，当合成窗长为合成基音周期的两倍时，该因子亦为常数。此时，若设aq＝1，则有：

如图4所示，本发明的一种基于脑机接口的脑卒中患者语音交流看护控制系统的控制方法，包括：

视觉刺激模块中所有闪烁区域常亮；

脑电信号采集模块实时采集所述脑电信号并传送至脑电信号分析模块；

脑电信号分析模块分析判断患者是否注视频闪区域，当判断患者是否注视频闪区域后，对接收的脑电信号进行稳态视觉诱发电位分析并提取脑电信号特征，分别传送至病房呼叫模块和语音合成模块；

语音合成模块对输入的脑电信号特征完成分词以及标注；

基于词性规则判音法对分词及标注后的脑电信号特征进行多音字处理，并且获取上下文相关信息，进而生成xml格式文件；

解析xml格式文件，并用基于隐马尔科夫模型的韵律层级结构预测法对解析后的xml文件进行韵律结构预测；

根据预测的韵律结构，从预设语音库中选择相对应的语音波形，并用psola算法进行修改，最后合成语音并输出。

具体地，判断患者是否注视频闪区域的过程为：

对采集到的脑电信号进行分析判断信号与参考信号的相关系数是否小于阈值；若小于阈值，则为空闲状态，即患者没有注视频闪；

若大于阈值，则是患者注视某一频闪区域，即患者为输入状态；

脑电信号进行分析结果，若为患者注视“sos”区域，即为病房呼叫，会在护士站的病房呼叫平台显示病房呼叫，使医护人员前往。若是注视某一频闪区域，即患者为输入状态；

若注视区域为“sos”区域，即为病房呼叫，会在护士站的病房呼叫平台显示病房呼叫，使医护人员前往。

若患者注视的是输入区频闪，首先为拼音的输入部分，注视的频闪区域代表的是相应的拼音字母将分析结果即对应频闪区域变色，如图3(a)和图3(b)所示，若患者注视“确定”区域后，其颜色改变，则系统分类正确，若是其他区域变色，则系统分类错误)，将ssvep结果反馈给患者，由患者判断是否正确，若错误则注视“删除”区域，若正确则继续通过注视相应区域完成拼音的键入，拼音输入完成后注视“确定”区域，进入汉字的选择，待选汉字区域前标有序号，此时通过注视输入区进行对标号的选择，完成单个汉字的输入；

直至患者将所有意图输入完成，则注视“发送”区域，完成汉字的输入，将文本信息传送至语音合成模块，通过文本处理、韵律处理、声音合成实现合成，发出声音。

在与家人或医护人员进行交流时，由患者完成与其交流者的语意理解，然后通过该系统实现脑卒中语言障碍患者的语音表达。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。