基于听觉认知神经信号的自主意愿表达方法

专利名称：基于听觉认知神经信号的自主意愿表达方法
技术领域：
本发明属于残疾人辅助装置和人机交互领域。本发明通过提取使用者的听觉认知神经 信号，转化为语音输出，能够有效地帮助残疾人士与外界进行沟通。此外，还可用于基于 神经信号的人机交互电子娱乐系统的开发。
背景技术：
在现代社会中，许多疾病都将导致患者语言运动功能退化，直至丧失意愿表达以及与 外界沟通交流的能力，如肌萎性侧索硬化症(又称神经元渐冻症，ALS)、中风、脑瘫等， 严重影响了此类患者的生活质量。借助神经科学和计算机技术的高速发展，越来越多的研 究成果被应用于帮助此类残疾患者重建意愿表达以及与外界沟通交流的渠道，从而提高残 疾人士的生活质量。其中，基于祌经信号的人机交互系统的发展尤为迅速。本发明提出的 基于听觉认知神经信号的自主意愿表达系统能够有效地帮助残疾人士与外界进行沟通。此 系统还可以应用于电子娱乐领域。基于神经信号的人机交互电子娱乐是一种极富体验感和 趣味性的新兴娱乐方式。利用神经信号操纵游戏，不仅新奇有趣，还有潜在的智力促进作 用。
传统意义上，丧失语言运动功能的残疾人士表达意愿的方式非常有限，比如使用稍能 活动的残肢触碰物体，对旁人的简单问题做出眨眼动作表示"是"或"否"以及进行眼球 运动等。这些方式所表达的意愿非常模糊，并且对于大部分严重残疾人士，包括眨眼在内 的任何细微运动都无法进行，连接外界的渠道完全被切断，必须借助其他的辅助系统才能 重建与外界交流的通路。
基于神经信号的人机交互技术近年来被广泛地应用于残疾人辅助装置及电子娱乐领 域中。该技术结合了神经科学、微电子和计算机信息处理等方面的最新成果，直接提取大 脑的神经活动，实时翻译成控制命令，来控制假肢、计算机鼠标、键盘、音响等。基于神
经信号的人机交互系统通常包含三个组成部分1信号的采集和记录。神经信号的采集方
式有多种脑电图(EEG)，大脑皮层电位图(ECoG)，脑磁图(MEG)等，最常用的是脑电图； 2信号处理过程。从神经信号中提取使用者的意识，并且通过转换算法将输入的使用者的 神经信号转换为控制外部设备的输出指令，这是整个系统的核心歩骤。3控制外部设备。 根据使用者的意识来驱动外部设备，从而替代用户丧失的运动和交流能力。此外，适当的 结果反馈也常被引入此类系统，以加快使用者的熟练程度，达到更好的使用效果。
3目前，运用比较广泛的基于神经信号的人机交互技术是利用视觉刺激范式来实现的。 使用者注视屏幕上的视觉目标，从而诱发出相应的神经信号，再通过对视觉神经信号的分 析，提取使用者意愿。但是，对于大量的严重残疾人士，视觉功能严重退化，视觉刺激范 式的作用非常有限。因此，需要寻求视觉以外其他的感觉刺激来诱发神经信号，从而帮助 那些失去视觉的严重残疾人士自主表达意愿。 一般情况下，视觉受限的残疾人士，其听觉 功能往往还很健全，所以，基于听觉刺激范式诱发神经信号的人机交互系统极具意义。
晚期正成分电位(Late Positive Component, LPC)是一种脑电电位，潜伏期为刺激起 始后300ms至800ms，包含多个子成分。LPC源于大脑高级皮层活动，与人们的认知、注 意、智能等加工过程有关，反映大脑对于外界刺激的主动响应。研究证明LPC不受刺激属 性和概率的影响，所以较经典的神经信号P300有优势。利用LPC进行自主意愿表达，是 对LPC电位的一种全新应用。
中国专利(01129935.5)"可视音乐脑电生物反馈法"，发布了一种基于脑电的生物反 馈法，其特征在于按标准的脑电图采集方式采集的脑电图进入计算机后，脑波经特征分析 变为特征时间序列数据，直接产生相应的脑音乐，或控制和调整由计算机生成的图形图像 及音乐达到反馈训练。该系统采用了脑电神经信号来作为控制反馈的依据，但其采用的是 自发脑电，并不能表达使用者的主动意愿，而仅仅是使用者当前状态的一种反应，有一定 的局限性。
中国专利(00815134. 2)"基于脑电稳态诱发响应的控制方法及系统和感官测试方法 及系统"，发布了一种基于视觉诱发脑电信号的控制方法。该系统能够生成以不同频率变 化的、能被人体感官感受的一或多个视觉刺激信号，通过检测受激人体的脑电信号并进行 分析，从中提取与某一刺激信号频率相对应的特征物理量，由此控制相对应的装置执行一 即定的操作。该系统采用了诱发的脑电神经信号，能够表达使用者的自主意愿，但是，其 采用的是视觉诱发脑电，长时间的视觉刺激会引起使用者的视觉疲劳，产生不舒适感，有 一定的局限性。
本发明提出的基于听觉认知神经信号的自主意愿表达系统是一种全新的基于听觉刺 激范式诱发神经信号的人机交互系统。本系统使用纯听觉的刺激信号，使用者根据自主意 愿对刺激信号做出反应，系统通过对使用者神经信号(主要是LPC)的分析和处理，提取 使用者的意愿，并且经由计算机合成语音表达出来，替代使用者丧失的交流能力。由于仅 采用听觉刺激信号，不需要显示器，系统的便携性得到提高，同时，不易引起视觉疲劳。 因此，本发明具有很大的理论研究和实际应用意义
发明内容
本发明的目的在于为残疾人士提供一种基于由听觉刺激诱发的神经信号的自主意愿表 达系统。此系统还可应用于电子娱乐领域。
本发明的特征在于，该方法依次含有以下歩骤 步骤1，设置用户所要表达意愿的语音码本，其中每一个意愿选项由码本索引和码本内容 两部分组成，码本索引是包括中英文单字或数字在内的简短语素，码本内容是一句表达相 应意愿的完整语句，码本索弓I和码本内容的对应语音都存储在计算机中；
步骤2，把脑电测试电极放在被检测者头顶稍后的Pz或P3位置或者附近的位置，把参考 电极放在被检测者的耳部，接地电极接地，所述各电极得到的脑电信号经放大和模/数变换 后送往计算机的USB数字接口；
步骤3，用户启动表达意愿的程序后，所述计算机按以下步骤进行处理
歩骤31，按照随机顺序反复播放码本索引对应的语音，相邻两个语音单元的时间间隔
为50ms至250ms的随机值，该语音序列中与用户所要表达的意愿内容对应的码本索引语
音，称为耙剌激，其它为非靶刺激；
歩骤32，用户对听到的目标意愿对应的靶刺激做出主动心理反应，并在脑电波中产生
对应的神经响应信号；
歩骤33，计算机在接收到脑电波后，把每个索引语音刺激所诱发的脑电波型按照语音 开始的时间起点对齐，采用包括滤波、相干平均在内的信号增强方法，以及包括波峰提取 法、面积提取法、支持向量法在内的任何一种分类方法，分析其中是否存在晚期正成分LPC 及其相关成分；
步骤34，计算机通过上述方法挑选出的对应晚期正成分LPC最大的索引语音，通过 查找步骤1中所述表达意愿的语音码本，得到对应的完整语音内容，通过音箱播放出来， 即为使用者当前要表达的目标意愿；
步骤4，若通过上述方式表达使用者意愿的正确率不理想，则表明当前码本中没有受试者 想要表达的意愿，或者系统的参数配置不合适，因此，需要更换码本，或者根据受试者的 情况，修改系统的参数配置，其中包括电极导联的位置以及晚期正成分LPC时间窗的范围， 完成所述修正后重新进行意愿表达。 该方法中计算机系统的输入信息
(1 ) 用于表达受试者意愿的意愿码本库信息预先存入计算机4。其中意愿选项的码 本索引对应的中文单字或者数字语音，以及码本内容对应的完整语句语音分别 存放，前者构成听觉刺激序列2，后者用于语音结果输出5。
(2) 每次使用需要输入选取的意愿码本库1编号，例如表示方向意愿的码本库，其 中包含的意愿选项有"上"、"下"、"左"、"右"，"中"。计算机系统的输出信息-
计算机根据使用者当前意愿对应的意愿选项，通过发声设备播放该意愿选项的码本内 容完整语音。
经实验验证，本发明具有以下优点
(1) 采用纯听觉的刺激模式，不依赖使用者的视觉功能，对于丧失视觉能力的严重残疾 人士有很好的适用性，同时不易造成视觉疲劳。
(2) 摒弃视觉刺激模式中不可缺的显示屏，仅通过耳机和微型音响即可发送刺激序列和 反馈结果，系统更为便携。
(3) 采用由使用者对耙刺激主动响应诱发的LPC作为分类特征，不受刺激属性的影响， 较使用经典P300电位有优势。
(4) 通码本的形式，以简短的语音单字构成刺激序列，提高使用者表达意愿的速度，以 对应的完整语句作为输出结果，令使用者表达意愿更接近日常交流。
(5) 采用脑电记录方法，是无创无损的方法。


图1示出基于听觉认知神经信号的自主意愿表达系统框图； 图2示出脑电波数据处理框图； 图3示出脑电波检测结果示例； 图4示出计算机程序流程图。
具体实施例方式
晚期正成分电位(Late Positive Co即onent， LPC)是一种脑电电位，潜伏期为刺激起 始后300ms至800ms，包含多个子成分。LPC源于大脑高级皮层活动，与人们的认知、注 意、智能等加工过程有关，反映大脑对于外界刺激的主动响应。本系统中采用的LPC电位 是指使用者在对靶刺激进行主动响应时在其头皮记录的晚期正波。研究证明LPC不受刺激 属性和概率的影响，所以，利用它可以使用者对任何靶刺激做出的主动响应。
根据所选取的意愿码本库1中的意愿选项索引构成听觉刺激序列2发送给使用者，对 记录到的使用者的脑电数据3进行分析，提取LPC电位波形。并且通过对比所有子码本对 应的LPC波形，判断使用者的目标意愿，通过输出完整意愿语句，实现使用者的自主意愿 表达。本发明的具体实施包括以下主要步骤 1意愿码本库的建立
根据使用者当前的状态或者实际需求，选择可能包含使用者当前意愿的码本库。意愿 码本库l可以在已有码本库中选择，也可以根据特殊应用范围生成个性化码本库。每个意 愿码本库l包含若干个意愿选项。 一个意愿选项由两部分构成码本索引和码本内容。码 本索引为一个可以代表某种意愿的中英文单字或者数字，码本内容为一句表达相应意愿的 完整语句，码本索引和码本内容在语音库中都有其对应的语音。每个意愿码本库中的意愿 选项数可为任意数目。
例如，某一码本库包含的意愿选项的码本索引有"饿"、"渴"、"热"、"冷"、"疼"、"痒" 等，则相应的子码本的码本内容为"我饿了，我想要吃饭"，"我渴了，我想要喝水"等依 次类推。
2听觉刺激序列的产生与播放
计算机4根据输入的码本库编号，从语音库中调出该码本库中所有意愿选项的码本索 引对应的中英文单字或者数字语音，每一个意愿选项的索引语音为一个声音刺激单元，其 声音强度完全一致，声音持续时间统一为250ms。所述计算机4将所有的声音刺激单元随 机排列，构成听觉刺激序列2。假设所选择的意愿码本库1共包含N个意愿选项，则每个 意愿选项的索引语音在刺激序列中的出现概率为1/N。所述码本库中的某一意愿选项为使 用者想要表达的意愿，称为目标意愿，该意愿选项对应的声音刺激称为靶刺激，其他意愿 选项对应的声音刺激称为非靶剌激。所有靶刺激和非靶刺激重复使用M次。相邻两个声音 刺激单元的间隔为50ms至250ms的随机分布。受试者需要对靶刺激做出主动的心理反应， 而对非耙刺激不做心理反应。
例如，码本库中包含意愿选项的索引语音"饿"、"渴"、"热"、"冷"、"疼"、"痒"， 则听觉刺激序列为这些索引语音随机反复呈现构成的语音序列。假设使用者的目标意愿为 "饿"，则其在每次听到耙刺激声音"饿"时做出"是"的心理反应，或者立刻判断刺激 声音"饿"的属性，例如是男声还是女生，或者声音是来自左边还是右边，而对其他几个 非靶刺激不做反应。 3脑电记录
在头皮上安放脑电电极，通过脑电放大装置得到脑电图。发送刺激的同时向脑电采集 系统3发送同步信号及刺激的类型编号，记录数字化脑电信号，并将脑电数据送入LPC电 位的提取部分。脑电电极的位置与使用者LPC成分的空间地形分布有关，研究证明，对于 大部分使用者，以Pz或P3导联为好。记录到的数据首先要进行预处理，主要包括滤波、 去除基线漂移和减少眼电伪迹。滤波的目的是去除低频漂移以及高频干扰，主要是排除50Hz的工频干扰，因此通常采用带通滤波，低端一般为0. 05 0. 5Hz，高端一般为10 15Hz。
(此部分脑电放大与记录多为已有技术) 4特征波形的提取
按照不同的意愿选项分别提取相对应的LPC电位，得到每个意愿选项对应的LPC电位 波形特征。LPC电位的增强有许多种方法，经典方法是相干平均方法。相干平均方法是将 每组的脑电电位以刺激时刻对齐进行平均。增强后的信号，其LPC电位波形特征可以由两 种方式得到，
1) 波峰提取法，即以在LPC窗内(300ms —700ms)最低点和最高点的幅度差作为LPC 波形特征。有没有LPC情况下这个幅度差会有较大的差别。
2) 面积提取法，即以LPC窗内的曲线所包围面积作为LPC波形特征。有没有LPC这 个面积会差很多，因为出现LPC会是一大块的正面积。
5辨识及发送使用者的主观意愿
从上述的处理中，得到码本库中每一个意愿选项对应的LPC波形特征。由于使用者对 听到的目标意愿对应的靶刺激做出"是"的主动心理反应，故靶刺激的对应的LPC波形特 征极其明显，而使用者对非耙刺激不做心理反应，故非靶刺激对应的LPC波形特征不明显 或认为不存在LPC。比较每个意愿选项对应的LPC波形特征，LPC波形特征最明显(幅 度差最大或面积最大)的意愿选项即被判断为目标意愿。计算机4从语音库中调用该意愿 选项的码本内容语句，向使用者及外界(其他人士)发送，完成使用者自主意愿的对外表 达。
6调整系统参数设置
若运作过程中，所述系统表达使用者意愿的正确率不理想，.则表明当前码本库中没有 受试者想要表达的意愿，或者系统的参数配置不适合当前受试者。因此，需要更换码本库， 或者根据受试者的情况，修改系统的参数配置，主要是电极导联的位置以及LPC时间窗的 范围。完成所述修正后重新进行意愿表达。
具体实施例
用本方法，实现一个包含五个方位选择的自主意愿表达系统，系统组成如图l。
所选取的码本库共包含5个意愿选项，码本索引分别为"上"，"下"，"左"，"右"， "中"，相对应的码本内容为"请向上移动"，"请向下移动"，"请向左移动"，"请向右移 动"和"请向中间移动"。从语音库中调用"上"，"下"，"左"，"右"，"中"五个单字语
音，随机排列构成听觉刺激序列2，每个单字语音长度统一为250ms。每个子码本索引语 音都将随机重复出现五次，即此听觉刺激序列2共包含25个单字语音。相邻两个单字语音的间隔为50ms至250ms的随机分布。使用者要表达的目标意愿为五个方位选项中的一 个，比如"左"。则使用者在听到的目标意愿对应的靶刺激(即"左"这个单字语音)时， 心里默想"就是它"等任一种受试者愿意或自然而然的确认反应，而对其他的方位语音刺 激，不做任何心理反应。计算机4发出每个单字语音的同时，向脑电记录设备3发送同步 信号以及刺激类型编号，在脑电信号上标记每次刺激的开始，以便于后面的脑电相干平均 处理。
测试时同步记录脑电图，取标准脑电10-20导联系统中的Pz或者P3电极，耳部为参 考电极，地电极在前额处。
脑电信号的预处理主要包括滤波、去除基线漂移和减少眼电伪迹。滤波的目的是去除 低频漂移以及高频干扰，主要是排除50Hz的工频干扰，因此通常采用带通滤波，低端一 般为0. 05 0. 5Hz，高端一般为10 15Hz。
在此之后进行去基线处理，'其目的是使各导脑电都是平稳的基本为零均值的，这在用 相干平均提取LPC电位时尤为重要。
眼电是最为常见的伪迹，对脑电信号的影响颇为明显，越靠近头皮前额部，影响越显 著。解决这个问题的最简单的办法是去掉包含眼动的那次刺激对应的数据段，即相干平均 时少叠加一次。
下一歩是对各次刺激响应做相干平均，以得到相对显著的诱发电位。将多个实测信号 以时间基准点(刺激开始时刻)对齐，再将与同一时间对应的各样本数据求和平均，即可 确定诱发响应的估计曲线，这种估计方法称为相干平均算法。相干平均算法可将自发脑电 信号的千扰功率减小。进行N次的相干平均，就会把自发信号功率降为1/N。所以说，越 微弱的诱发响应， 一般需要越高的平均次数。
为提取LPC波形特征，需对平均的诱发电位做定量分析。比较通用的方法是前述的波 峰提取法、面积提取法等。图3为结果显示，表示各个意愿选项刺激诱发的LPC成分。如 果靶刺激为"左"，则意愿选项"左"对应的LPC波形特征明显于其他意愿选项的LPC波 形特征。比较各个意愿选项对应的LPC波形特征，选取LPC波形特征最为明显的意愿选项 作为使用者要表达的目标意愿。计算机4从语音库中调用该意愿选项的完整语音，向使用 者和其他人播放，完成使用者自主意愿的对外表达。例如，判断目标意愿为"左"，则向 外发出语句"请向左移动"。
9
权利要求
1. 基于听觉认知神经信号的自主意愿表达方法，其特征在于该方法依次含有以下步骤步骤1，设置用户所要表达意愿的语音码本，其中每一个意愿选项由码本索引和码本内容两部分组成，码本索引是包括中英文单字或数字在内的简短语素，码本内容是一句表达相应意愿的完整语句，码本索引和码本内容的对应语音都存储在计算机中；步骤2，把脑电测试电极放在被检测者头顶稍后的Pz或P3位置或者附近的位置，把参考电极放在被检测者的耳部，接地电极接地，所述各电极得到的脑电信号经放大和模/数变换后送往计算机的USB数字接口；步骤3，用户启动表达意愿的程序后，所述计算机按以下步骤进行处理步骤31，按照随机顺序反复播放码本索引对应的语音，相邻两个语音单元的时间间隔为50ms至250ms的随机值，该语音序列中与用户所要表达的意愿内容对应的码本索引语音，称为靶刺激，其它为非靶刺激；步骤32，用户对听到的目标意愿对应的靶刺激做出主动心理反应，并在脑电波中产生对应的神经响应信号；步骤33，计算机在接收到脑电波后，把每个索引语音刺激所诱发的脑电波型按照语音开始的时间起点对齐，采用包括滤波、相干平均在内的信号增强方法，以及包括波峰提取法、面积提取法、支持向量法在内的任何一种分类方法，分析其中是否存在晚期正成分LPC及其相关成分；步骤34，计算机通过上述方法挑选出的对应晚期正成分LPC最大的索引语音，通过查找步骤1中所述表达意愿的语音码本，得到对应的完整语音内容，通过音箱播放出来，即为使用者当前要表达的目标意愿；步骤4，若通过上述方式表达使用者意愿的正确率不理想，则表明当前码本中没有受试者想要表达的意愿，或者系统的参数配置不合适，因此，需要更换码本，或者根据受试者的情况，修改系统的参数配置，其中包括电极导联的位置以及晚期正成分LPC时间窗的范围，完成所述修正后重新进行意愿表达。
全文摘要
基于听觉认知神经信号的自主意愿表达方法涉及残疾人辅助和人机交互领域，其特征在于该方法依次含有以下步骤将所需要的意愿码本输入计算机，其中的语音索引是简短的中英文或数字语音，索引内容是完整意愿表达的语音；在用户头顶稍后位置安放脑电检测电极；由计算机按照随机顺序反复播放码本索引语音组成的声音序列；用户注意要选择的目标意愿对应的索引语音，并进行声音属性的识别；用脑电放大器记录脑电波，按照索引语音的时间起点分段对齐脑电波形，检测是否存在晚期正成分LPC及相关特征波形；出现特征波形的脑电波对应索引语音定为目标索引，通过意愿码本查找到对应的索引内容，并通过发声设备把相应的表达意愿的语音播放出来。
文档编号G06F3/01GK101464729SQ200910076208
公开日2009年6月24日 申请日期2009年1月5日 优先权日2009年1月5日
发明者波 洪, 婧 郭, 高上凯, 高小榕 申请人:清华大学