基于语音与肌电信息识别的假肢控制系统和方法

专利名称：基于语音与肌电信息识别的假肢控制系统和方法
基于语音与肌电信息识别的假肢控制系统和方法
技术领域：
本发明涉及假肢技术，尤其是涉及一种假肢控制系统和方法。背景技术：
据国家统计局2006年对我国残疾人口抽样调查数据推算，在全国各类残疾人中， 肢体残疾人口最多，为2412万人，占总残疾人口的29. 07%。由于意外事故、先天缺陷、疾 病、自然灾害等原因，肢体残疾人口还在不断增加。仅在2008年5月的四川汶川大地震中， 就有2万多人失去了肢体。这些截肢人士，需要穿戴人工肢体以辅助其日常生活和工作。目前，国内外的商业化人工肢体有机械索控假肢、肌电假肢和肌电索控混合假肢。传统的机械索控假肢是利用假肢使用者的自身力源，通过残留肢体的机械动作拉 动绳索或链条来操控假肢的肘关节及手部装置。由于控制方法的固有局限，机械索控假肢 存在着功能单一、操控缓慢、动作笨拙、维护困难等问题。近几十年以来，从肢体表面记录的肌电信号(electromyogram，EMG)被广泛用于 人工上肢的控制中。肌电式人工上肢给上肢截肢的残疾人提供了改进生活质量的机会，即 使不能像自然上肢活动那么自如，肌电假肢也可以帮助他们恢复上肢一些本能的、基本的 生理功能，辅助其日常生活。截肢者残留肌肉收缩时，会发生复杂的生化反应，在皮肤表面 产生可被测取的微小电位差，这种肌电电位差信号被电极传感器获取，经放大器进行放大， 成为控制信号，输入微处理器，再由微处理器发出活动指令，通过微型马达等驱动系统带动 假肢关节张合。目前的肌电假肢利用一对残留肌肉(主缩肌与拮抗肌)控制一个动作自由度。肢 体截肢后，肌电信息源是有限的，截肢的程度越高，残留的肢体肌肉越少，而需要恢复的肢 体动作越多。因此，用这种传统的肌电控制方式实现假肢的多自由度控制是非常困难的。为 了利用一对肌肉控制更多的运动自由度，肌电假肢增加了肢体动作“模式”切换功能。“模 式”的切换是利用同时使一对肌肉“收缩(co-contraction)”或附加开关来实现的。假设一 个3自由度人工上肢的模式切换顺序为手部-腕部-肘部，如果当前假肢的“模式”是手 部动作，而假肢使用者下一步想做肘部的动作，他们需要使一对肌肉同时“收缩”产生肌电， 实现假肢的动作“模式”从手部切换到腕部；再次使这对肌肉同时“收缩”，从而从腕部切换 到肘部。然后，假肢使用者可以利用两个EMG电极分别控制假肢的两个不同的肘部动作，例 如前臂的抬起与放下。这种模式切换的方法使得使用者的训练过程漫长，精神负担大。高 自由度的肌电假肢需要更多的运动类型控制信号和自由度转换信号，以三自由度肌电假肢 为例，不同的自由度间只能进行顺序转换，即如果从自由度1到自由度3，不能直接进行转 换，而必须先转换到自由度2，再从那自由度2转换到自由度3。使用者需要练习控制肌肉进 行不同程度的收缩，进行手掌、腕部和肘部的运动，显而易见，这个训练过程及其的困难、痛 苦。如果需要做一个三个自由度的运动，必须先控制肌肉收缩依次转换到每个自由度下，再 控制肌肉收缩做该自由度下的运动，这样耗费了大量的时间和精力，增加了使用者的负担。 由于操控过程的繁琐性，导致假肢的使用不便。
发明内容有鉴于此，有必要提供一种提高使用便利性的假肢控制系统。一种假肢控制系统，包括语音信号模块、肌电信号模块、控制模块及驱动假肢运动 的驱动模块，所述语音信号模块采集语音信号并将所述语音信号发送至所述控制模块，所 述控制模块根据所述语音信号选择假肢活动的自由度；所述肌电信号模块采集肌电信号并 将所述肌电信号发送至所述控制模块，所述控制模块根据所述肌电信号及所述自由度控制 所述驱动模块驱动假肢运动。优选地，所述控制模块还根据所述语音信号确定在所述自由度上的运动方向。优选地，所述控制模块还根据所述肌电信号确定在所述自由度上的运动方向。优选地，所述控制模块还根据所述肌电信号确定运动的开始、停止及速度。优选地，所述控制模块包括语音识别单元，所述语音识别单元采用模板匹配法识 别所述语音信号与所述自由度的对应关系。优选地，所述语音信号模块包括采集语音的传感器，所述传感器为听诊式语音传 感器。优选地，所述语音信号模块还包括信号预处理单元和信号传输单元，所述信号预 处理单元包括对所述传感器采集的语音信号进行放大的放大器、将放大后的语音信号进行 滤波的滤波器、及对语音信号进行模数转换的模数转换器，所述信号传输单元采用无线信 号将所述语音信号传输至所述控制模块。优选地，所述无线信号采用蓝牙无线技术或802. 11无线通讯技术。另外，还有必要提供一种提高使用便利性的假肢控制方法。一种假肢控制方法，包括如下步骤采集语音信号；根据所述语音信号选择假肢 活动的自由度；采集肌电信号；根据所述肌电信号及所述自由度控制假肢运动。优选地，还包括根据所述语音信号确定在所述自由度上的运动方向或根据所述肌 电信号确定在所述自由度上的运动方向的步骤。优选地，所述采集语音信号的步骤为通过听诊式语音传感器采集耳语语音获得所 述语音信号。上述假肢控制方法及系统通过语音控制选择自由度，降低了对肌电信号的依赖， 提高了假肢使用的便利性。

图1为假肢控制系统的模块图；图2为语音信号模块的模块图；图3为语音信号模块的结构示意图。
具体实施方式如图1所示，其为假肢控制系统的模块图。假肢控制系统100包括语音信号模块 110、肌电信号模块120、控制模块130及驱动模块140。控制模块130对语音信号模块110 及肌电信号模块120采集的信号进行分析处理，根据分析处理结果控制驱动模块140驱动假肢执行相应的动作。具体而言，控制模块130根据语音信号模块110采集的语音信号选 择假肢活动的自由度，例如选择是手部活动、腕部活动或肘部活动等。在确定假肢活动的自 由度后，根据肌电信号模块120采集的肌电信号控制驱动模块140驱动假肢在选定的自由 度上运动，其中运动的起止时间及运动的速度由肌电信号确定。在一个自由度上的运动方 向可以根据语音信号来确定，也可以根据肌电信号来确定。语音信号模块110采集语音信号并将语音信号发送至控制模块130。如图2所示， 语音信号模块110包括采集语音的传感器112、信号预处理单元114和信号传输单元116。本实施方式中传感器112为听诊式语音传感器。传统的语音识别技术采集的声音 信号，是使用带有数字采样和处理的外部麦克，探测通过空气传播的语音信号，但是这种方 法是极易受到外部噪声影响的。特别是在嘈杂的环境中多个人同时发出的声音被麦克采 集，使用者的声音混淆其中，识别系统很难判断出哪个是真正的指令，从而产生错误的识别 结果。此外，在公共场合使用语音识别系统的人，也会面对在有别人的场合直接对机器说话 而感到尴尬。本实施方式通过听诊式语音传感器采集的声音信号是耳语语音(whisper)，使 用者以低音发音说出相应语音指令，这些指令不需要经过空气传播被麦克采集，而是通过 附着在耳后部的听诊式语音传感器采集经头部软组织传播的无声带振动语音信号。在这个 位置，麦克是附着在一块厚肌肉上，颈动脉的振动噪声很难混合进来，而耳朵后面的下方部 分处于头发和胡须的分界线上，是一块不会生长出毛发的光滑皮肤，有利于听诊式语音传 感器的附着，因此很适合本技术方案的实现。听诊式语音传感器类似于去掉传播管的医用听诊器，嵌入到听诊式语音传感器中 的小型电容话筒可以用于感知耳语产生的头部肌肉震动。把它放置在下颂骨处，可以感知 一些很小声的、周围人甚至是使用者本身都听不见的耳语语音。图3展示了语音信号模块 110的结构，其中，听诊式语音传感器包括吸盘310、固定盘320、电容话筒330和壳体340。 弹性树脂吸盘310附着在商用聚酯固定盘320 (40mm直径)上，固定盘320也被用作振动盘， 这两部分组成了一个微型回声空间312，同时固定盘320可以帮助传感器附着在皮肤上。电 容话筒330通过微回声空间312的小孔314采集软组织的振动(即耳语语音)，将其转化 为可识别的电信号。吸盘310安装在合成橡胶壳体340上。这种附着在皮肤上的传感器不 会给人不舒服的感觉，就好像带着双耳式耳机一样，使用着即使连续佩戴24小时也没有问 题。电容话筒330上方的集成芯片350包括信号预处理单元114和信号传输单元116。 信号预处理单元114包括对所述传感器采集的语音信号进行放大的放大器、将放大后的语 音信号进行滤波的滤波器及对语音信号进行模数转换的模数(A/D)转换器。由于本技术使 用的是耳语语音，因此电容话筒330采集得到的语音信号非常微弱，需要先经过高性能、低 噪声、低功耗的麦克放大器放大信号，这样在无线传输中才不会发生丢失信号的情况；然后 低通滤波去掉信号中混杂的一些生理噪声；由于肌电控制器处理的是数字信号，因此还需 要对电容话筒采集的语音信号进行A/D转换，将它从模拟信号变成数字信号。信号传输单元116中的无线传输电路采用蓝牙(Bluetooth)技术实现，它采用的 是一种扩展窄带信号频谱的数字编码技术，通过编码运算增加了发送比特的数量，扩大了 使用的带宽。工作频段为2. 4GHz，可以为电器设备提供联网和数据传输的功能，将使来自各 个设备制造商的设备能以同样的"语言"进行交流。在技术上，它是应用跳频扩展频谱新技术解决干扰的问题。跳频技术是把频带分成若干个跳频信道(hopcharmel)，在一次连接 中，无线电收发器按一定的码序列(即一定的规律，技术上叫做"伪随机码"，就是"假" 的随机码)不断地从一个信道"跳"到另一个信道，只有收发双方是按这个规律进行通信 的，而其它的干扰不可能按同样的规律进行干扰。跳频扩频使得带宽上信号的功率谱密度 降低，从而大大提高了系统抗电磁干扰、抗串话干扰的能力，使得蓝牙的无线数据传输更加 可靠。在本实施方式中应用蓝牙无线技术将数字语音信号从语音信号模块110传输到控制 模块130中，由控制模块130对信号进行识别处理。在其他实施方式中，还可以采用其他无 线信号传输的方式，例如采用802. 11无线通讯技术(如802. Ilp,802. 15. 4(即zigbee无 线网络技术)等)替代蓝牙无线技术。肌电信号模块120采集肌电信号并将肌电信号发送至控制模块130。肌电信号的 采集是通过放置在使用者皮肤表面的双极电极实现的，双极电极可以感应表面肌电信号的 变化，将其转换为电信号输出到控制模块130中。控制模块130与语音信号模块110及肌电信号模块120连接，接收语音信号及肌 电信号并对语音信号及肌电信号进行分析处理。对于语音信号的分析处理包括根据语音信号选择假肢活动的自由度，例如选择是 手部活动、腕部活动或肘部活动等。控制模块130包括语音识别单元，语音识别单元采用模 板匹配法识别语音信号与自由度的对应关系。由于需要用到的自由度数量并不多，语音识 别仅需要识别几个简单的词汇，属于小词汇表、孤立词、特定人语音识别系统，不需要复杂 的语音识别算法，故采用模板匹配方法。语音识别的训练过程是逐帧提取语音信号特征，生 成语音命令模板并将其存储在控制模块130中。识别时，语音识别单元提取语音信号特征， 进行相似度比较，从而寻找到一个最相似的匹配模板，并将匹配模板的序号输出，控制模块 130根据该序号发出控制信号，完成语音信号的识别。除了模板匹配的方法外，还可以使用 其它语音识别方法来实现，例如，隐马尔科夫模型(HiddenMarkov Model, HMM)等。对于假肢的运动有多个决定因素，包括运动位置的选择，即自由度的选择，运动方 向的确定(在一个自由度上有两个相反的运动方向)，运动的起始时间、运动速度、运动的 截止时间。其中，自由度的选择由语音信号确定；运动方向既可以由语音信号来确定，又可 以由肌电信号来确定；运动的起始时间、运动速度、运动的截止时间由肌电信号来确定。在使用语音信号来确定运动方向时控制模块130中设置与运动方向匹配的模 板，语音识别单元识别的结果包含运动方向的信息即可。肌电信号模块120是通过一个置 于残留肌肉表面的双极电极实现的，这个残留肌肉可以是主缩肌也可以是拮抗肌，得到单 通道的表面肌电信号，通过控制模块130分析、处理后，控制目标动作的执行过程，即动作 开始、停止及速度。本方案是通过训练语音识别单元“记忆”假肢所有的动作类型(如手张 开/闭合、腕内/外转及肘关节弯曲/伸展等动作)，摒弃了目前商业假肢的自由度模式转 换方案。将训练后的语音识别单元嵌入到多自由度(模式)的上臂假肢控制模块130中， 实现假肢运动的动作类型选择；并用从一个双极电极获得单通道肌电信息，并用肌电信号 的幅值控制动作的开始、停止与速度，即当肌电幅值大于一个给定的“阈值”时，假肢开始执 行目标动作，动作的执行速度与肌电幅值大小成正比；当肌电幅值小于给定的“阈值”时，假 肢动作停止。使用者在动作时，先发出相应的语音命令，语音识别单元识别出对应的动作类 型(包含选择的自由度及其运动方向)，控制模块130输出控制命令动作假肢接受命令，转换到该动作类型模式；然后收缩肌肉，根据肌电信号幅值大小决定假肢动作的开始、停止与 速度，控制模块130再次输出控制命令，驱动模块140根据接收到的开始、停止与速度等信 息驱动假肢执行目标动作类型。在使用肌电信号来确定运动方向时控制模块130中仅需设置与选择自由度匹配 的模板即可，语音识别单元识别的结果则只包含选定的自由度信息。肌电信号模块120的 肌电信号采集是通过放置在一对残留肌肉(主缩肌与拮抗肌)上的一对双极电极实现的， 得到双通道的表面肌电信号，通过控制模块分析、处理后，分别控制一个自由度中的两个动 作。例如可以用两个通道的肌电信号的大小关系来确定在一个自由度中的运动方向。通过 训练语音识别单元“记忆”不同自由度的动作模式(如肘、腕和手等)的，将训练后的语音 识别单元嵌入到多自由度(模式)的上臂假肢控制模块中，实现假肢动作的“模式”切换控 制；并用从一对双极电极获得的肌电信息训练一个肌电信息分类器，肌电分类器“记住”一 个自由度下的两种动作模式。使用者在动作时，先发出相应的语音命令，语音识别单元识别 出对应的自由度，控制模块输出命令，动作假肢接受命令切换到目标自由度下；然后收缩肌 肉，通过肌电分类器识别出该自由度下要做的动作类型，控制模块130再输出命令，驱动模 块140驱动假肢做出该自由度下的目标动作。驱动模块140包括驱动电路和驱动马达，驱动电路在接收到控制模块130发送的 命令时，根据命令输出相应的电信号，驱动马达在收到该电信号时确定转动方向和转动速 度，从而驱动假肢做出相应的动作。上述假肢控制系统的工作过程可以概括归纳为如下假肢控制方法首先，采集语音信号，优选为通过听诊式语音传感器采集耳语语音获得语音信号， 并通过蓝牙无线方式传输该语音信号，增加使用的便利性。根据所述语音信号选择假肢活动的自由度。对于上臂截肢的使用者，有手部、腕部 和肘部三个自由度，根据对语音信号的识别结果选择相应的自由度。当然，自由度的数量也 可以是两个、四个或者五个以上。采集肌电信号。通过放置在使用者皮肤表面的双极电极感应皮肤表面肌电信号的 变化，将其转换为电信号输出。根据所述肌电信号及所述自由度控制假肢运动，在选定的自由度上由所述肌电信 号控制假肢运动。其中的运动方向可以由语音信号确定，也可以由肌电信号确定。上述假肢控制系统和方法可以达到如下效果(1)降低了使用者在训练过程中的难度不需要进行残留肌肉的多种收缩状态训 练，减轻了使用者的精神负担，使用者只需要在使用前在假肢中保存自己的控制指令，需要 假肢动作时通过听诊式语音传感器输入语音指令即可。(2)降低了使用者穿戴假肢难度目前的肌电假肢都是要在使用着的残留肌肉上 安放多个电极获取肌电信号的，使用者每次穿戴假肢时都必须将这些电极放置在正确的位 置上，而上述假肢控制系统和方法可以只使用了一个至两个电极，使得假肢穿戴过程简化， 节省了使用者大量的时间；(3)提高假肢的使用率由于传统假肢控制的繁琐性，据调查目前的假肢佩戴者 有50%的人不经常使用他们的假肢，而难度的降低将使更多的人经常使用他们的假肢；(4)降低假肢生产成本目前的商业化多自由度假肢，需要安装大量电极和开发功能更强大的假肢控制器，因此造成假肢价格昂贵，超出了残疾人家庭的负担程度；而上述 假肢控制系统和方法只需要加一个简单的听诊式语音传感器和相应的语音识别模块，就可 以大大提高假肢的运动效率和性能，成本增加相对低廉。 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并 不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员 来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保 护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
一种假肢控制系统，包括驱动假肢运动的驱动模块，其特征在于，所述假肢控制系统还包括语音信号模块、肌电信号模块及控制模块，所述语音信号模块采集语音信号并将所述语音信号发送至所述控制模块，所述控制模块根据所述语音信号选择假肢活动的自由度；所述肌电信号模块采集肌电信号并将所述肌电信号发送至所述控制模块，所述控制模块根据所述肌电信号及所述自由度控制所述驱动模块驱动假肢运动。
2.根据权利要求1所述的假肢控制系统，其特征在于，所述控制模块还根据所述语音 信号确定在所述自由度上的运动方向。
3.根据权利要求1所述的假肢控制系统，其特征在于，所述控制模块还根据所述肌电 信号确定在所述自由度上的运动方向。
4.根据权利要求1或2或3所述的假肢控制系统，其特征在于，所述控制模块还根据所 述肌电信号确定运动的开始、停止及速度。
5.根据权利要求1所述的假肢控制系统，其特征在于，所述控制模块包括语音识别单 元，所述语音识别单元采用模板匹配法识别所述语音信号与所述自由度的对应关系。
6.根据权利要求1所述的假肢控制系统，其特征在于，所述语音信号模块包括采集语 音的传感器，所述传感器为听诊式语音传感器。
7.根据权利要求6所述的假肢控制系统，其特征在于，所述语音信号模块还包括信号 预处理单元和信号传输单元，所述信号预处理单元包括对所述传感器采集的语音信号进行 放大的放大器、将放大后的语音信号进行滤波的滤波器、及对语音信号进行模数转换的模 数转换器，所述信号传输单元采用无线信号将所述语音信号传输至所述控制模块。
8.根据权利要求7所述的假肢控制系统，其特征在于，所述无线信号采用蓝牙无线技 术或802. 11无线通讯技术。
9.一种假肢控制方法，其特征在于，包括如下步骤采集语音信号；根据所述语音信号选择假肢活动的自由度；采集肌电信号；根据所述肌电信号及所述自由度控制假肢运动。
10.根据权利要求9所述的假肢控制方法，其特征在于，还包括根据所述语音信号确定 在所述自由度上的运动方向或根据所述肌电信号确定在所述自由度上的运动方向的步骤。
11.根据权利要求9所述的假肢控制方法，其特征在于，所述采集语音信号的步骤为通 过听诊式语音传感器采集耳语语音获得所述语音信号。
全文摘要
一种假肢控制系统，包括语音信号模块、肌电信号模块、控制模块及驱动假肢运动的驱动模块，所述语音信号模块采集语音信号并将所述语音信号发送至所述控制模块，所述控制模块根据所述语音信号选择假肢活动的自由度；所述肌电信号模块采集肌电信号并将所述肌电信号发送至所述控制模块，所述控制模块根据所述肌电信号及所述自由度控制所述驱动模块驱动假肢运动。此外，还提供了一种假肢控制方法。上述假肢控制方法及系统通过语音控制选择自由度，降低了对肌电信号的依赖，提高了假肢使用的便利性。
文档编号A61F2/72GK101987047SQ200910109090
公开日2011年3月23日 申请日期2009年8月3日 优先权日2009年8月3日
发明者刘欣, 周睿, 李光林 申请人:深圳先进技术研究院