一种基于表面肌电信号的手语识别发声系统及方法
【专利摘要】本发明提供一种基于表面肌电信号的手语识别发声系统及方法，该系统包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元，肌电采集单元设置于受试者的手臂肌肉处，惯性测量单元设置于受试者手腕处，肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，处理器单元的输出端连接语音合成单元的输入端；该方法为：采集受试者手臂部的肌电信号和手腕处动作的加速度信号，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出，将手语动作的文本形式转换为声音，输出该手语动作的声音。
【专利说明】
-种基于表面肌电信号的手语识别发声系统及方法
技术领域
[0001] 本发明属于数字信号处理及服务机器人技术领域，具体设及一种基于表面肌电信 号的手语识别发声系统及方法。
【背景技术】
[0002] 手语是聋哑残疾人使用的语言。它是用手势比量动作，根据手势的变化模拟形象 或者音节W构成一定的意思或词语，是一种靠动作和视觉进行交际的特殊语言。然而，手语 是一个庞大而复杂的语言系统，让大多数正常人掌握并应用手语直接与聋哑残疾人进行交 流显然是不现实的。目前聋哑人与正常人之间的沟通仅仅限于W懂手语的正常人做翻译等 手段，在很大程度上限制了聋哑人的交流范围，使得不懂手语的正常人无法对聋哑残疾人 所表达的全面理解，给聋哑残疾人日常生活、工作和学习带来极大的不便。
【发明内容】
[0003] 针对现有技术的不足，本发明提出一种基于表面肌电信号的手语识别发声系统及 方法。
[0004] 本发明的技术方案是：
[0005] -种基于表面肌电信号的手语识别发声系统，包括肌电采集单元、惯性测量单元、 处理器单元和语音合成单元；
[0006] 所述肌电采集单元设置于受试者的手臂肌肉处，所述惯性测量单元设置于受试者 手腕处，所述肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入 端，所述处理器单元的输出端连接语音合成单元的输入端；
[0007] 所述肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元；
[000引所述惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单 元；
[0009] 所述处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进 行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度 信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作W文本形式输 出至语音合成单元；
[0010] 所述语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的 声音。
[0011] 还包括上位机，所述上位机通过RS232串口连接处理器单元，所述肌电采集单元的 输出端和惯性测量单元的输出端均通过蓝牙连接所述上位机；
[0012] 所述上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌 电信号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类 器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个 手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。
[0013] 所述语音合成单元，包括语音合成模块、功放模块和卿趴。
[0014] 所述分类器采用基于高斯混合模型的多流隐马尔科夫模型。
[0015] 所述提取肌电信号的特征值包括肌电信号的均方根、肌电信号的短时傅里叶变换 特征向量和肌电信号的功率谱密度特征值；
[0016] 所述提取加速度信号的特征值包括加速度信号的均方根、加速度信号的短时傅里 叶变换特征向量和加速度信号的功率谱密度特征值。
[0017] 采用基于表面肌电信号的手语识别发声系统进行手语识别发声的方法，包括W下 步骤：
[0018] 步骤1:通过肌电采集单元采集受试者的使用各手语动作时手臂部的肌电信号，通 过惯性测量单元采集受试者的使用各手语动作时手腕处动作的加速度信号，发送至上位 机；
[0019] 步骤2:上位机对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信 号的特征值和加速度信号的特征值；
[0020] 步骤3:上位机将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同 手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模 型库，将各个手语动作的匹配模型库输入处理器单元；
[0021] 步骤4:通过肌电采集单元实时采集受试者的使用手语动作时手臂部的肌电信号， 通过惯性测量单元实时采集受试者的使用手语动作时手腕处动作的加速度信号，发送至处 理器单元；
[0022] 步骤5:处理器单元将实时采集受试者使用手语时的肌电信号和加速度信号进行 预处理，提取肌电信号的特征值和加速度信号的特征值；
[0023] 步骤6:处理器单元将肌电信号的特征值和加速度信号的特征值与各个手语动作 的匹配模型库进行匹配，将匹配到的手语动作W文本形式输出至语音合成单元；
[0024] 步骤7:语音合成单元将手语动作的文本形式转换为声音，输出该手语动作的声 音。
[00巧]本发明的有益效果：
[0026] 本发明提出一种基于表面肌电信号的手语识别发声系统及方法，本发明利用提取 不同特征向量输入多流隐马尔科夫分类器的方法，在离线的情况下得到最佳的手语与信号 的匹配模板，并通过实时采集的表面肌电信号和加速度信号与模板匹配识别聋哑残疾人的 手语，极大程度上提高了识别的实时性和准确性，并将识别结果实时转化为正常人听得懂 的声音，有效减轻了聋哑残疾人与正常人之间的交流障碍。
【附图说明】
[0027] 图1为本发明【具体实施方式】中基于表面肌电信号的手语识别发声系统的结构框 图；
[0028] 图2为本发明【具体实施方式】中采集的受试者手臂部的肌电信号；
[0029] 图3为本发明【具体实施方式】中采集的受试者手腕处动作的加速度信号；
[0030] 图4为本发明【具体实施方式】中四块肌肉的肌电信号功率谱密度谱图；
[0031] 其中，（a)为1号肌肉簇的预处理后的肌电信号；
[0032] (b)为2号肌肉簇的预处理后的肌电信号；
[0033] (C)为1号肌肉簇的功率谱密度(PSD);
[0034] (d)为2号肌肉簇的功率谱密度(PSD);
[0035] (e)为3号肌肉簇的预处理后的肌电信号；
[0036] (f)为4号肌肉簇的预处理后的肌电信号；
[0037] (g)为3号肌肉簇的功率谱密度(PSD);
[0038] 化)为4号肌肉簇的功率谱密度(PSD);
[0039] 图5为本发明【具体实施方式】中S3C2440A处理器的电路图；
[0040] 图6为本发明【具体实施方式】中语音合成单元的结构框图；
[0041 ]图7为本发明【具体实施方式】中基于表面肌电信号的手语识别发声方法的流程图；
[0042] 图8为本发明【具体实施方式】中选取的12种不同手语图；
[0043] 图9为本发明【具体实施方式】中提取12种手语肌电信号的特征值与加速度信号的特 征值分布图。
【具体实施方式】
[0044] 下面结合附图对本发明【具体实施方式】加 W详细的说明。
[0045] -种基于表面肌电信号的手语识别发声系统，如图1所示，包括肌电采集单元、惯 性测量单元、处理器单元和语音合成单元，还包括上位机。
[0046] 肌电采集单元设置于受试者的手臂肌肉处，惯性测量单元设置于受试者手腕处， 肌电采集单元的输出端和惯性测量单元的输出端连接处理器单元的输入端，处理器单元的 输出端连接语音合成单元的输入端，上位机通过RS232串口连接处理器单元，肌电采集单元 的输出端和惯性测量单元的输出端通过蓝牙连接上位机。
[0047] 肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元。
[0048] 本实施方式中，肌电信号采集单元采用的是津发科技有限公司定做的生理信号获 取平台。肌电采集端子通过贴附于受试者皮肤表面的电极片获取电位变化，经过内部放大 电路放大，W无线传输方式实时发送给接收端，该系统可W同时采集16路sEMG等生理信号， 每一导采样频率可W达到4096化，sEMG量程为正负1500UV，共模抑制比达到110DB，干扰噪 声最大小于1.7UV，每个接收端充满电后可W连续使用4~6小时，接收端与采集端最远距离 可达500m，具有极强的跟踪范围，并且采集使用方便快捷。
[0049] 本实施方式中，采集的受试者手臂部的肌电信号如图2所示，图2为"再见"手语的4 块主要肌肉的表面肌电信号。
[0050] 惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元。
[0051] 本实施方式中，惯性测量单元选取的是由荷兰Xsens公司提供的MTi微惯性航姿系 统。MTi为一套微型巧螺仪增强姿态和航向参考系统(A皿S)，通过MTi微惯性航姿系统自带 惯性低功耗微处理器能够得到无漂移地Ξ轴方向和Ξ轴校正地Ξ轴加速度、Ξ轴旋转地加 速度巧螺和Ξ轴地磁场的数据。MTi微惯性航姿系统可W通过串行接口 RS-232或者USB接口 与上位机相连接，可W实时显示采集数据，并且方便后续处理。
[0052] 本实施方式中，采集的受试者手腕处动作的加速度信号如图3所示，MTi微惯性航 姿系统的综合指标如表1所示：
[0053]表1 MTi微惯性航姿系统的综合指标 [0化4]
[0055] 上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信 号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类器的 输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语 动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。
[0056] 本实施方式中，对采集的受试者的肌电信号和加速度信号进行预处理具体包括： 利用己特沃斯滤波器和50化陷波器进行伪迹去除、带通滤波、叠加窗处理优化。
[0057] 本实施方式中，提取肌电信号的特征值包括肌电信号的均方根、肌电信号的短时 傅里叶变换特征向量和肌电信号的功率谱密度特征值。
[0058] 提取加速度信号的特征值包括加速度信号的均方根、加速度信号的短时傅里叶变 换特征向量和加速度信号的功率谱密度特征值。
[0059] 本实施方式中，均方根是最常用的时域特征，能反映一定时间内肌肉放电的平均 水平，被认为是与募集的运动单元数量和肌纤维放电的同步化有关，提取肌电信号的均方 根和加速度信号的均方根的公式如式(1)所示：
[0060]
化）
[0061] 其中，RMS为肌电信号的均方根或加速度信号的均方根，s(t)为预处理后的肌电信 号或预处理后的加速度信号，T为采样时间。
[0062] 本实施方式中，短时傅里叶变换把信号划分成许多小的时间间隔，用傅里叶变换 分析每一个时间间隔，可W确定在那个时间间隔存在的频率，运些频谱的总体表示了频谱 在时间上的变化。
[0063] 本实施方式中，肌电信号的短时傅里叶变换特征向量和加速度信号的短时傅里叶 变换特征向量的计算公式如式(2)所示：
[0064]
(2)
[0065] 其中，Psp(t，w)为肌电信号的短时傅里叶变换特征向量或加速度信号的短时傅里 叶变换特征向量，St( ω )为肌电信号的短时傅里叶变换或加速度信号的短时傅里叶变换如 式(3)所示：
[0066]
(3)
[0067] 其中，h(t-A t)为Wt为中屯、的分析窗。
[0068] 对于每一个不同的时间，都可W得到一个不同的频谱，运些频谱的总体构成了信 号的时-频分布Psp(t，w)，通常称之为"频谱图"。体现出不同肌肉动作时，肌电信号的频谱分 布及其随时间的变化确实呈现出不同的特性。
[0069] 本实施方式中，功率谱密度是结构在随机动态载荷激励下响应的统计结果，是一 条功率谱密度值-频率值的关系曲线。数学上，功率谱密度值-频率值的关系曲线下的面积 就是方差，即响应标准偏差的平方值。随机信号的功率谱密度用来描述信号的能量特征随 频率的变化关系。
[0070] 功率谱密度估计：随机信号的功率谱与自相关函数互为傅里叶变换的关系，运两 个函数分别从频率域和时间域来表征随机信号的基本特征。随机信号的功率谱与自相关函 数互为傅里叶变换的关系，运两个函数分别从频率域和时间域来表征随机信号的基本特 征。其中分为线性估计和非线性估计，在非线性估计里最常用的是最大赌估计。
[0071] 本实施方式中，使用基于Burg算法的最大赌估计方法得到肌电信号的功率谱密度 特征值和加速度信号的功率谱密度特征值，最大赌估计，即将具有功率谱密度的信号看成 由白噪声所激励的物理网络所形成。通过Burg算法进行功率谱估计时是使前后向预测误差 功率和最小。当阶次由1增大时在前述约束下，利用递推关系求解模型阶次和AR系数，最终 求出肌电信号的功率谱密度特征值和加速度信号的功率谱密度特征值。此方法最突出的优 点是具有较高的分辨率。最终得到的4块肌肉簇的肌电信号功率谱密度如图4所示。
[0072] 分类器采用基于高斯混合模型的多流隐马尔科夫模型。本实施方式中，隐马尔科 夫模型：用于时序信号特征识别的基本工具，具有很强的描述信号时空变化能力，尤其是对 非平稳生理信号。
[0073] 隐马尔科夫模型描述了一组双重随机过程，将肌电信号特征值和加速度信号特征 值作为隐马尔科夫模型的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输 入隐马尔科夫模型，输出为由隐马尔科夫模型产生该特征值的似然概率。
[0074] 多流隐马尔科夫模型：多流模型框架为多元信息融合提供了一种高效便利的方 法，本发明中采用加速度(ACC)信号和表面肌电（sEMG)信号进行多流隐马尔科夫模型(HMM) 融合，可W显著提高低信噪比情况下的语音识别准确性。
[0075] 本实施方式中，一个待识别的动作的观测序列0由K个流组成，如式(4)所示：
[0076] 〇={〇(k)|k = l，2，，，，K} (4)
[0077] 其中，〇W为对应每个流的特征序列，〇W二，则对每个动作 类别建立的多流隐马尔科夫模型λ具有Κ个子模型区如式(5)所示：
[007引 A={A(k)|k = l，2，，，，K} (5)
[0079] 其中，λ?为第k个子模型区的隐马尔科夫模型如式(6)所示：
[0080] A(k) = (A，B，JT)(k) (6)
[0081] 其中，4=^1^为转移概率矩阵，其中化代表由第i个状态跳转到第j个状态的概 率，aij>0，1《i，j《N，
1引' < Λ/·，N为所选的状态数，31 = [Jii]为初始概率向量， Κι为每个状态初始概率，B为肌电信号的概率密度函数矩阵或加速度信号的概率密度函数 矩阵如式(7)所示：
[0082] B={bj(〇t)} (7)
[0083] 其中也(ot)为j状态下观测符号ot的概率密度，ot为肌电信号的特征序列第t个时 刻的特征值或加速度信号的特征序列第t个时刻的特征值。
[0084] 多流隐马尔科夫模型中，观测序列0的识别结果可W表述为由该序列取得最大评 估概率的模型所对应的类别如式(8)所示：
[0085]
(8)
[00化]其中，1为观测序列0的最大评估概率的模型所对应的类别，即该动作手语的匹配 模型。其中，ρ(0|λ)为在每个动作类别建立的多流隐马尔科夫模型λ条件下，得到观测序列0 的条件概率，如式(9)所示：
[0087]
(9)
[008引其中，wk为多流数据融合的权值l《k《K
[0089] 本实施方式中，肌电信号特征序列和加速度信号特征序列作为多流隐马尔科夫模 型的输入，如式(10)所示：
[0090] logP(0|λ)=wlo评(0(A)|λ(A)) + (l-w)logP(0似|λ似） (10)
[0091] 其中，〇w为加速度信号特征值序列，0^为肌电信号特征值序列，χω为加速度信 号生成的多流隐马尔科夫模型，为加速度信号生成的多流隐马尔科夫模型，W为权值，W 二 0~1。
[0092] 本实施方式中，Ww为权值进行加权处理，对每一个数据流的模型参数λ使用标准 Baum-Welch算法即前向算法，进行训练建模。
[0093] 处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预 处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号 的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作W文本形式输出至 语音合成单元。
[0094] 本实施方式中，处理器单元选用S3C2440A处理器，如图5所示，S3C2440处理器是 Samsung公司基于ARM公司的ARM920T处理器核，为32位微控制器。S3C2440处理器拥有：独立 的16邸指令化che和16邸数据化che，MMU，支持TFT的LCD控制器，NAND闪存控制器，3路UART， 4路014,4路带？￥1的111116'，1/0口，1?1'(：，8路10位40(：，1'〇11油5沈6611接口，11(：-81]5接口，115- BUS接口，2个USB主机，1个USB设备，SD主机和MMC接口，2路SPI eS3C2410处理器最高可运行 在203MHz。其丰富的功能单元为系统功能的实现及W后的升级拓展提供了保障。
[0095] 语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。
[0096] 本实施方式中，语音合成单元，包括语音合成模块、功放模块和卿趴。
[0097] 本实施方式中，语音合成模块选用国内科大讯飞公司生产的XFS3031CNP中文语音 合成忍片。如图6所示，语音合成模块XFS3031CNP的R拙引脚和T拙引脚连接处理器单元， XFS3031CNP的AUDIO引脚连接功放模块，功放模块的AUDIO引脚连接卿趴。
[009引 XFS3031CNP中文语音合成忍片，采用64脚封装，忍片尺寸lOmmX lOmmX 1.4mm。相 对于入口级忍片，采用智能的文本韵律处理方法和压缩编码方式，使得发音人音色柔和甜 美，带来舒适的听觉感受，支持任意中文文本的合成，可W采用GB2312、G服、BIG5和UNICODE 四种编码方式;忍片支持多种文本控制标记，同时可通过发送"合成命令"发送文本控制标 记，调节音量、设置数字读法、设置静音时间等。此外忍片支持查询忍片的工作状态、多种控 制命令、低功耗模式。被广泛用在车载GPS调度终端、信息机、自动售货机、智能仪器、智能玩 具等众多领域。
[0099] 本实施方式中，功放模块选用TPA3123D2功率放大器，，采用节省空间的表面贴装 24引脚TSS0P封装，工作电压范围10V~30V，在VCC = 24V时输出功率为20w，最大输出功率为 25W(工作电压24V，负载4欧）；输出功率25W(工作电压27V，负载4欧）。内含左右两个声道音 频功放电路，并可W驱动低至4个立体扬声器。
[0100] 采用基于表面肌电信号的手语识别发声系统进行手语识别发声的方法，如图7所 示，包括W下步骤：
[0101] 步骤1:通过肌电采集单元采集受试者的使用各手语动作时手臂部的肌电信号，通 过惯性测量单元采集受试者的使用各手语动作时手腕处动作的加速度信号，发送至上位 机。
[0102] 本实施方式中，选取12种不同手语图如图8所示，包括："你"、"我"、"好"、"再见"、 "谢谢V'敬礼"、"高兴"、"失堂V'抵V'渺V'听"、"说巧'。
[0103] 步骤2:上位机对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信 号的特征值和加速度信号的特征值。
[0104] 本实施方式中，提取12种手语肌电信号的特征值与加速度信号的特征值分布图如 图9所示。
[0105] 步骤3:上位机将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同 手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模 型库，将各个手语动作的匹配模型库输入处理器单元。
[0106] 步骤4:通过肌电采集单元实时采集受试者的使用手语动作时手臂部的肌电信号， 通过惯性测量单元实时采集受试者的使用手语动作时手腕处动作的加速度信号，发送至处 理器单元。
[0107] 步骤5:处理器单元将实时采集受试者使用手语时的肌电信号和加速度信号进行 预处理，提取肌电信号的特征值和加速度信号的特征值。
[0108] 步骤6:处理器单元将肌电信号的特征值和加速度信号的特征值与各个手语动作 的匹配模型库进行匹配，将匹配到的手语动作W文本形式输出至语音合成单元。
[0109]步骤7:语音合成单元将手语动作的文本形式转换为声音，输出该手语动作的声 音。
【主权项】
1. 一种基于表面肌电信号的手语识别发声系统，其特征在于，包括肌电采集单元、惯性 测量单元、处理器单元和语音合成单元； 所述肌电采集单元设置于受试者的手臂肌肉处，所述惯性测量单元设置于受试者手腕 处，所述肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，所 述处理器单元的输出端连接语音合成单元的输入端； 所述肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元； 所述惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元； 所述处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预 处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号 的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至 语音合成单元； 所述语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。2. 根据权利要求1所述的基于表面肌电信号的手语识别发声系统，其特征在于，还包括 上位机，所述上位机通过RS232串口连接处理器单元，所述肌电采集单元的输出端和惯性测 量单元的输出端均通过蓝牙连接所述上位机； 所述上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信 号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类器的 输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语 动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。3. 根据权利要求1所述的基于表面肌电信号的手语识别发声系统，其特征在于，所述语 音合成单元，包括语音合成模块、功放模块和喇叭。4. 根据权利要求2所述的基于表面肌电信号的手语识别发声系统，其特征在于，所述分 类器采用基于高斯混合模型的多流隐马尔科夫模型。5. 根据权利要求1或2所述的基于表面肌电信号的手语识别发声系统，其特征在于，所 述提取肌电信号的特征值包括肌电信号的均方根、肌电信号的短时傅里叶变换特征向量和 肌电信号的功率谱密度特征值； 所述提取加速度信号的特征值包括加速度信号的均方根、加速度信号的短时傅里叶变 换特征向量和加速度信号的功率谱密度特征值。6. 采用权利要求1所述的基于表面肌电信号的手语识别发声系统进行手语识别发声的 方法，其特征在于，包括以下步骤： 步骤1:通过肌电采集单元采集受试者的使用各手语动作时手臂部的肌电信号，通过惯 性测量单元采集受试者的使用各手语动作时手腕处动作的加速度信号，发送至上位机； 步骤2:上位机对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的 特征值和加速度信号的特征值； 步骤3:上位机将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语 动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型 库，将各个手语动作的匹配模型库输入处理器单元； 步骤4:通过肌电采集单元实时采集受试者的使用手语动作时手臂部的肌电信号，通过 惯性测量单元实时采集受试者的使用手语动作时手腕处动作的加速度信号，发送至处理器 单元； 步骤5:处理器单元将实时采集受试者使用手语时的肌电信号和加速度信号进行预处 理，提取肌电信号的特征值和加速度信号的特征值； 步骤6:处理器单元将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹 配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元； 步骤7:语音合成单元将手语动作的文本形式转换为声音，输出该手语动作的声音。
【文档编号】A61B5/00GK105919591SQ201610227041
【公开日】2016年9月7日
【申请日】2016年4月12日
【发明人】王斐, 周杰, 甘昆鹭, 李师宁, 赵树森, 刘万佳
【申请人】东北大学