一种可穿戴式手语识别装置及手语翻译方法与流程

本发明涉及手语翻译系统领域，尤其涉及一种可穿戴式手语识别装置及手语翻译方法，具体是基于多轴运动传感器与肌肉电信号的运动姿态解算与模式识别技术将手语翻译为语音或文字的实时人机交互系统。

背景技术：

手语是语言或听觉障碍者与人沟通的主要工具，而普通人中能够熟练使用手语的比例较低。因此，语言或听觉障碍者与普通人沟通存在诸多不便。由于手语种类多，以中国手语词汇为例，共有5000余个手势词；手语动作动态变化等特点，使得手语识别技术尚未取得广泛的应用。

通过手语识别技术，将手语动作翻译为普通人可以听懂的语音或者可以看懂的文字，能够跨越语言或听觉障碍者与普通人之间的沟通障碍，提高语言或听觉障碍者的生活质量。

目前对于手势识别的主要技术方案有基于数据手套采集关节角度信息，但是数据手套的佩戴限制了语言或听觉障碍者的日常生活；基于图像处理的手势识别方式受环境的限制，且在便携方面不具有优势。此外，中国专利申请号为：201410376205.X的“基于肌电信号和运动传感器的手语翻译和显示发声系统”提出一种通过佩戴在手臂上的设备，采集手臂肌电信号和多轴运动传感器信号，但依据其原理只能检测手指与前臂的姿态，不能检测手掌与手臂的相对姿态，而手语动作中手掌与手臂的相对姿态对于手语动作的区分具有重要意义；依据其所述原理不具有反馈功能，听觉障碍者无法确定翻译系统是否正常工作，所以此方法存在技术缺陷。

技术实现要素：

有鉴于现有技术的不足，本发明所要解决的技术问题是提供一种简单准确的可穿戴式手语识别装置。

为实现上述目的，本发明提供了一种可穿戴式手语识别装置，通过臂环的肌肉电信号传感器实时采集手臂的肌肉电信号检测手指的运动姿态，通过指环以及臂环的多轴运动传感器实时采集手掌与手臂的相对姿态以及手臂在三维空间的姿态，采用模式识别的方式，实现手语识别，并通过上位机将翻译结果以语音或文字的形式输出。具体地，本发明提供的技术方案如下：

一种可穿戴式手语识别装置，包括穿戴设备端和上位机端；穿戴设备端包括可穿戴的指环和臂环，指环上具有手掌处多轴运动传感器；臂环上具有至少一个第一模块、一个或多个第二模块以及固定第一模块和第二模块的臂带，第一模块包括肌肉电信号传感器、前臂处多轴运动传感器、微处理器、反馈部件以及第一通讯模块，第二模块包括肌肉电信号传感器；肌肉电信号传感器、前臂处多轴运动传感器、反馈部件、第一通讯模块以及手掌处多轴运动传感器都与微处理器连接，微处理器用于读取和处理肌肉电信号传感器、前臂处多轴运动传感器和手掌处多轴运动传感器采集的信息，反馈部件用于向使用者反馈提示信息；上位机端包括上位机和第二通讯模块，微处理器通过第一通讯模块和第二通讯模块与上位机交互信息。

优选地，上位机端还包括与上位机连接的交互设备，交互设备被设置为用于对上位机识别的手语进行语义校正及语法矫正。

优选地，多通道肌肉电信号传感器包括多通道肌肉电信号电极、滤波电路以及放大电路。

优选地，上位机为智能手机、平板电脑等移动终端设备。

优选地，臂带采用可伸缩材料制成。

优选地，手掌处多轴运动传感器和前臂处多轴运动传感器均包括三轴加速度计、三轴角速度计和三轴磁力计。

优选地，提示信息包括振动、声音、显示屏、信号灯等反馈提示方式。

一种使用上述可穿戴式手语识别装置的手语翻译方法，包括如下步骤：

1)选择上位机模式为训练，根据手语动作训练分类器并得到手语分类器集，储存于上位机中；

2)选择上位机模式为识别，根据手语动作的信号得到分类器集，与储存在上位机中的手语分类器集匹配并输出识别结果；

3)通过上位机的交互设备对识别结果进行语义校正及语法矫正，并以语音或文字的形式输出，用户完成一句话的手语动作后反馈部件提示用户语音是否翻译完成。

优选地，步骤1)的训练过程包括以下步骤：

a)通过手掌处多轴运动传感器和前臂处多轴运动传感器对手语动作进行姿态解算，提取特征并训练第一训练分类器；

b)通过多通道肌肉电信号传感器对手语动作进行分窗处理，提取特征并训练第二训练分类器；

c)将第一训练分类器和第二训练分类器信息进行分类器融合，得到手语分类器集，将所得手语分类器存储在上位机中。

优选地，步骤2)的识别过程包括以下步骤：

a)由手掌处多轴运动传感器对手语动作进行姿态解算，判断单手动作和双手动作；

b)由多通道肌肉电信号传感器对手语动作进行端点检测，使连续的手语动作被分割为单个手语动作；

c)通过手掌处多轴运动传感器和前臂处多轴运动传感器对手语动作进行姿态解算以及通过多通道肌肉电信号传感器对手语动作进行分窗处理，得到手语分类器集；

d)将所得到的分类器集，与储存在上位机中的手语分类器集匹配并输出识别结果。

与现有技术相比，本发明的优势是：

1、本发明将肌肉电信号与多轴运动信号融合，利用模式识别技术实现手语动作的准确识别，并且不受手语动作词汇量的限制。将上述信号采集、数据处理、分类过程集成于可穿戴设备中，便于使用者佩戴并且不影响其日常生活。

2、本发明在采用模式识别技术过程中，将手语动作首先分为单手手语动作与双手手语动作，避免双手穿戴设备时刻处于工作状态，降低功耗；指环与手臂处多轴运动传感器能准确检测手掌相对于手臂的姿态，使得手语识别准确率与效率更高。

以下将结合附图对本发明的方法及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的可穿戴式手语识别装置示意图；

图2是本发明的可穿戴式手语识别装置硬件系统结构图；

图3是本发明的手语识别系统单手手语训练流程图；

图4是本发明的手语识别系统双手手语训练流程图；

图5是本发明的手语识别系统识别过程图。

具体实施方式

如图1和图2所示分别为本发明提供的可穿戴式手语识别装置及硬件系统示意图，包括在用户的手指和双臂前臂上佩戴的指环401以及臂环404，臂环404的臂带402可伸缩以适应不同臂围的用户使用。

臂环404上包括多通道肌肉电信号传感器113、多轴运动传感器107、微处理器106、反馈部件114以及通讯模块108，其中多通道肌肉电信号传感器113包括多通道肌肉电信号电极102、滤波电路103以及放大电路104。指环401中包括多轴运动传感器405。臂环404中模块403包括肌肉电信号传感器113、多轴运动传感器107、微处理器106、反馈部件114以及通讯模块108，其余模块只包括肌肉电信号传感器113。

手语识别硬件系统通过多通道肌肉电信号电极102上的多个电极片406采集前臂处多通道肌肉电信号，经过滤波电路103、放大电路104以及A/D转换后由微处理器106读取，手掌处多轴运动传感器105获取手掌处三轴加速度计、三轴角速度计、三轴磁力计数据，通过但不限于有线方式由微处理器106读取，前臂处多轴运动传感器107获取手臂处三轴加速度计、三轴角速度计、三轴磁力计数据，由微处理器106读取，当微处理器106进行分类运算后，向反馈部件114发送指令，由反馈部件114提供但不限于振动反馈。微处理器106通过通讯模块108实现与上位机111的双向信息传输。

本发明所述穿戴设备端101在使用时首先通过通讯模块110与上位机端109实现通讯，通讯模块110采用但不仅限于蓝牙传输或无线传输；上位机111可采用智能手机、平板电脑等移动终端设备。初次使用穿戴设备端101时，需要进行训练；再次使用穿戴设备端101时，可跳过训练环节，直接进入在线识别。

如图3和图4所示为本发明的手语识别系统训练流程。初次使用时，当上位机111与穿戴设备端101成功建立通讯后反馈部件114提示正常连接。通过上位机111经通讯模块110向穿戴设备端101通讯模块108发送上位机模式选择201，216指令，进入训练202，217。训练模式下选择手语动作203，218分为单手手语动作204和双手手语动作219。

在训练模式下进行单手动作204训练时，通过微处理器106读取指环401的多轴运动传感器405得到单手手掌处多轴运动传感器原始数据205，读取臂环404中的模块403中的多轴运动传感器得到单手前臂处多轴运动传感器原始数据206，对两种原始数据进行手掌与前臂姿态解算207并提取特征208，得到手掌与前臂的相对位置，训练第一分类器210。通过微处理器106读取经过滤波电路103、放大电路104后的多通道肌肉电信号113，经过分窗处理211，提取特征213并训练第二分类器212。将训练得到的第一分类器210和第二分类器212进行分类器融合，得到单手手语分类器集214，将所得手语分类器215存储在上位机111中。

在训练模式下进行双手动作219训练时，通过微处理器106读取双手指环401的多轴运动传感器405得到左手手掌处多轴运动传感器原始数据220和右手手掌处多轴运动传感器原始数据222，读取双臂臂环404中的模块403中的多轴运动传感器得到左手前臂处多轴运动传感器原始数据221和右手前臂处多轴运动传感器原始数据222，分别对两种原始数据进行左手手掌与前臂姿态解算224和右手手掌与前臂姿态解算226并分别提取特征225，227，得到左右手手掌与前臂的相对位置，训练第一分类器229和第三分类器231。通过微处理器106读取经过滤波电路103、放大电路104后的左手前臂处多通道肌肉电信号228和右手前臂处多通道肌肉电信号241，分别进行分窗处理233，235，分别提取特征234，236并训练第二分类器230和第四分类器232。将训练得到的第一分类器229和第二分类器230进行分类器融合得到左手手语分类器集237，将训练得到的第三分类器231和第四分类器232进行分类器融合得到右手手语分类器集238，将左右手分类器集融合得到左手右手融合分类器239，将所得手语分类器240存储在上位机111中。

训练结束后，用户可通过上位机111经通讯模块110向穿戴设备端101通讯模块108发送上位机模式选择301指令，进入在线识别302。用户根据想要表达的意思做手语动作303，通过微处理器106读取双手指环401的多轴运动传感器405得到双手手掌处多轴运动传感器原始数据304，采取姿态解算305判断用户所做手语动作为单手动作306还是双手动作307。

若用户所做手语动作为单手动作306，通过微处理器106读取经过滤波电路103、放大电路104后的多通道肌肉电信号308，采用端点检测311的方法分割动作314，端点检测311方法具体为计算多通道肌肉电信号308分窗后每个窗内数据点的平方和，并与设定肌肉激活状态的阈值进行比较，以此判断动作是否进行，使得连续的手语动作被分割为单个手语动作。对单手手语动作原始数据进行处理332。

单手手语动作原始数据处理332过程包括，通过微处理器106读取指环401的多轴运动传感器405得到单手手掌处多轴运动传感器原始数据317，读取臂环404中的模块403中的多轴运动传感器得到单手前臂处多轴运动传感器原始数据318，对两种原始数据进行手掌与前臂姿态解算321并提取特征322，送入第一分类器325中初步判断所做手语动作所在类别。通过微处理器106读取经过滤波电路103、放大电路104后的多通道肌肉电信号327，经过分窗处理328，提取特征329并送入第二分类器326中初步判断所做手语动作所在类别。

将第一分类器325和第二分类器326所做的初步判断手语动作所在类别结果送入单手手语分类器集333，最终得到单手手语动作识别334的结果。

若用户所做手语动作为双手动作307，通过微处理器106读取经过滤波电路103、放大电路104后的左手前臂处多通道肌肉电信号309和右手前臂处多通道肌肉电信号310，采用端点检测312，313的方法分割左手和右手动作315，316，使得连续的手语动作被分割为单个手语动作。分别对左手和右手手语动作原始数据进行处理319，320，分别进行左手手语分类器集323和右手手语分类器集324的初步分类后送入左手右手融合分类器330，最终得到双手手语动作识别331的结果。

将手语识别结果335通过可穿戴设备端101通讯模块108经上位机端109通讯模块110发送至上位机111，借助于上位机111的交互设备112实现语义校正及语法矫正，并以语音或文字的形式输出。用户完成一句话的手语动作后反馈部件114会提示用户语音是否翻译完成，避免交流发生混乱，实现语言或听觉障碍的人与普通人正常交流。

经过训练模式后，用户再次使用穿戴设备端时可直接选择在线识别模式，不需要再次经历训练过程。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。