一种基于肌电运动感知的AR手语识别方法及教学方法与流程

本发明属于手语模式识别和翻译领域，涉及一种基于表面肌电信号和运动轨迹的手语识别系统，并同时提出了一种结合手语识别和增强现实(augmentedreality，ar)的手语教学方法。

背景技术：

世界卫生组织2013年的统计数据显示，我国是世界上残疾人数最多的国家，聋哑人大约有2780万人，占残疾人总数33％。其中一小部分仅有听力障碍或语言障碍，大部分则听力和语言均无法实现正常沟通，生活中手语成为他们交流的主要方式。然而，使用手语交流在很多方面具有局限性，特别是在和其它不了解手语的正常人沟通时显得尤为突出，如果手语能够被自动识别并转换为语音或文字等容易被正常人所理解的形式，必然能够帮助聋哑人克服社交障碍。

手语学习是一个比较漫长而又困难的过程，特别对于小学低年级段的聋哑学生和健康初学者。如何采取一种更加有效的体验式教学方式显得十分迫切，快速的帮助聋哑人或健康人学习好手语很有意义。

手语是由多种手势动作组合且具有含义的人体动作集，因此手势识别是实现手语翻译的关键。传统的手势识别技术主要由计算机视觉和数据手套等方式，但是本身固有的缺陷使它们无法满足便携性和实用性需求，从而限制了其推广。表面肌电信号(surfaceemg，semg)的手语识别是通过检测手语执行过程中引起肌肉收缩产生的电信号，并对其进行模式分类而实现的。semg伴随着肌肉的收缩而产生，不论是否为残疾人，只要相关的肌肉健全即可获取信号。不同的手势动作所需要参与的肌群不同，因此采集到的semg蕴含大量的手势模式信息，通过对模式信息的分析来识别出手势动作。semg电极和采集器体积小、佩戴方便，满足手语识别装置的基本要求；此外，手势动作的活动强度在semg信号上的能量体现明显，故不需要特别复杂的算法即可实现手势动作的分割。基于以上优点，基于semg的手语识别技术具有良好的应用前景。

通过公开查询文献，专利“一种基于二维码识别的手语教学系统及方法”【cn201410834753.2】和“一种基于条形码识别的手语教学系统及方法”【cn201410834425.2】分别提出了一种使用二维码和条形码识别的手语教学方法，通过在教学手套或教学者的各个手指、手掌及手臂的正面、反面和侧面贴上二维码或条形码，扫描器扫到信息后进行译码和识别，最后显示对应的仿真手和文字信息。该方法在运用前需要在手部多个部位贴二维码或条码信息，工作量大，教学时仅显示仿真手，缺乏互动。

技术实现要素：

为了完善现有手语教学系统的不足，同时更加提升手语教学效果，本发明提出了一种基于ar技术同时融合表面肌电信号和运动感知信息的手语教学系统和方法。首先，将四路semg信号采集、三轴加速度传感器和三轴角加速度传感器集成设计成肌电臂环，双手佩戴semg臂环，采集手臂动作时的semg信号和运动信息并通过蓝牙实时传输到pad平板电脑，pad运行软件，对semg信号进行模糊熵特征提取，然后将特征值和运动信息输入到支持向量机进行手语动作识别。进行教学时，软件可以记录手语动作步骤，并与标准动作做比较，如发现识别动作或动作步骤和标准库不一致，软件会给出提示和纠正，提升了教学的时效性和互动效果。

一种基于肌电运动感知的ar手语识别方法,该方法具体包括以下步骤：

步骤一：双手佩戴肌电臂环，通过两个肌电臂环采集人体前臂动作时的尺侧腕屈肌、掌长肌、桡侧腕伸肌、指伸肌的表面肌电信号，以及三轴加速度和角加速度运动信息；

所述每个肌电臂环上设有四路表面肌电信号采集器和两路3轴加速度传感器。

步骤二：多路表面肌电信号和运动信息采集后经过初步的滤波处理后统一由低功耗蓝牙传输到pad；pad软件接收到数据后，先按照左右手的表面肌电信号、加速度信号、角速度信号排序组合成连续的信号；

步骤三：将步骤二得到的表面肌电信号进行小波变换，滤除夹杂在信号中的噪声，然后提取四路的semg信号中的模糊熵值；

步骤四：根据步骤一获得三轴加速度信号和三轴角速度信号；然后把两个加速度值往xyz方向投影，再结合xyz三轴的角度值计算出手臂在xyz方向上的运动距离；

步骤五：对表面肌电信号依次逐点采用固定长度序列的模糊熵值，设定一个熵值阈值，大于这个阈值则代表是semg活动段，作为手语的动作起点，从而提取出手语动作的起点和终点，方便分类识别；

步骤六：经过手语动作分段后，将四路表面肌电信号模糊熵和三路加速度投影值输入到支持向量机作模式分类，最后识别出特定的手语动作。

作为优选，将获取的表面肌电信号进行小波变换，滤除夹杂在信号中的噪声，然后提取四路的表面肌电信号中的模糊熵值，具体计算方式如下：

(1)设采集的信号为{x(i)}，给定维数为m，那么可将长度为n的信号序列中连续的m个值构成一个m维矢量：

x(i)＝[x(i),x(i+1),...x(i+m-1)]，其中i＝1,2...，n-m+1；

定义x(i)与x(j)的距离d[x(i),x(j)]为两者对应元素中差值最大的那个；

(2)按照给定的相似容差r，计算每一个i值所对应的d[x(i),x(j)]＜r的个数其中i＝1,2...，n-m+1，r为相似容差；

(3)对取对数，再将所有i求得的求平均，记为φ^m(r)

(4)再将序列构成m+1维矢量，重复过程(2)～(4)，得到和

其中i＝1,2...，n-m

因此得到的近似模糊熵表达式为：

实际研究工作中n不可能为无穷，因此取n为有限值，得到：

en(m,r,n)＝φ^m(r)-φ^m+1(r)

一种基于肌电运动感知的ar手语教学方法；该方法具体为：把中国标准手语词汇通过动画建模录入到pad软件中，在软件上选择要训练的手语词汇并播放动画，学生佩戴肌电臂环，跟着动画学习手语动作；软件检测任意一个表面肌电信号模糊熵是否大于阈值，来判断手语动作的起点，记录每个手语动作步骤的表面肌电信号和运动信号，对比标准手语库动作步骤的信息，若发现不标准动作步骤时在实时提示，以纠正学生动作，从而达到快速学习的效果。

作为优选，教学时启动摄像头，把现场场景摄入到动画中作为背景，动画仿真手和学习者处在相同的环境背景。本发明与已现有的手语教学系统和方法相比，具有如下优点：

(1)本发明提出手语教学方法是基于semg和运动感知的手语识别技术，融合了多路semg信号、加速度信号和角加速度信号的多传感器算法，手语识别准确率高。学习者佩戴semg臂环，操控自如且佩戴便捷，不会像佩戴数据手套和摄像机一样，要么双手被束缚，要么受周围环境影响较大。

(2)本发明涉及的ar教学软件会记录学习者模仿动作的每个步骤，并与标准手语库做对比，不但可以识别手语模仿的正确与否，更能识别出不标准动作发生在哪个步骤，纠错很具有针对性，学习方法更直接有效。

(3)本发明涉及的ar教学可以通过启动摄像头，把现场场景摄入到动画中作为背景，动画仿真手和学习者处在相同的环境背景，让学习更加逼真，增加学习的真实感，提高学习的效果。

附图说明

图1为本发明的实施的原理框图；

图2为本发明实施例的semg臂环组成；

图3为本发明实施例的ar教学系统的软件流程图；

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。

如图1所示，本实施例包括如下步骤：

步骤一，双手佩戴semg臂环，执行手语动作，采集前臂的尺侧腕屈肌、掌长肌、桡侧腕伸肌、指伸肌的semg信号，同时采集三轴加速度和角加速度信号。多路semg信号和运动信息采集后经过初步的滤波处理和信号放大，统一打包由低功耗蓝牙传输到pad。pad软件接收到数据后，先按照左右手的semg、加速度信号、角速度信号排序组合成连续的信号。

将获取的semg信号进行小波变换，滤除夹杂在信号中的噪声，然后提取四路的semg信号中的模糊熵值，具体计算方式如下：

(5)设采集的信号为{x(i)}，给定维数为m，那么可将序列中连续的m个值构成一个m维矢量：

x(i)＝[x(i),x(i+1),...x(i+m-1)]，其中i＝1,2...，n-m+1

(6)定义x(i)与x(j)的距离d[x(i),x(j)]为两者对应元素中差值最大的那个；

(7)按照给定的相似容差r，计算每一个i值所对应的d[x(i),x(j)]＜r的个数其中i＝1,2...，n-m+1

(8)对取对数，再将所有i求得的求平均，记为φ^m(r)

(9)再将序列构成m+1维矢量，重复过程(2)～(4)，得到和φ^m+1(r)

其中i＝1,2...，n-m

因此得到的近似模糊熵表达式为：

实际研究工作中n不可能为无穷，因此取n为有限值，得到：

en(m,r,n)＝φ^m(r)-φ^m+1(r)]

en与采样序列的复杂度成正比，序列越复杂，其熵值越大；同时熵值具有一定的抗噪能力，特别对偶尔产生的瞬间强干扰具有较好承受能力。

步骤二，将上步骤获取的三轴加速度信号和三轴角速度信号，把加速度值往xyz方向投影，再结合xyz三轴的角度值计算出手臂在xyz方向上的运动距离。

步骤三，根据步骤一方法，对semg信号依次逐点采用固定长度序列的模糊熵值，设定一个熵值阈值，大于这个阈值则代表是semg活动段，可以作为手语的动作起点，从而可以提取出手语动作的起点和终点，方便分类识别。

经过手语动作分段后，将四路semg模糊熵和三路加速度投影值输入到支持向量机作模式分类，最后识别出特定的手语动作。为了提高识别成功率，可以先对分类器进行训练。

如图2是本发明实施例的的semg臂环，具体步骤如下：

步骤一，由于semg信号是随机的非平稳信号，且为uv级微弱信号，因此先对信号进行初次放大。

步骤二，semg信号频率范围为5-500hz，大部分能量集中在50-150hz范围，因此对信号进行5hz高通、500hz低通和50hz陷波处理，再经过二次放大后进行采样处理。

步骤三，加速度信号和角加速度信号均分布在低频段，对其简单的做低通滤波后就可以直接采样。

步骤四，处理器选用stm32f4系列小封装arm，传输模块选用低功耗蓝牙。semg信号选择1khz的采样率，加速度信号和角加速度信号分别采用100hz的采样率；因此semg臂环每秒约有500kb的数据量，低功耗蓝牙3mb/s的速率能满足实时传输的要求。

图3是本发明实施例的ar教学系统的软件流程图。ar技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。具体流程如下：

启动进入ar教学模式，选择要教学的词汇，软件检索词汇库并调出对应动画模型，然后播放该词汇的手语动作。学生佩戴semg臂环，跟着动画学习手语动作。软件检测任意一个semg模糊熵是否大于阈值，来判断手语动作的起点，记录每个手语动作步骤的semg信号和运动信号，对比标准手语库动作步骤的信息，若发现不标准动作步骤时在实时提示，以纠正学生动作，从而达到快速学习的效果。

在教学过程中，若启动ar场景，软件会调用安卓的camera()驱动，启动摄像头把现场场景摄入到动画中作为背景，似的动画仿真手和学习者处在相同的环境背景，让学习更加逼真，增加学习的真实感，提高学习的效果。