一种手语识别翻译系统及其识别方法与流程

本发明涉及手势识别技术领域，具体涉及一种手语识别翻译系统及其识别方法。

背景技术：

近些年随着技术的发展基于手势的人机交互逐渐成为了研究热点，基于手势的设备控制如汽车，电脑，手机以及基于手势的游戏如雨后春笋般涌现。同时因为肢体语言尤其是手部的动作在人的情感表达中具有举足轻重的地位，并且全世界有大量的语言表达有障碍的人士，这一类型的算法的实现与改良将有机会帮助大量残障人士更有效的与他人沟通。

现有的手语识别算法主要是基于计算机视觉或数据手套等设备进行手语识别，基于计算机视觉的方法易受遮挡和光照条件等因素的影响，且便携性较差；而基于数据手套的方法具有易损坏、穿脱不便和价格昂贵的缺点。虽然目前出现了一些基于可穿戴设备的手势识别方法和设备，但这些方法和设备尚处于研发阶段，而且识别效果均差强人意，只能够识别有限的几种语言，很难行之有效的解决残障人士的交流问题。

技术实现要素：

针对现有技术存在的问题，本发明提供一种手语识别翻译系统及其识别方法，能准确有效实时的对手语进行识别，且具有高度泛化能力，以期实现残障人士无障碍交流的识别。

为了实现上述目的，一种手语识别翻译系统，包括数据采集处理模块、识别模块和验证模块；

所述数据采集处理模块，用于以固定频率对表面肌电信号、加速度信号和陀螺仪信号进行采集，并对采集到的信号数据进行预处理，包括分割、特征提取和数据标准化；

所述识别模块，用于根据采集到的信号数据采用深度学习方法搭建、训练出基于卷积神经网络vgg-net的分类模型，并通过训练好的分类模型对处理后的信号数据进行分类，完成手语识别工作；

所述验证模块，用于根据采集到的手语数据采用深度学习的方法搭建、训练出基于连续的卷积层的验证模型，并通过训练好的验证模型对处理后的信号数据进行再分类，再综合识别模块的结果计算属于识别结果的置信度，最后根据置信度判断手语识别是否成功。

进一步地，所述数据采集处理模块对采集到的信号数据进行特征提取时，根据信号数据种类提取不同的特征，其中，对表面肌电信号数据提取均方根、小波系数和自回归系数，对加速度和陀螺仪信号数据提取均方根、过零点率和自回归系数。

采用手语识别翻译系统进行手语识别的方法，包括以下步骤：

步骤1：数据采集处理模块以固定频率通过传感器，采集表面肌电信号、加速度信号和陀螺仪信号三种物理信号；

步骤2：根据采集到的信号数据采用深度学习方法搭建并训练出基于卷积神经网络vgg-net的分类模型以及基于连续卷积层的验证模型；

步骤3：对采集到的信号数据进行预处理得到具备波形特征的时序信号；所述预处理包括对信号数据进行压缩、滤波、降噪、特征提取；

步骤4：设置手语识别的窗口长度和步长以及信号数据验证结果置信度的阈值：

步骤5：截取与手语识别窗口相同长度的时序信号，并令截取到的信号数据段n＝1，继续步骤7；

步骤6：判断截取n段后的时序信号长度是否小于手语识别的窗口长度，若是，则结束手语识别，若否，则截取与手语识别窗口相同长度的时序信号，并令n＝n+1，继续步骤7；

步骤7：将截取到的第n段预处理后的信号数据分别输入至识别模块和验证模块，通过分类模型和验证模型对输入的信号数据进行识别与分类，分别获得对第n段信号数据的识别结果和验证结果；

步骤8：计算第n段信号数据识别结果和验证结果的欧氏距离作为信号数据验证结果的置信度；

步骤9：判断信号数据验证结果的置信度是否大于阈值，若是，则忽略错误识别结果，返回步骤6，若否，则输出正确识别结果，返回步骤6。

本发明的有益效果：

本发明提出一种手语识别翻译系统及其识别方法，利用深度学习的算法对处理后的数据进行模式识别并进行验证，实现对手语多元分类，准确、完整的识别，大大的拓展了能够识别的手语数目，并且极大的增强了手语的识别效果。

附图说明

图1为本发明实施例中手语识别翻译系统的结构框图；

图2为本发明实施例中手语识别翻译系统使用方法的流程图；

图3为本发明实施例中数据采集处理模块采集物理信号的示意图；

其中，(a)为采集加速度信号(acceleration,acc)的示意图；(b)为采集陀螺仪信号(gyroscope,gyr)的示意图；(c)为采集表面肌电信号(surfaceelectromyography,semg)的示意图；

图4为本发明实施例中识别模块搭建、训练出的基于卷积神经网络vgg-net的分类模型结构图；

图5为本发明实施例中验证模块搭建、训练出的基于连续的卷积层的验证模型结构图；

图6为本发明实施例中经过数据采集处理模块处理后的数据示意图。

具体实施方式

为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种手语识别翻译系统，结构如图1所示，包括数据采集处理模块、识别模块和验证模块。

所述数据采集处理模块，用于以固定频率对表面肌电信号、加速度信号和陀螺仪信号进行采集，并对采集到的信号数据进行预处理，包括分割、特征提取和数据标准化。

本实施例中，所述数据采集处理模块对采集到的信号数据进行特征提取时，根据信号数据种类提取不同的特征，其中，对表面肌电信号数据提取均方根、小波系数和自回归系数，对加速度和陀螺仪信号数据提取均方根、过零点率和自回归系数。

所述识别模块，用于根据采集到的信号数据采用深度学习方法搭建、训练出基于卷积神经网络vgg-net的分类模型，并通过训练好的分类模型对处理后的信号数据进行分类，完成手语识别工作。

所述验证模块，用于根据采集到的手语数据采用深度学习的方法搭建、训练出基于连续的卷积层的验证模型，并通过训练好的验证模型对处理后的信号数据进行再分类，再综合识别模块的结果计算属于识别结果的置信度，最后根据置信度判断手语识别是否成功。

采用手语识别翻译系统进行手语识别的方法，流程如图2所示，具体包括以下步骤：

步骤1：数据采集处理模块以固定频率通过传感器，采集表面肌电信号、加速度信号和陀螺仪信号三种物理信号。

本实施例中，数据采集处理模块以100hz的频率通过传感器对物理信号进行采集，采集到的物理信号如图3所示。

步骤2：根据采集到的信号数据采用深度学习方法搭建并训练出基于卷积神经网络vgg-net的分类模型以及基于连续卷积层的验证模型。

本实施例中，采用cnn算法和vggnet架构搭建并训练出基于卷积神经网络vgg-net的分类模型。如图4所示，运用一维卷积神经网络，在时序方向上进行计算，使用多层重叠的小卷积核代替大卷积核，不仅减少了运算消耗，且有效的提高了网络的感知能力。经过实验相比元原来的lenet传统结构，识别的精度及泛化能力都有了极大的提高。另外我们采用了adaptivepoolinglayer代替全连接层，通过其对卷积部分的输出进行处理，有效代替的全连接层的分类决策功能。

对于验证模型，由于在线连续输入是以滑窗进行处理，且滑动步长远小于窗口长度，所以由不可避免的会将不完整、无效的数据输入模型，由于训练数据量有限，且神经网络模型的归纳学习过程存在较强的黑盒性不可避免的具有很强的过拟合现象，导致其对于错误输入的处理能力有限，仅靠网络分类结构本身的激活函数得到的各个类别的置信度不能有效区分分类的效果，因此本实施例中采用基于连续的卷积层的验证模型，如图5所示。

步骤3：对采集到的信号数据进行预处理得到具备波形特征的时序信号；所述预处理包括对信号数据进行压缩、滤波、降噪、特征提取。

本实施例中，由于物理特性的不同，表面肌电信号和加速度信号、陀螺仪信号分别采用不同的特征提取方式：

(1)对于加速度信号和陀螺仪这种传统的牛顿物理学信号，由于在采集数据的过程中不可避免的会产生噪声，而且这两种信号具备连续性的特征，因此我们采用多项式拟合加下采样的方式处理数据，根据数据的变换频度，以12个数据点为一个单位使用三次多项式进行拟合，同时为了增强拟合效果，采用重叠拟合的思路，每次窗口的移动步长设为4，对重叠部分采用分别拟合后取均值的方式进行计算,最后仅使用前一半的点对数据进行复原以实现数据压缩的目的；

(2)对于表面肌电信号，由于生物电信号特有的随机性特征，我们首先进行对其进行阈值滤波降噪预处理，然后采用多层离散小波变换，采用db3小波进行五层变换，对数据进行进一步的降噪和数值特征提取；表面肌电信号往往会出现零点漂移的现象，因此随后会对数据进行零点漂移消除处理，降低漂移误差对模型的影响。

随后对特征提取后的数据进行标准化，归一化处理，保证各个维度的数值标量相近，加快模型训练时的收敛速度和提高识别准确率，最终经过数据采集处理模块处理后的数据如图6所示。

步骤4：设置手语识别的窗口长度和步长以及信号数据验证结果置信度的阈值；

本实施例中，设置滑动窗口的长度为128，步长为8-20之间的随机值，对采集的数据进行抽取，随后会将抽取数据作为一个特征窗口进行手语识别。

步骤5：截取与手语识别窗口相同长度的时序信号，并令截取到的信号数据段n＝1，继续步骤7。

步骤6：判断截取n段后的时序信号长度是否小于手语识别的窗口长度，若是，则结束手语识别，若否，则截取与手语识别窗口相同长度的时序信号，并令n＝n+1，继续步骤7。

步骤7：将截取到的第n段预处理后的信号数据分别输入至识别模块和验证模块，通过分类模型和验证模型对输入的信号数据进行识别与分类，分别获得对第n段信号数据的识别结果和验证结果。

步骤8：计算第n段信号数据识别结果和验证结果的欧氏距离作为信号数据验证结果的置信度。

步骤9：判断信号数据验证结果的置信度是否大于阈值，若是，则忽略错误识别结果，返回步骤6，若否，则输出正确识别结果，返回步骤6。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。