一种手语无线识别装置及方法与流程

本发明属于医疗健康与信息技术领域，涉及一种手语无线识别装置及方法。具体为一种不需要用户携带任何设备的、仅通过发射无线电波并测量与分析人体不同手语动作反射波特征实现手语识别的装置。

背景技术：

根据最近的全国人口普查统计，我国目前有2075万听力障碍人士。手语作为听力障碍人士日常交流的语言，如果可以自动的识别手语，那么将为听力障碍人士交流并融入社会提供基础保障，有效的促进和谐社会美好愿景的达成。

目前，研究人员尝试了基于图像处理以及基于可穿戴设备的方法实现手语识别。基于图像处理的相关工作，如“j.huang,w.zhou,h.li,andw.li.signlanguagerecognitionusing3dconvolutionalneuralnetworks.inieeeicme2015,pp.1–6.”，“胡章芳，罗元，张毅，杨麟，席兵，基于kinect传感器的静态手语字母识别系统及方法，中国发明专利，专利号cn201410191394.3”，该类方法借助kinect摄像头捕获人体手势动作视频，之后基于图像处理方法实现手语动作识别。该类方法虽然可以获得令人满意的识别精度，但是，需要采用摄像头对准听力障碍人士，这造成该方法不便于在日常生活中随时随地使用，同时，涉及隐私泄露问题。基于可穿戴设备的相关工作，如“b.fang,j.co,andm.zhang.deepasl:enablingubiquitousandnon-intrusivewordandsentence-levelsignlanguagetranslation.inacmsensys2017,pp.1-13.”，“王犇，姜小花，罗红，任骝，张建杰，徐魁，陈彦霖，周正宇，郭文蔚，用于采集手语识别用数据的手套，中国发明专利，专利号cn201410410413.7”，该类方法利用安装有加速度、倾角、陀螺仪等各种传感器的智能手套捕获手语动作的各种运动信息，之后基于运动信息分析方法实现手语动作识别。该类方法虽然可以获得较高的识别精度，但是，需要为听力障碍人士配置专用的智能手套，成本较高且使用不便。

技术实现要素：

本发明的目的是克服现有技术的缺陷，提供一种不需要用户携带任何设备的、仅通过发射无线电波并测量与分析反射波特征实现手语识别的装置。与已有技术相比，本发明的装置无需用户携带任何设备，不涉及隐私泄露问题，可在黑暗、浓烟、穿墙等复杂场景下使用，且成本较低。

本发明的技术方案：

一种手语无线识别装置，该手语无线识别装置包括无线发射机1、无线接收机2和微处理器3；所述无线发射机1连续不断地发射无线信号；所述无线接收机2与微处理器3相连，无线接收机2接收无线发射机1发射的无线信号，解调之后将无线信号幅度与相位信息传送到微处理器3；所述微处理器3中配置手语识别信号处理软件，手语识别信号处理软件对从无线接收机2传送来的无线信号幅度与相位信息进行低通滤波及小波变换处理，并基于深度学习网络从无线信号幅度与相位信息中提取手语特征，基于分类器对手语特征进行分类从而实现手语识别。

所述无线发射机1的载波频率为1ghz以上，发射功率能在0dbm至10dbm之间调节，配置增益大于3db的全向天线；

所述无线接收机2的载波频率、发射功率、以及调制方式与无线发射机1相同，接收灵敏度为-100dbm以下，配置增益大于3db的全向天线，通过网口或usb接口与微处理器3之间实现信息的传输；

所述微处理器3的cpu主频大于2ghz，内存容量大于8g字节。

一种手语无线识别方法，该方法包括离线训练与在线识别两个阶段，离线训练阶段根据已知的手语动作来学习深度学习网络以及分类器的参数，在线识别阶段根据当前观测到的手语特征实现手语识别，具体步骤如下：

1)离线训练阶段

(1.1)人体执行某一已知的手语动作，同时，无线发射机1连续发射无线电波，无线接收机2接收受到人体手语动作影响的无线信号，解调之后将无线信号幅度与相位信息传送到微处理器3；

(1.2)微处理器3中的手语识别信号处理软件首先采用低通滤波器对无线信号幅度与相位信息分别进行滤波处理，然后采用离散小波变换对滤波后的幅度信息以及相位信息进行处理，获得幅度与相位信息的时间频率二维矩阵信息；之后深度学习网络以时间频率二维矩阵信息为输入，对信息进行卷积、下采样、以及非线性变换操作，获得一维手语特征；最后分类器以一维手语特征为输入，输出元素个数等于手语种类数的一维手语种类向量。

(1.3)根据已知的真实手语动作以及识别的手语动作，采用误差反向传播算法对深度学习网络以及分类器的参数进行更新学习；

(1.4)重复步骤(1.1)至(1.3)，直到深度学习网络以及分类器的参数保持不变，离线训练阶段完毕。

2)在线识别阶段

(2.1)人体执行某一未知的手语动作，同时，无线发射机1连续发射无线电波，无线接收机2接收受到人体手语动作影响的无线信号，解调之后将无线信号幅度与相位信息传送到微处理器3；

(2.2)微处理器3配置的手语识别信号处理软件进行与步骤(1.2)相同的处理，最终实现实时的手语识别。

本发明的有益效果：可提供一种仅通过发射无线电波并测量与分析反射波特征实现手语识别的装置，该装置无需用户携带任何设备，不涉及隐私泄露问题，可在黑暗、浓烟、穿墙等复杂场景下使用，且成本较低。其在辅助听力障碍人士交流，特种作业人员手势遥控操作等领域有着很好的应用前景。

附图说明

图1为本发明装置的系统结构框图。

图中：1无线发射机；2无线接收机；3微处理器。

图2为本发明方法的工作原理图。

具体实施方式

下面结合技术方案和附图具体详细阐述本发明的具体实施。

实施例采用图1所示的系统结构框图，系统工作原理如图2所示。装置的构成如下：无线发射机1采用工作在5ghz的wifi芯片intel5300实现，发射功率10dbm，装配3根3db增益的全向天线；无线接收机2采用工作在5ghz的wifi芯片intel5300以及usb3.0芯片cy7c68013a，接收机灵敏度-105dbm，装配3根3db增益的全向天线，通过usb3.0接口向微处理器3传送数据；微处理器3采用联想x240s便携式pc机，pc机上运行基于matlab撰写的手语识别信号处理软件；手语识别信号处理软件采用截止频率10hz的切比雪夫低通滤波器对无线信号幅度与相位信息分别进行滤波处理，采用6级离散小波变换对长度为1024的幅度信息以及相位信息进行处理生成时间频率二维矩阵信息；深度学习网络采用3层结构的深度卷积网络，以时间频率二维矩阵信息为输入，每层结构均对信息进行卷积、下采样、以及非线性变换操作，获得一维手语特征；分类器采用softmax分类器，以一维手语特征为输入，输出元素个数等于手语种类数的一维手语种类向量。

测试表明，该手语无线识别装置在识别50种手语动作时正确识别率为92％，在识别20种手语动作时正确识别率为98％。