手语识别方法及装置

技术特征：

1.一种手语识别方法，其特征在于，具体包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，所述利用r(2+1)d卷积神经网络提取手语视频帧的时空特征的步骤包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述目标函数包括：利用所述全局特征概率矩阵以及局部特征概率矩阵计算ctc散度损失，并利用所述ctc损失以及散度损失构建目标函数的步骤包括：

5.根据权利要求2所述的方法，其特征在于，所述将手语视频帧输入至3d卷积核以及relu层中以提取空间特征的步骤中，具体采用如下公式：

6.根据权利要求2所述的方法，其特征在于，所述将空间特征输入至3d卷积核以及relu层中以提取手语视频帧的时空特征的步骤中，具体采用如下公式：

7.根据权利要求1所述的方法，其特征在于，

8.一种手语识别装置，其特征在于，包括：

技术总结
本发明提供了一种手语识别方法及装置，涉及识别的技术领域，所述方法包括；利用R(2+1)D卷积神经网络提取手语视频帧的时空特征；将手语视频帧的时空特征输入至BILSTM网络以获取全局时空特征以及局部时空特征；将手语视频帧的时间特征、所述空间特征、所述局部时序特征以及所述全局时序特征输入至全连接层并进行分类输出，以输出局部特征概率矩阵以及全局特征概率矩阵；利用所述全局特征概率矩阵以及局部特征概率矩阵计算CTC散度损失，并利用所述CTC损失以及l<subgt;kd</subgt;散度损失构建目标函数；利用所述目标函数对所述连续手语识别系统进行训练。通过本发明可以缓解现有技术中目前手语识别方法容易丢失时间序列信息的技术问题。

技术研发人员：陈胜勇,孙悦,薛万利,袁甜甜
受保护的技术使用者：天津理工大学
技术研发日：
技术公布日：2024/1/16