一种手势识别的方法、装置、设备及存储介质与流程

本申请实施例涉及数据处理，尤其涉及一种手势识别的方法、装置、设备及存储介质。

背景技术：

1、随着神经网络模型技术的快速发展，越来越多的应用在图像内对于各类内容的目标检测方面，例如手势检测、面部表情检测等。此时，为了确保目标检测的准确性，通常需要对各个目标关键点的位置和深度等相关任务进行分析，以便于准确检测图像内的各个目标。

2、目前，对于手势识别涉及的每一任务，会分别训练一个特定的神经网络，来执行手部关键点预测。但是，由于手势识别涉及的某些任务下的神经网络通常会采用回归任务进行训练，而回归任务的收敛难度较大，因此极大降低了模型训练的效率，也在一定程度上影响到手势识别的准确性。

技术实现思路

1、本申请实施例提供一种手势识别的方法、装置、设备及存储介质，通过高效准确的训练目标模型，保证手势识别准确性。

2、第一方面，本申请实施例提供了一种手势识别的方法，该方法包括：

3、获取手部图像；

4、将所述手部图像输入到训练好的目标模型中，确定所述手部图像中的手部关键点信息，所述目标模型用于实现多个目标任务，所述目标模型包括主干网络和分支网络，至少一个所述目标任务下设定至少两种类型的分支网络；

5、根据所述手部关键点信息，确定对应的手势信息。

6、第二方面，本申请实施例提供了一种手势识别的装置，该装置包括：

7、图像获取模块，用于获取手部图像；

8、关键点确定模块，用于将所述手部图像输入到训练好的目标模型中，确定所述手部图像中的手部关键点信息，所述目标模型用于实现多个目标任务，所述目标模型包括主干网络和分支网络，至少一个所述目标任务下设定至少两种类型的分支网络；

9、手势识别模块，用于根据所述手部关键点信息，确定对应的手势信息。

10、第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

11、处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行本申请第一方面中提供的手势识别的方法。

12、第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如本申请第一方面中提供的手势识别的方法。

13、第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如本申请第一方面中提供的手势识别的方法。

14、本申请实施例提供的一种手势识别的方法、装置、设备和存储介质，训练好的目标模型用于实现多个目标任务，包括主干网络和分支网络，而且至少一个目标任务下设定至少两种类型的分支网络，使得在每次训练后同一目标任务下获取的训练损失尽可能更为全面，从而确保目标模型训练的准确性和高效性。然后，将手部图像输入到训练好的目标模型中，确定手部图像中的手部关键点信息，进而确定对应的手势信息，保证手势识别的准确性。

技术特征：

1.一种手势识别的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述手部图像输入到训练好的目标模型中，确定所述手部图像中的手部关键点信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述目标模型通过下述步骤训练得到：

4.根据权利要求3所述的方法，其特征在于，所述目标任务至少包括目标关键点定位任务和目标关键点深度预测任务两种。

5.根据权利要求4所述的方法，其特征在于，所述目标关键点定位任务下设定的分支网络为上采样网络，所述上采样网络用于预测各所述目标关键点的位置信息；

6.根据权利要求3所述的方法，其特征在于，所述对所述待训练模型内的各网络进行联合训练，得到训练好的目标模型，包括：

7.根据权利要求3或6所述的方法，其特征在于，所述对所述待训练模型内的各网络进行联合训练，包括：

8.根据权利要求3所述的方法，其特征在于，所述方法应用于虚拟现实设备，所述待训练模型的训练样本为所述虚拟现实设备内已采集的各历史手部图像。

9.一种手势识别的装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-8中任一项所述的手势识别的方法。

12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-8中任一项所述的手势识别的方法。

技术总结
本申请提供了一种手势识别的方法、装置、设备及存储介质。该方法包括：获取手部图像；将所述手部图像输入到训练好的目标模型中，确定所述手部图像中的手部关键点信息，所述目标模型用于实现多个目标任务，所述目标模型包括主干网络和分支网络，至少一个目标任务下设定至少两种类型的分支网络；根据所述手部关键点信息，确定对应的手势信息。本申请中训练好的目标模型中至少一个目标任务下设定至少两种类型的分支网络，使得在每次训练后同一目标任务下获取的训练损失尽可能更为全面，从而确保目标模型训练的准确性和高效性。然后，通过训练好的目标模型确定手部图像中的手势信息，保证手势识别的准确性。

技术研发人员：樊凯旋,王远江,吴涛
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/3/17