数据处理方法、装置、设备、存储介质及计算机程序产品与流程

本公开实施例涉及数据处理，尤其涉及一种数据处理方法、装置、设备、存储介质及计算机程序产品。

背景技术：

1、随着虚拟现实技术(virtual reality，vr)的发展，越来越多的vr产品应运而生，以满足用户的多种多样的需求。以vr头戴设备为例，用户可以穿戴vr头戴设备，通过手势交互技术，提升使用vr设备时的沉浸感。

2、目前，为了能够实现vr头戴设备与用户之间的手势交互，可以通过完整手部图像和完整关键点标签训练得到模型，实现对手部关键点位置的识别。

3、然而，在现有方案中，由于用户的手势和头部姿态的多样化和极大灵活度，同时又受限于头戴设备中摄像头的有限的视角，因此，手部图像在单目摄像头拍摄下可能是不完整的。在这种情况下，通过现有完整手部图像和完整关键点标签训练得到模型，在手部不全的情况下，即手部图像不完整时，会产生错误的关键点预测结果，导致手部所有关键点识别错误，进而无法准确地还原用户的手势动作，影响使用体验。

技术实现思路

1、本公开实施例提供一种数据处理方法、装置、设备、存储介质及计算机程序产品，能够提高预测手部关键点的精度。

2、第一方面，本公开实施例提供一种数据处理方法，所述方法包括：

3、获取多张原始手部图像；

4、对所述多张原始手部图像进行数据增强处理，得到训练数据，所述训练数据包括多张完整手部的图像以及对应的多张不完整手部的图像；

5、根据所述训练数据，训练关键点预测模型，所述关键点预测模型用于预测手部关键点位置以及预测手部关键点是否可见的分类结果。

6、第二方面，本公开实施例提供一种数据处理方法，所述方法包括：

7、获取待检测手部图像，并根据所述待检测手部图像，通过关键点预测模型，得到手部关键点的预测结果；其中，所述关键点预测模型是由第一方面任一项所述的数据处理方法确定的；

8、根据手部关键点的预测结果，将所述待检测手部图像还原为3d手部图像；

9、识别所述3d手部图像对应的手势动作，并根据所述手势动作执行相应的操作。

10、第三方面，本公开实施例提供一种数据处理装置，所述装置包括：

11、第一获取模块，用于获取多张原始手部图像；

12、第一处理模块，用于对多张原始手部图像进行数据增强处理，得到训练数据，所述训练数据包括多张完整手部的图像以及对应的多张不完整手部的图像；

13、第一训练模块，用于根据所述训练数据，训练关键点预测模型，所述关键点预测模型用于预测手部关键点位置以及预测手部关键点是否可见的分类结果。

14、第四方面，本公开实施例提供一种数据处理装置，所述装置包括：

15、第一预测模块，用于获取待检测手部图像，并根据所述待检测手部图像，通过关键点预测模型，得到手部关键点的预测结果；其中，所述关键点预测模型是由第一方面任一项所述的数据处理方法确定的；

16、第一处理模块，用于根据手部关键点的预测结果，将所述待检测手部图像还原为3d手部图像；

17、第二处理模块，用于识别所述3d手部图像对应的手势动作，并根据所述手势动作执行相应的操作。

18、第五方面，本公开实施例提供一种头戴设备，所述头戴设备用于执行如上第二方面任一项所述的数据处理方法。

19、第六方面，本公开实施例提供一种电子设备，包括：处理器和存储器；

20、所述存储器存储计算机执行指令；

21、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上述第一方面以及第二方面任一项所述的数据处理方法。

22、第七方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第二方面任一项所述的数据处理方法。

23、第八方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述第一方面以及第二方面任一项所述的数据处理方法。

24、本公开实施例提供的数据处理方法、装置、设备、存储介质及计算机程序产品，通过获取多张原始手部图像，并对所述多张原始手部图像进行数据增强处理，得到训练数据，所述训练数据包括多张完整手部的图像以及对应的多张不完整手部的图像；然后根据所述训练数据，训练关键点预测模型，所述关键点预测模型用于预测手部关键点位置以及预测手部关键点是否可见的分类结果。因此，通过数据增强技术来调整手部图像，使得输入到关键点预测模型的手部图像以一定概率是不完整的，即构建训练数据包括完整手部的图像以及不完整手部的图像，弥补现有技术对不完整手部的图像缺失带来的精度低的问题，同时，基于训练数据训练的关键点预测模型，分别预测手部关键点位置及手部关键点是否可见的分类结果，根据预测的手部关键点位置以及分类结果的结合，能够排除不可见关键点的位置预测结果，使得输出的预测结果更精准，进而能够支持较准确地还原3d手膜，识别手部对应的动作，实现精准地交互，提高用户体验。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述关键点预测模型包括第一分支网络、第二分支网络以及调整模块；所述根据所述训练数据，训练关键点预测模型，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据每张特征图，通过第一分支网络，预测手部关键点位置，包括：

4.根据权利要求3所述的方法，其特征在于，所述确定每张热力图中手部关键点位置，包括：

5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据每张特征图，通过第二分支网络，预测手部关键点是否可见的分类结果，包括：

6.根据权利要求2-4任一项所述的方法，其特征在于，所述根据第二分支网络的预测结果，通过所述调整模块调整第一分支网络的预测结果，输出手部关键点位置，包括：

7.根据权利要求1-4任一项所述的方法，其特征在于，所述多张原始手部图像中包含多张完整手部的图像；

8.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

9.一种数据处理方法，其特征在于，所述方法还包括：

10.一种数据处理装置，其特征在于，所述装置包括：

11.一种数据处理装置，其特征在于，所述装置包括：

12.一种头戴设备，其特征在于，所述头戴设备用于执行权利要求9所述的数据处理方法。

13.一种电子设备，其特征在于，包括：处理器和存储器；

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的数据处理方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-9任一项所述的数据处理方法。

技术总结
本公开实施例提供一种数据处理方法、装置、设备、存储介质及计算机程序产品，该方法包括：获取多张原始手部图像；对所述多张原始手部图像进行数据增强处理，得到训练数据，所述训练数据包括多张完整手部的图像以及对应的多张不完整手部的图像；根据所述训练数据，训练关键点预测模型，所述关键点预测模型用于预测手部关键点位置以及预测手部关键点是否可见的分类结果。本公开实施例能够提高预测手部关键点的精度。

技术研发人员：郑凯
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/3/24