手势识别方法及其装置与流程

本申请属于手势识别，尤其涉及一种手势识别方法及其装置。

背景技术：

1、随着科技的发展，人机交互的应用越来越广泛，其中手势识别在人机交互方面具有很大的应用潜力，被广泛应用于自动驾驶等领域。现有的手势识别方案通常是采用毫米波雷达、数据手套或单目相机等手段实现，然而由于其在检测手部动作是具有较大的局限性，导致手势识别的稳定性和准确性较差。

技术实现思路

1、本申请实施例提供一种手势识别方法及其装置，以提高手势识别的稳定性和准确性的效果。

2、第一方面，本申请实施例提供一种手势识别方法，方法包括：

3、获取飞行时间摄像头采集到的红外图像和深度数据；

4、基于红外图像，确定手部坐标；

5、基于手部坐标，对深度数据进行背景去除处理，得到背景去除后的手势深度图像；

6、将手势深度图像转化为点云数据；

7、根据点云数据，识别手势类型。

8、第二方面，本申请实施例提供了一种手势识别装置，装置包括：

9、获取模块，用于获取飞行时间摄像头采集到的红外图像和深度数据；

10、确定模块，用于基于红外图像，确定手部坐标；

11、处理模块，用于基于手部坐标，对深度数据进行背景去除处理，得到背景去除后的手势深度图像；

12、转化模块，用于将手势深度图像转化为点云数据；

13、识别模块，用于根据点云数据，识别手势类型。

14、第三方面，本申请实施例提供了一种电子设备，设备包括：

15、处理器以及存储有程序或指令的存储器；

16、处理器执行程序或指令时实现上述的方法。

17、第四方面，本申请实施例提供了一种机器可读存储介质，机器可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现上述的方法。

18、第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行上述方法。

19、本申请实施例的手势识别方法及其装置，能够获取飞行时间摄像头采集到的红外图像和深度数据；基于红外图像，确定手部坐标；基于手部坐标，对深度数据进行背景去除处理，得到背景去除后的手势深度图像；将手势深度图像转化为点云数据；根据点云数据，识别手势类型。

20、这样，可以利用飞行时间摄像头的成像特性，采用红外和深度两种模式，降低了光照强度变化的影响，适合多种应用场景，且通过后续将手势深度图像转化为点云数据来识别手势类型，可以更真实准确的表达手势的几何形状信息与空间位置姿态，大大提高了动态手势的识别准确率和稳定性。

技术特征：

1.一种手势识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述红外图像，确定手部坐标，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述手部坐标，对所述深度数据进行背景去除处理，得到背景去除后的手势深度图像，包括：

4.根据权利要求3所述的方法，其特征在于，所述第一滤波处理的表达式如下：

5.根据权利要求1所述的方法，其特征在于，所述将所述手势深度图像转化为点云数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据，识别手势类型，包括：

7.根据权利要求6所述的方法，其特征在于，所述通过所述手势识别模型使用空间分组法提取所述点云数据中当前帧的特征，使用基于密度的采样和时空分组法学习帧间特征，根据所述帧间特征，将前一帧邻近点的空间信息与特征信息相结合，更新当前帧点云状态，并根据所述当前帧点云状态，提取逐点的特征得到全局特征，包括：

8.根据权利要求7所述的方法，其特征在于，基于密度的采样过程中，点的密度通过以下公式确定：

9.根据权利要求7所述的方法，其特征在于，所述第三融合特征的表达式如下：

10.一种手势识别装置，其特征在于，包括：

技术总结
本申请提供了一种手势识别方法及其装置，方法包括：获取飞行时间摄像头采集到的红外图像和深度数据；基于红外图像，确定手部坐标；基于手部坐标，对深度数据进行背景去除处理，得到背景去除后的手势深度图像；将手势深度图像转化为点云数据；根据点云数据，识别手势类型。这样，可以降低了光照强度变化的影响，适合多种应用场景，且更真实准确的表达手势的几何形状信息与空间位置姿态，大大提高了动态手势的识别准确率和稳定性。

技术研发人员：陈占营,芦嘉鑫,郭志宇,李翔宇
受保护的技术使用者：北京经纬恒润科技股份有限公司
技术研发日：
技术公布日：2024/1/15