基于手势识别的粒子影像生成方法、装置、电子设备和介质与流程

本发明涉及人工智能和物联网，更具体地涉及一种基于手势识别的粒子影像生成方法、装置、电子设备和介质。

背景技术：

1、在如今数字技术的快速发展下，人机交互方式正在变得越来越多样和丰富。其中，手势识别技术得到了快速发展，各种研究提出了基于图像、深度摄像头、传感器等的手势识别方法，基于手势识别的互动技术允许用户通过手部动作和姿势与计算机系统进行直接的交互，无需借助物理接触，从而为人机交互带来了全新的可能性。

2、在手势识别的应用领域中，粒子生成系统能够将手势动作转化为具有视觉效果的粒子图像，通过用户的手势来控制和创造出动态、生动的图像效果。这种技术广泛应用于虚拟现实、增强现实和艺术创作等领域，为用户提供了一种全新的交互和娱乐体验。

3、然而，在传统的粒子影像设计领域，粒子特效往往是通过后期处理预先设计好的，用户只能单向被动地观看粒子变化；同时，尽管手势识别技术取得了显著的进展，但在对于多种手势类型的识别仍然存在准确性和鲁棒性的挑战，因此，需要进一步改进算法和模型；此外，要实现手势和粒子影像互动，需要在实时场景中进行，对于算法的实时性和效率要求较高，而在目前的研究中，一些复杂的粒子生成算法可能会导致计算量较大，影响实时性能。因此，为了使用户更具有参与感、控制感和沉浸感，需要进一步提高手势识别和粒子影像的互动效果。

技术实现思路

1、鉴于上述问题，根据本发明的第一方面，提供了一种基于手势识别的粒子影像生成方法，其特征在于，所述方法包括：获取手势动作信息和手势识别分析算法包；基于所述手势动作信息，利用手势识别分析算法包，获取手势动作参数；基于所述手势动作参数，利用粒子引擎，获取手势粒子三维模型；以及将所述手势粒子三维模型进行渲染和绘制，输出手势粒子影像。

2、根据一些示例性实施例，所述获取手势动作信息包括：以预设的时间间隔获取手势动作。

3、根据一些示例性实施例，所述手势识别分析算法包提供的算法包括：手部检测算法、手部关键点定位算法、三维重建算法、手部识别算法、跟踪算法和时间序列分析算法。

4、根据一些示例性实施例，所述基于所述手势动作信息，利用手势识别和分析算法包，获取手势动作参数，具体包括：基于手势动作信息，利用所述手部检测算法，获取手部区域；基于所述手部区域和所述手部关键点定位算法，获取手部关键点；基于三维重建算法，获取所述手势动作参数中的坐标向量参数；基于手部识别算法，获取所述手势动作参数中的类型参数；以及基于跟踪算法和时间序列分析算法，获取所述手势动作参数中的时间权重参数。

5、根据一些示例性实施例，所述基于三维重建算法，获取所述手势动作参数中的坐标向量参数，具体包括：基于所述手部关键点和所述三维重建算法，获取空间位置坐标；利用第一映射函数，将所述空间位置坐标映射为图形界面中的位置坐标；以及基于相邻时刻获取的所述位置坐标，获取所述坐标向量参数。

6、根据一些示例性实施例，所述基于手部识别算法，获取所述手势动作参数的类型参数，具体包括：基于所述手部关键点，提取手部特征，其中，所述手部特征包括手部的形状和轮廓；基于所述手部特征，确定手势类型，其中，所述手势类型包括手指完全握紧的第一状态、手指完全张开的第二状态以及介于所述第一状态和所述第二状态之间的中间状态；以及基于所述手势类型和所述手部识别算法，获取所述类型参数。

7、根据一些示例性实施例，所述基于所述手势类型和所述手部识别算法，获取所述类型参数，具体包括：获取第一取值范围，其中，所述第一取值范围的最大值对应于所述第一状态，所述第一取值范围的最小值对应于所述第二状态；基于所述手部识别算法，获得所述手势类型的形状特征；以及利用第二映射函数，将所述形状特征映射到所述第一取值范围的取值，以获得所述类型参数。

8、根据一些示例性实施例，所述基于跟踪算法和时间序列分析算法，获取所述手势动作参数中的时间权重参数，具体包括：基于所述手部关键点和所述跟踪算法，获取时间序列数据；以及基于所述时间序列数据和所述时间序列分析算法获取所述时间权重参数。

9、根据一些示例性实施例，所述基于所述手势动作参数，利用粒子引擎，获取手势粒子三维模型，具体包括：获取粒子生成器；基于所述坐标向量参数，获取粒子干扰器坐标；基于所述类型参数，获取干扰值；基于所述时间权重参数，获取粒子响应属性；以及基于所述粒子生成器、所述粒子干扰器坐标、所述干扰值和所述粒子响应属性，获取所述手势粒子三维模型。

10、根据一些示例性实施例，所述粒子响应属性包括：粒子持续时间、透明度、大小和运动速度。

11、根据一些示例性实施例，所述将所述手势粒子三维模型进行渲染和绘制，输出手势粒子影像，还具体包括：将所述手势动作信息与所述手势粒子影像叠加，输出合成影像。

12、根据本发明的第二方面，提出了一种基于手势识别的粒子影像生成装置，所述装置包括：信息和算法包获取模块，用于：获取手势动作信息和手势识别分析算法包；手势动作参数获取模块，用于：基于所述手势动作信息，利用手势识别分析算法包，获取手势动作参数；手势粒子三维模型获取模块，用于：基于所述手势动作参数，利用粒子引擎，获取手势粒子三维模型；手势粒子影像获取模块，用于：将所述手势粒子三维模型进行渲染和绘制，输出手势粒子影像。

13、根据一些示例性实施例，所述手势动作参数获取模块包括手部区域获取模块、手部关键点获取模块、坐标向量参数获取模块、类型参数获取模块和时间权重参数获取模块。

14、根据一些示例性实施例，所述手部区域获取模块可以用于基于手势动作信息，利用所述手部检测算法，获取手部区域。

15、根据一些示例性实施例，所述手部关键点获取模块可以用于基于所述手部区域和所述手部关键点定位算法，获取手部关键点。

16、根据一些示例性实施例，所述坐标向量参数获取模块可以用于基于三维重建算法，获取所述手势动作参数中的坐标向量参数。

17、根据一些示例性实施例，所述类型参数获取模块可以用于基于手部识别算法，获取所述手势动作参数中的类型参数。

18、根据一些示例性实施例，所述时间权重参数获取模块可以用于基于跟踪算法和时间序列分析算法，获取所述手势动作参数中的时间权重参数。

19、根据一些示例性实施例，所述坐标向量参数获取模块可以包括空间位置坐标获取单元、图形界面位置坐标获取单元和坐标向量参数获取单元。

20、根据一些示例性实施例，所述空间位置坐标获取单元可以用于基于所述手部关键点和所述三维重建算法，获取空间位置坐标。

21、根据一些示例性实施例，所述图形界面位置坐标获取单元可以用于利用第一映射函数，将所述空间位置坐标映射为图形界面中的位置坐标。

22、根据一些示例性实施例，所述坐标向量参数获取单元可以用于基于相邻时刻获取的所述位置坐标，获取所述坐标向量参数。

23、根据一些示例性实施例，所述类型参数获取模块包括手部特征提取单元、手势类型确定单元和类型参数确定模块。

24、根据一些示例性实施例，所述手部特征提取单元可以用于基于所述手部关键点，提取手部特征，其中，所述手部特征包括手部的形状和轮廓。

25、根据一些示例性实施例，所述手势类型确定单元可以用于基于所述手部特征，确定手势类型，其中，所述手势类型包括手指完全握紧的第一状态、手指完全张开的第二状态以及介于所述第一状态和所述第二状态之间的中间状态。

26、根据一些示例性实施例，所述类型参数确定模块可以用于基于所述手势类型和所述手部识别算法，获取所述类型参数。

27、根据一些示例性实施例，所述类型参数确定模块可以包括第一取值范围获取单元、形状特征获取单元和类型参数获取单元。

28、根据一些示例性实施例，所述第一取值范围获取单元可以用于获取第一取值范围，其中，所述第一取值范围的最大值对应于所述第一状态，所述第一取值范围的最小值对应于所述第二状态。

29、根据一些示例性实施例，所述形状特征获取单元可以用于基于所述手部识别算法，获得所述手势类型的形状特征。

30、根据一些示例性实施例，所述类型参数获取单元可以用于利用第二映射函数，将所述形状特征映射到所述第一取值范围的取值，以获得所述类型参数。

31、根据一些示例性实施例，所述时间权重参数可以包括时间序列数据获取单元和时间权重参数获取单元。

32、根据一些示例性实施例，所述时间序列数据获取单元可以用于基于所述手部关键点和所述跟踪算法，获取时间序列数据。

33、根据一些示例性实施例，所述时间权重参数获取单元可以用于基于所述时间序列数据和所述时间序列分析算法获取所述时间权重参数。

34、根据一些示例性实施例，所述手势粒子三维模型获取模块1230可以包括粒子生成器获取单元、粒子干扰器坐标获取单元、干扰值获取单元、粒子响应属性获取单元和手势粒子三维模型获取单元。

35、根据一些示例性实施例，所述粒子生成器获取单元可以用于获取粒子生成器。

36、根据一些示例性实施例，所述粒子干扰器坐标获取单元可以用于基于所述坐标向量参数，获取粒子干扰器坐标。

37、根据一些示例性实施例，所述干扰值获取单元可以用于基于所述类型参数，获取干扰值。

38、根据一些示例性实施例，所述粒子响应属性获取单元可以用于基于所述时间权重参数，获取粒子响应属性。

39、根据一些示例性实施例，所述手势粒子三维模型获取单元可以用于基于所述粒子生成器、所述粒子干扰器坐标、所述干扰值和所述粒子响应属性，获取所述手势粒子三维模型。

40、根据本发明的第三方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上所述的方法。

41、根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。

42、根据本发明的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

43、上述一个或多个实施例具有如下优点或有益效果：根据本发明提供的基于手势识别的粒子影像生成方式，支持操作者对粒子图像的实时控制，可定义用户不同的手势控制以及不同类型的图像或动画，具有灵活可拓展的优点。本发明具有良好的实用性和创新性，具有互动性强、体验感强等优点，适用于商场、博物馆、画廊、体验中心等场所，可以用作新形式的广告/影视/艺术作品/大屏展示方面，人的手势与图像的互动会增强艺术性和体验感，可以为用户带来全新的互动及视觉盛宴。