一种手势控制方法、装置、计算机设备及存储介质与流程

本公开涉及计算机，具体而言，涉及一种手势控制方法、装置、计算机设备及存储介质。

背景技术：

1、传统车辆的控制主要通过汽车中控实现，而对于车舱后排的乘客，由于距离汽车中控距离较远，因此往往难以对车辆进行控制。

2、相关技术中，为了提高车舱内各乘客的乘车体验，可以采用语音控制等方式对车辆进行控制，但是车辆在行驶过程中往往会有一定的噪音，因此语音控制的方式可能会因为噪音的干扰无法准确的实现对于车舱内控制设备的控制。

技术实现思路

1、本公开实施例至少提供一种手势控制方法、装置、计算机设备及存储介质。

2、第一方面，本公开实施例提供了一种手势控制方法，包括：

3、获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；

4、将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；

5、确定所述目标车舱内与所述目标区域关联的目标控制设备；

6、基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。

7、一种可能的实施方式中，所述待识别图像包含深度信息；

8、所述方法还包括根据以下步骤确定所述手部在目标车舱中的三维位置信息：

9、确定所述手部在所述待识别图像中的目标关键点的图像坐标；

10、基于所述目标关键点的图像坐标和所述手部的深度信息，确定所述手部在所述目标车舱中的三维位置信息。

11、一种可能的实施方式中，所述预设平面为基于显示设备在所述目标车舱中所处位置确定的，所述预设平面中包括所述显示设备对应至少一个第一区域，以及围绕所述显示设备划定的多个第二区域；

12、其中，不同的第二区域用于控制不同的控制设备，各第二区域控制的控制设备与各第二区域在所述预设平面中的第一位置、以及各控制设备在所述目标车舱内的第二位置相关。

13、一种可能的实施方式中，在确定所述目标车舱内与所述目标区域关联的目标控制设备之后，所述方法还包括：

14、在所述显示设备上展示目标浮窗，其中，所述目标浮窗上展示有多个控制设备标识；

15、将所述目标控制设备的标识进行突出显示。

16、一种可能的实施方式中，在所述目标控制设备为可持续调节的控制设备的情况下，所述方法还包括：

17、响应于所述手势信息中的三维位置信息发生变化，基于变化后的三维位置信息，确定所述手部的运动变化量；所述运动变化量包括移动距离和/或移动角度；

18、基于所述运动变化量，确定控制所述目标控制设备时的状态变化量；

19、基于所述状态变化量确定对所述目标控制设备的状态控制指令，以基于所述状态控制指令变更所述目标控制设备的状态。

20、一种可能的实施方式中，所述方法还包括根据以下步骤确定与所述目标语义信息对应的目标控制指令：

21、确定与所述手势信息对应的车舱位置信息；

22、基于预设的与所述车舱位置信息匹配的，语义信息与控制指令的对应关系，确定所述目标语义信息对应的目标控制指令；其中，不同车舱位置信息匹配的语义信息与控制指令的对应关系不同。

23、第二方面，本公开实施例还提供一种智能驾驶车辆，包括：图像采集装置、数据处理器、图像显示设备、以及至少一个控制设备；

24、所述图像采集装置用于在目标车舱内采集待识别图像，并将所述待识别图像传输至所述数据处理器；

25、所述数据处理器，用于根据如第一方面中任一所述的手势控制方法，对获取的待识别图像进行处理得到目标控制指令，并按照所述目标控制指令控制目标控制设备；

26、所述图像显示设备，用于展示被控制的目标控制设备的设备名称。

27、第三方面，本公开实施例还提供一种手势控制装置，包括：

28、第一确定模块，用于获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；

29、第二确定模块，用于将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；

30、第三确定模块，用于确定所述目标车舱内与所述目标区域关联的目标控制设备；

31、控制模块，用于基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。

32、第四方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

33、第五方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

34、关于上述手势控制装置、计算机设备、及计算机可读存储介质的效果描述参见上述手势控制方法的说明，这里不再赘述。

35、本公开实施例提供的手势控制方法、装置、计算机设备及存储介质，通过确定出目标车舱内采集的待识别图像所包含的手势信息，并将手势信息中的三维位置信息映射至预设平面中，能够在映射至预设平面后确定出于二位位置信息对应的目标控制设备，从而可以使用余手势信息中的目标语义信息对应的目标控制指令对所述目标控制设备进行控制。这样，相较于传统的直接通过触发汽车中控进行控制的方式，能够提高车舱后排的乘客的交互体验，而相较于使用语音控制等控制方式，通过手部在车舱中的三维位置信息对车舱内的控制设备进行手势控制，能够避免在控制过程中被噪音干扰的问题，提升对车舱内的控制设备的控制精度。

36、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种手势控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述待识别图像包含深度信息；

3.根据权利要求1或2所述的方法，其特征在于，所述预设平面为基于显示设备在所述目标车舱中所处位置确定的，所述预设平面中包括所述显示设备对应至少一个第一区域，以及围绕所述显示设备划定的多个第二区域；

4.根据权利要求3所述的方法，其特征在于，在确定所述目标车舱内与所述目标区域关联的目标控制设备之后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，在所述目标控制设备为可持续调节的控制设备的情况下，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括根据以下步骤确定与所述目标语义信息对应的目标控制指令：

7.一种智能驾驶车辆，其特征在于，包括：图像采集装置、数据处理器、图像显示设备、以及至少一个控制设备；

8.一种手势控制装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的手势控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的手势控制方法的步骤。

技术总结
本公开提供了一种手势控制方法、装置、计算机设备及存储介质，其中，该方法包括：获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；确定所述目标车舱内与所述目标区域关联的目标控制设备；基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。

技术研发人员：赵阳阳,徐持衡,周舒岩,罗予晨
受保护的技术使用者：上海临港绝影智能科技有限公司
技术研发日：
技术公布日：2024/1/13