手势处理方法、交互控制方法及设备与流程

本申请实施例涉及计算机技术领域，具体地说，涉及一种手势处理方法、交互控制方法及设备。

背景技术：

在人机交互领域中，手势通常指人的手部运动，可以代表一种可以被智能设备识别的信息，例如，食指伸出，其他手指向手掌弯曲闭合时即为一种手势，该手势可以被赋予特定的手势信息，假定该手势对应的手势信息为点击操作，智能设备识别出该手势后即执行相应的点击操作。手势识别是通过数学算法识别手势信息，以使得智能设备可以理解人的手部运动，并基于手势信息实现人与智能设备的交互控制。

现有技术中，手势识别时，通常采用数据手套采集手部数据。数据手套中内置的传感器可以在手部运动时感应手部运动数据。智能设备通过获取数据手套采集的手部运动数据，并对获得的手部运动数据进行分析处理，识别该手部运动数据对应的手势信息，进而基于手势信息完成设备交互。

但是，如果通过数据手套采集手部运动数据，还需要为智能设备配置数据手套，造成智能交互设备的设备量的增加，进而增加设备的复杂程度。在实际使用中，由于数据手套的使用，也增加了使用难度，操作方式复杂，使用不便。

技术实现要素：

有鉴于此，本申请提供了一种手势处理方法、交互控制方法及设备，以解决现有技术中需要数据手套等单独的感应设备来感应对应的运动数据，以实现智能设备的交互控制而导致设备成本增加的技术问题。

为了解决上述技术问题，本申请第一方面提供了一种手势处理方法，包括：

采集手部运动时的视频数据，并获取所述视频数据中的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至显示屏幕，获得对应的操作位置；其中，所述控制命令针对所述操作位置执行。

第二方面本申请还提供一种交互控制方法，包括：

采集手部运动时的视频数据，并所述视频数据的目标图像帧；

提取目标图像帧的手部特征；

利用手势识别模型识别所述手部特征，获得手势信息；

确定手势信息对应的控制命令；

确定所述手部预定部位在所述目标图像帧的目标位置；

将所述目标位置映射至显示屏幕，获得对应的操作位置；

在所述操作位置执行所述控制命令。

第三方面本申请还提供一种手势处理设备，包括：处理组件、与所述处理组件分别连接的存储组件以及显示组件；

所述存储组件存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件调用并执行；

所述处理组件用于：

采集手部运动时的视频数据，并获取所述视频数据的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至所述显示组件，获得对应的操作位置；

其中，所述控制命令针对所述操作位置执行。

第四方面本申请还提供一种交互控制设备，包括：处理组件、与所述处理组件分别连接的存储组件以及显示组件；

所述存储组件存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件调用并执行；

所述处理组件用于：

采集手部运动时的视频数据，获取所述视频数据中的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至所述显示组件，获得对应的操作位置；在所述显示组件的操作位置执行所述控制命令。

本申请实施例中，可以通过采集手部运动时的视频数据，并获取视频数据中的目标图像帧，并针对目标图像帧，提取其手部特征以及确定所述手部的目标特征在所述目标图像帧中的目标位置。并在利用手势识别模型识别所述手部特征获得手势信息并确定手势信息对应的控制命令之后，在目标位置对应的显示屏幕处执行对应的控制命令。不再需要数据手套等外部感应设备采集用户的手部运动数据，而是使用摄像头采集用户在自然环境中的手部运动时的视频数据，并针对视频数据进行相应的手势识别处理进而可以降低设备复杂度，降低操作难度。同时，可以针对手部的目标特征在目标图像帧中的位置，可以实现手部对应操作位置的获取，可以实现准确的位置定位，提高控制精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例提供的一种手势处理方法的一个实施例的流程图；

图2是本申请实施例提供的多种手势的示例图；

图3是本申请实施例提供的一种手势处理方法的一个实施例的流程图；

图4是本申请实施例提供的一种交互控制方法的一个实施例的结构示意图；

图5是本申请实施例提供的一种手势处理设备的一个实施例的结构示意图；

图6是本申请实施例提供的一种交互控制设备的一个实施例的结构示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本申请实施例主要应用于人机交互场景中，主要通过采集自然环境下的手部运动时的视频数据，以达到以简单设备实现智能交互控制的目的。

现有技术中，多采用数据手套等方式对用户手部运动进行采集，进而针对采集的手部运动数据进行坐标映射等数据处理，完成相应的交互控制。但是这种方式，需要提供数据手套等额外的感应设备，设备复杂度较高，不利于交互场景的扩展。为了解决上述问题，发明人想到可以利用摄像头对用户的手部运动进行采集，以通过采集的图像进行动作识别，进而完成交互控制。据此，发明人提出了本申请的技术方案。

本申请实施例中，主要是利用摄像头采集用户手部运动时的视频数据，并获取视频数据中的目标图像帧，继而可以针对目标图像帧，提取手部特征以及确定手部预定部位在所述目标图像帧中的目标位置，进而可以利用手势识别模型识别所述手部特征，获得手势信息，进而获得其对应的控制命令。在将目标位置映射到显示屏幕之后，在显示屏幕的操作位置处执行相应的控制命令。利用摄像头，在自然环境中采集用户手部运动视频数据以完成相应的交互控制，可以提供较为自然的交互场景。由于仅采用普通摄像头即可实现识别数据的采集，降低了设备的复杂度。采用映射方式精确确定用户在显示屏幕的准确位置进而可以准确执行交互过程，提高了交互的精确度以及准确度。

下面将结合附图对本申请实施例进行详细描述。

如图1所示，为本申请实施例提供的一种手势处理方法的一个实施例的流程图，该方法可以包括以下几个步骤：

101：采集手部运动时的视频数据，并获取所述视频数据中的目标图像帧。

本申请实施例提供的手势处理方法可以应用在智能设备中，所述智能设备可以是智能电视、智能冰箱、电脑等各种类型的智能设备中。所述智能设备可以包括显示屏幕，并可以在显示屏幕上显示按钮、对话框、文件、应用程序的图标等显示内容。用户可以通过手部运动在显示屏幕上执行点击、双极、滑动等操作，其中，点击、双极等操作主要是针对按钮、对话框以及应用程序的图标等显示内容的操作，滑动是用户手部在屏幕上的位置变化。

本申请实施例的手势处理方法还可以应用在vr(virtualreality，虚拟现实)设备、ar(augmentedreality，增强现实)设备等虚拟智能设备中。虚拟智能设备外部可以配置有摄像头，以采集用户手部运动时的视频数据，并将用户手部在外部运动时的运动轨迹、手势等信息映射到虚拟场景中，以通过手部的运动控制虚拟场景中的虚拟内容。

可选地，可以使用摄像头采集手部运动时的视频数据。摄像头可以与智能设备是一体设备，也可以是独立于智能设备的摄像头，对于摄像头的位置以及种类本申请中不作过多限定。

摄像头采集手部运动时的视频数据后，智能设备可以通过读取摄像头数据获得摄像头采集的视频数据。所述获取视频数据中的目标图像帧可以包括：获取视频数据中的每一帧图像帧。通过对所有图像帧的追踪，获取较为精密的手势追踪。但是，由于图像处理速度有限，如果对所有图像帧均进行手势追踪，计算量非常大，容易导致手势处理速度降低。因此，为了提高追踪处理速度，所述获取视频数据中的目标图像帧可以包括：按照预设图像帧采集间隔，采集视频数据中的目标图像帧。通过减少图像帧的数量，以降低总的追踪计算量，可以提高处理速度。图像采样频率可以按照需要事先设定，例如，假定视频数据的帧率为24帧每秒，可以设置图像帧的采集间隔为2，也即每间隔两张图像帧采集一张图像帧，对于1秒内显示的24帧图像，可以采集到8张目标图像帧。

可选地，摄像头可以采集rgb颜色空间的视频数据。此时，视频数据的每一帧图像帧均为rgb格式。智能设备获取到视频数据之后，可以将视频数据分割成一帧一帧的图像帧，并对图像帧对应目标图像帧进行手势识别。

在本发明中，采集手部运动时的目标图像帧，可以实时采集手部运动时的视频数据，并获取视频数据中的目标图像帧，针对每一帧目标图像帧执行后续的手势识别或者手势控制。

102：提取目标图像帧中的手部特征。

103：利用手势识别模型识别所述手部特征，获得手势信息。

104：确定手势信息对应的控制命令。可选地，可以针对每个目标图像帧的手部所在区域，提取手部特征，针对手部区域进行特征提取可以减少数据量的计算，提高计算效率。

提取的手部特征可以针对视频数据的每个目标图像帧进行提取，以获得每个目标图像帧中手部的手部特征，进而实现连续控制。

可选地，可以将手部特征输入手势识别模型，通过计算获得手势信息。

手势识别模型可以预先训练获得。作为一种可能的实现方式，智能设备中可以事先存储手势识别模型，在获得手部特征之后，可以调用事先存储的手势识别模型对手部特征进行识别，并通过计算手势识别模型的输出获得手势信息。

可选地，手势识别模型识别所述手部特征可以指手部特征输入至所述手势识别模型后，获得相应的模型输出结果，所述模型输出结果可以为数据信息，可以根据所识别的数据信息确定对应的键值，进而确定数据信息或者数据信息对应的键值确定相应的手势信息。

手势信息可以指手势对应的含义，例如，手部食指伸出，可以代表单击信息，也可以代表打开信息，在可以根据用户需要而进行定义。而手势信息的含义确定后，即可以确定其对应的控制命令。

在实际应用中，所述手势识别模型可以为支持向量机模型，利用预先训练的支持向量机模型对所述手部特征进行识别，可以获得较高的识别结果。

如图2所示，为本发明实施例提供的多种手势的示例图，其中可以包括第一手势201，第二手势202，第三手势203，其中，每一种手势均可以对应有相应的手势信息，例如，本发明实施例中，可以将第一手势201的手势信息定义为平移，可以将第二手势202的手势信息定义为左键点击，可以将第三手势203的手势信息定义为右键点击。在实际应用中，不同的手势可以定义为不同的手势信息，具体可以根据需要而设定。

可选地，手势信息可以利用不同的键值表示，任一个键值可以对应有一个控制命令，例如，手势信息用键值001表示，其对应的控制命令可以为移动，手势信息用键值002表示，其对应的控制命令可以为单击。当手势识别模型识别相应的手势信息也即识别所述手势信息的键值表示。

所述确定手势信息对应的控制命令可以包括：从不同键值中确定所述手势信息对应的目标键值，确定所述目标键值对应的控制命令。

105：确定手部预定部位在目标图像帧中的目标位置。

106：将所述目标位置映射至显示屏幕，获得对应的操作位置。

其中，所述控制命令针对所述操作位置执行。

可以确定视频数据的目标图像帧中，手部预定部位在目标图像帧的目标位置。

手部预定部位可以包括手指指尖、手掌中心、手部的特殊标记等部位，可以针对手部的不同部位进行手部跟踪。手部预定部位的在目标图像帧中的目标位置，可以指手部预定部位在视频数据的目标图像帧中的位置，实现对目标图像帧中的每一帧的手势跟踪或者手势控制。

可选地，所述确定所述手部预定部位在目标图像帧的目标位置可以指确定所述手部的手指指尖位于目标图像帧的坐标位置，也可以指确定手部的手掌中心位于所述目标转换图像中的坐标位置，还可以指手部的特殊标识位于目标图像帧的坐标位置。

所述目标位置为手部预定部位在目标图像帧的位置，具体可以指手部预定部位在所述目标图像帧的坐标。可以将手部预定部位在目标图像帧中的位置映射到智能设备的显示屏幕，获得对应的操作位置。通过操作位置的确定可以准确实现相应的操作控制。

本申请实施例中，不再需要数据手套等外部感应设备采集用户的手部运动数据，而是使用摄像头采集用户在自然环境中的手部运动时的视频数据，并针对视频数据进行相应的手势识别处理进而可以降低设备复杂度，降低操作难度。同时，可以针对手部的目标特征在目标图像帧中的位置，可以实现手部对应操作位置的获取，可以实现准确的位置定位，提高控制精度。

如图3所示，为本发明实施例提供的一种手势处理方法的又一个实施例的流程图，所述方法包括：

301：采集手部运动时的视频数据，并获取所述视频数据中的目标图像帧。

本申请实施例与图1所示的实施例的部分步骤相同，在此不再赘述。

302：对目标图像帧进行图像分割，获得手部所在区域的手势图像。

可选地，对目标图像帧进行图像分割包括：对目标图像帧的背景图像以及手部所在区域进行分割，获得手势图像。

所述对目标图像帧的背景图像与手部所在区域进行分割，获得手势图像可以包括：

利用otsu算法分割目标图像帧中手部所在区域以及背景图像，获得手势图像。otsu算法可以将目标图像帧中的手势图像进行分割，具体可以将手部所在区域与其他背景区域进行分割，获得手势图像。

手势图像所在区域确定后，可以将所述手势图像进行转换处理，提取获得手势图像中的手部特征。

303：提取手势图像中的手部特征。

所述提取手势图像中的手部特征可以包括：将所述手势图像与特征滤波器卷积，计算获得的卷积结果即为所述手势图像的手部特征。

304：利用手势识别模型识别所述手部特征，获得手势信息；

305：确定手势信息对应的控制命令。

306：基于手势图像，确定手部预定部位在目标图像帧的目标位置。

307：将目标位置映射至显示屏幕，获得对应的操作位置。

其中，所述控制命令针对所述操作位置执行。

本申请实施例中，通过将视频数据的目标图像帧，进行图像分割，获得手部所在手势图像，以减少后续图像处理的数据量，进而提高处理速度。

在某些实施例中，视频数据的目标图像帧可以为rgb格式的目标图像帧，但是由于rgb图像受光照影响较大，因此，可以将rgb图像进行颜色空间转换，转换为ycrcb图像。因此，可以针对转换后的ycrcb图像，提取手部特征以及确定手部的目标特征在目标图像帧中的目标位置。

作为一个实施例，所述提取所述手势图像中的手部特征可以包括：

对所述手势图像进行颜色空间转换，获得目标转换图像；提取所述目标转换图像中的手部特征。

作为又一个实施例，所述基于所述手势图像，确定手部预定部位在目标图像帧的目标位置包括：

对所述手势图像进行颜色空间转换，获得目标转换图像；基于所述目标转换图像，确定手部预定部位在所述目标图像帧的目标位置。

可选地，所述对所述手势图像进行颜色空间转换，获得目标转换图像可以包括对所述手势图像进行颜色空间转换，提取转换后的目标通道对应的颜色空间获得目标转换图像。

作为一种可能的实现方式，所述对所述手势图像进行颜色空间转换，获得目标转换图像可以包括：对所述视频数据的目标图像帧的颜色空间由rgb格式转换为ycrcb空间，提取cb的颜色空间获得的目标转换图像。

在某些实施例中，可以通过以下公式，将rgb格式的目标图像帧转换为ycrcb目标图像帧：

y＝0.2990r+0.5870g+0.1140b

cr＝-0.1687r–0.3313g+0.5000b+128

cb＝0.5000r–0.4187g–0.0813b+128

其中，r、g、b分别代表红色、绿色、蓝色三个颜色通道，y、cr、cb分别代表亮度、rgb输入信号的红色部分与亮度值之间的差异、rgb输入信号的蓝色部分与亮度值之间的差异。

将手势图像进行颜色空间转换，即为将每个手势图像由rgb空间转换为ycrcb空间，获得图像为ycrcb格式的图像，进而可以消除光照对图像的影响，进而降低光照对特征提取的负面影响，提高提取的准确度。

本申请实施例中，手势图像进行颜色空间的转换可以减少光照对目标图像帧的负面影响，进而可以获得不受光照影响的手部特征，进而可以提高手势的识别结果。

作为一种可能的实现方式，所述基于所述手势图像，确定手部预定部位在目标图像帧的目标位置包括：

确定所述手部预定部位在所述手势图像中的检测位置；基于所述手势图像与所述目标图像帧的分割关系，确定所述检测位置在所述目标图像帧中的目标位置。

可选地，所述基于所述手势图像与所述目标图像帧的分割关系，确定所述检测位置在所述目标图像帧中的目标位置包括：

基于手势图像与目标图像帧的分割关系，确定所述手势图像的中心点在所述目标图像帧的位置；根据检测位置与中心点之间的位置关系，将所述检测位置由手势图像映射到目标图像帧中。

在某些实施例中，所述确定所述手部预定部位在所述手势图像中的检测位置包括：

确定所述手部在所述手势图像中的封闭区域；获取所述封闭区域中至少一个指尖位置；根据所述至少一个指尖位置，获得所述手部预定部位在所述手势图像中的检测位置。

在某些实施例中，确定手部在所述手势图像中的封闭区域包括：

利用轮廓检测算法，检测所述手势图像中的至少一个轮廓；确定所述至少一个轮廓中面积最大的目标轮廓；确定所述目标轮廓对应区域为所述手部在所述手势图像封闭区域。

可选地，所述利用轮廓检测算法，检测所述手势图像中的至少一个轮廓包括：

对所述手势图像进行颜色空间转换，获得目标转换图像；利用轮廓检测算法，确定手部在所述目标转换图像的轮廓区域。

在某些实施例中，所述获取所述封闭区域中至少一个指尖位置可以包括：

利用凸缺陷检测算法检测所述封闭区域的轮廓对应的多个顶点；根据所述多个顶点中任意两个顶点的距离以及夹角对应关系，确定多个指尖点；分别确定所述多个指尖点在所述封闭区域中的多个指尖坐标，获得至少一个指尖位置。

所述多个顶点中可以包含多个指尖点以及多个手掌点。所述多个指尖点中最高点即可以为本发明实施例中需要跟踪的点。

可选地，所述利用凸缺陷检测算法检测所述封闭区域的轮廓对应的多个顶点包括：

利用凸包包裹所述封闭区域的轮廓，获得手部轮廓的闭合图像。

利用凸缺陷检测算法检测所述闭合图像中的多个顶点。

在某些实施例中，所述手部预定部位可以包括，所述手部的手掌中心。

可选地，在利用凸缺陷检测算法检测所述封闭区域的轮廓对应的多个顶点之后，还可以包括：

确定所述多个顶点中的多个手掌点；确定所述多个手掌点分别在所述手势图像对应目标图像帧的多个手掌坐标；确定与所述多个手掌坐标的欧式距离之和最小的坐标点为掌心点的坐标为目标位置。

可以基于所述手势图像与其对应的目标图像帧之间的分割关系，确定所述多个手掌点分别在所述目标转换图像的多个手掌坐标。

可选地，所述掌心点为与各个点的欧式距离的平方和最小的点。在实际应用中，可以确定所述多个手掌点中与其他手掌点欧式距离最小的点，为第一手掌点，将基于所述第一手掌点与其他手掌点的欧式距离以及角度，进行距离变换，确定与多个手掌点的欧式距离之和最小的点为掌心点。

在实际跟踪时，可以针对手掌心进行跟踪，以获得较为中心的跟踪位置，获得较为准确的跟踪效果。手掌跟踪更适合于平移、左滑、右滑等操作，而指尖跟踪更合适于单击、左击、右击等操作。

可以利用轮廓检测算法以及凸缺陷检测算法，可以确定较为准确的目标位置，进而在所述目标位置确定时，可以进一步提高识别的准确度。

在某些实施例中，所述手部预定部位包括所述用户手部的最高指尖。

所述根据所述至少一个指尖位置，获得所述手部预定部位在所述手势图像中的检测位置包括：

确定所述多个指尖坐标中的最高指尖点的坐标为所述手部预定部位在所述手势图像中的检测位置。

在某些实施例中，所述将所述目标位置映射至显示屏幕，获得对应的操作位置可以包括：

将所述目标位置输入卡尔曼滤波器，计算获得操作位置。

本发明实施例，通过卡尔曼滤波器的映射，可以准确预测手部所在显示屏幕的位置，获得准确的控制结果。

在某些实施例中，所述提取所述目标转换图像中的手部特征可以包括：

将所述目标转换图像进行高斯模糊去噪，获得去噪图像；将所述去噪图像转换为二值图像；提取所述二值图像中的手部特征。

可选地，获得二值图像之后，可以利用形态学算法消除所述二值图像中的离散点，并填充所述二值图像中的缺失点，进而所述二值图像可以更好地表征手势，进而提高提取的手部特征的准确性。也即，可以将所述二值图像进行离散点消除以及缺失点填充之后，提取手部的手部特征。

所述将所述手势图像进行高斯模糊去噪，获得去噪图像可以包括：将所述手势图像通过高斯滤波器，进而完成高斯模糊去噪，获得去噪图像。高斯滤波器可以将手势图像中的高频噪声进行滤除，进而获得去噪图像。

可选地，所述将所述去噪图像转换为二值图像可以包括：利用阈值转换算法将所述去噪图像转换为二值图像。作为一种可能的实现方式，可以确定所述去噪图像中的每一个像素点的像素值，确定像素阈值；如果任一个像素点的像素值大于所述像素阈值，可以确定所述像素值对应像素点为1；如果任一个像素点小于所述像素阈值，可以确定所述像素值对应像素点为0。图2中所示的手势图像即为二值的手势图像。

作为一种可能的实现方式，所述提取所述二值图像中的手部特征可以包括：利用多方向的gabor滤波器对所述二值图像进行多个方向的特征提取，获得多个小波特征；确定所述多个小波特征为所述手部特征。

gabor滤波器可以指二维gabor核函数构成的滤波器。其中二维核函数可以由高斯函数以及余弦函数相乘获得，该核函数可以用以下公式表示：

x'＝xcosθ+ysinθ

y'＝-xcosθ+ysinθ

其中，θ,φ,γ,λ,σ均为参数，θ表示滤波核中平行条带的方向、φ表示滤波核中余弦函数的相位参数、γ表示滤波核中的椭圆度、λ表示滤波核中的波长参数、σ表示滤波核中高斯函数的标准差。

采用gabor滤波器的主要原因是gabor可以在其他参数一定，仅有θ方向变化时，可以获得多个方向的gabor滤波器，进而采集所述二值图像的多个方向的手部特征。可选地，θ可以选择为0°、45°、90°、135°。在实际应用中，其他参数诸如：φ,γ,λ,σ等可以事先通过多次试验确定最优参数值，以采集到最准确的特征数据。诸如，经试验后φ＝180,γ＝2,λ＝5,σ＝2时，核大小为12*12，gabor滤波器可以较好地提取手势特征。

作为一种可能的实现方式，所述利用多方向的gabor滤波器对所述二值图像进行多个方向的特征提取，获得多个小波特征具体可以包括：

确定多方向的gabor滤波器对应的多个滤波函数；将所述二值图像与所述多个滤波函数卷积，获得多个方向的卷积特征；将每一个卷积特征进行一维化处理，以获得多个小波特征。

本实施例中，采用gabor小波对二值图像进行小波特征的提取，进而确定多个小波特征为手部特征。由于gabor小波可以针对多方向进行采集，实现了多方向的特征采集，进而可以使得特征数据更全面，获得的识别结果的准确性更高。

作为一个实施例，所述利用手势识别模型识别所述手部特征，获得手势信息可以包括：

将多个小波特征分别输入手势识别模型，获得多个识别结果。

将多个识别结果中，数量最多的同一识别结果作为手势信息。

多个小波特征是由二值图像提取获得，而二值图像由视频数据的目标图像帧获得，因此，多个小波特征对应的手势信息实际为一种手势信息。但是，由于手势识别模型存在识别误差，因此，在多个小波特征输入手势识别模型，获得的多个识别结果可能不同，因此，可以将所述多个识别结果，进行统计，并确定数量最多的同一识别结果作为手势信息。进而可以确保手势识别的准确度，即便针对不同方向的小波特征，也可以确定所述多个小波特征识别的识别结果，进而提高识别的准确度。

本申请实施例中，将所述多个识别结果进行统计，并确定数量最多的同一识别结果作为手势信息。进而可以确保手势识别的准确度，即便针对不同方向的小波特征，也可以确定所述多个小波特征识别的识别结果，进而提高识别的准确度。

作为一个实施例，所述手势识别模型可以预先通过以下方式训练获得：

获取不同手势信息对应的样本图像；

利用多方向的gabor滤波器提取每个样本图像的多个小波特征。

基于每个样本图像的每个小波特征以及每个样本图像对应的手势信息，训练获得手势识别模型。

其中，每个样本图像对应的手势信息是为已知手势信息，也即基于每个样本图像的每个小波特征以及每个样本图像已知的手势信息，训练获得手势识别模型。

在采集样本图像时，可以按照设定的手部的手势进行图像采集，而每个手势对应的手势信息已经设定好，也即每个样本图像的手势信息为已知信息。

在某些实施例中，所述样本图像可以包括训练图像以及测试图像。

所述训练图像对应的手势信息设置为已知，可以利用训练图像，训练获得多组待选手势识别模型；所述测试图像对应的手势信息设置为未知，可以利用测试图像，对训练获得的多组待选手势识别模型进行测试，获得手势测试结果，基于手势测试结果与测试图像的手势信息的比较，选择识别率最优的待选手势识别模型为目标手势识别模型。可选地，所述利用多方向的gabor滤波器提取每个样本图像的多个小波特征可以包括：

利用所述多方向的gabor滤波器，分别提取每个训练图像的多个小波特征，以及每个测试图像的多个小波特征。

所述基于每个样本图像的每个小波特征以及每个样本图像对应的手势信息，训练获得手势识别模型可以包括：

基于所述训练图像的每个小波特征以及所述每个训练图像对应的手势信息，训练获得手势识别模型的多组待选模型；利用所述测试图像的每个小波特征分别对所述多组待选模型进行测试，获得多组待选结果；基于所述多组待选结果与所述测试图像的手势信息的匹配程度，获得每个待选模型参数对应的手势识别模型的识别率；确定识别率最高的一组待选模型参数为手势识别模型的模型参数。

所述获取不同手势信息对应的样本图像可以包括：利用摄像头对不同手势信息进行采集，获得采集图像；提取所述目标转换图像中手部所在区域对应的手势图像；将手势图像进行ycrcb的颜色空间的转换，获得目标转换图像；将所述目标转换图像进行噪声滤除、二值转换，获得对应的样本图像。

手势识别模型可以预先训练获得，可以样本图像可以指针对每一种手势进行多次采集后，获得采集图像，将所述采集图像执行与手势的视频数据的每一帧目标图像帧进行相同的处理，获得包含手势区域的二值样图，也即样本图像。其中，每一个样本图像对应的手势信息已知。

本申请实施例中，预先训练获得手势识别模型，可以在需要时直接调用手势识别模型即可，使智能设备不必实时执行手势识别模型的训练过程，可以减少计算量，降低处理时间，加快手势识别处理效率。

如图4所示，为本申请实施例提供的一种交互控制方法的一个实施例的流程图，所述方法可以包括：

401：采集手部运动时的视频数据，并获取所述视频数据的目标图像帧。

402：提取目标图像帧中的手部特征。

403：利用手势识别模型识别所述手部特征，获得手势信息。

404：确定手势信息对应的控制命令。

405：确定手部预定部位在所述目标图像帧的目标位置。

406：将所述目标位置映射至显示屏幕，获得对应的操作位置。

407：在所述操作位置执行所述控制命令。

本申请实施例中，通过采集手部运动时的视频数据，对所述视频数据的目标图像帧进行手部特征的提取以及手部预定部位的目标位置的确定，可以准确获得手部特征的手势信息，进而获得手势信息对应的控制命令以将所述目标位置映射至显示屏幕，获得对应的操作位置进而在所述操作位置执行相应的控制命令实现操作的准确控制。不需要使用额外的数据采集设备即可以简单地执行手势控制动作，但是基于准确的判断方式，可以获得准确的手部识别结果。

本申请实施例的交互控制方法还可以基于上述任一手势处理方法实现。

如图5所示，为本申请实施例提供的一种手势处理设备的一个实施例的结构示意图，所述设备包括：处理组件501、与所述处理组件501分别连接的存储组件502以及显示组件503；

所述存储组件503存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件501调用并执行；

所述处理组件501用于：

采集手部运动时的视频数据，并获取所述视频数据的目标图像帧；提取所述目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至所述显示组件，获得对应的操作位置。其中，所述控制命令针对所述操作位置执行。

本申请实施例提供的手势处理设备可以是智能设备，例如可以是智能电视、智能冰箱、电脑等各种类型的智能设备中。手势处理设备可以包括显示屏幕，并可以在显示屏幕上显示按钮、对话框、文件、应用程序的图标等显示内容。用户可以通过手部运动在显示屏幕上执行点击、双极、滑动等操作，其中，点击、双极等操作主要是针对按钮、对话框以及应用程序的图标等显示内容的操作，滑动是用户手部在屏幕上的位置变化。

本申请实施例的手势处理设备还可以是vr(virtualreality，虚拟现实)设备、ar(augmentedreality，增强现实)设备等虚拟智能设备中。虚拟智能设备外部可以配置有摄像头，以采集用户手部运动时的视频数据，并将用户手部在外部运动时的运动轨迹、手势等信息映射到虚拟场景中，以通过手部的运动控制虚拟场景中的虚拟内容。

可选地，手势处理设备可以使用摄像头采集手部运动时的视频数据。摄像头可以与设备是一体设备，也可以是独立于设备的摄像头，对于摄像头的位置以及种类本申请中不作过多限定。

摄像头采集手部运动时的视频数据后，设备的处理组件可以通过读取摄像头数据获得摄像头采集的视频数据。所述处理组件获取视频数据中的目标图像帧具体可以是：获取视频数据中的每一帧图像帧。通过对所有图像帧的追踪，获取较为精密的手势追踪。但是，由于图像处理速度有限，如果对所有图像帧均进行手势追踪，计算量非常大，容易导致手势处理速度降低。因此，为了提高追踪处理速度，所述处理组件获取视频数据中的目标图像帧具体可以是：按照预设图像帧采集间隔，采集视频数据中的目标图像帧。通过减少图像帧的数量，以降低总的追踪计算量，可以提高处理速度。图像采样频率可以按照需要事先设定。

可选地，摄像头可以采集rgb颜色空间的视频数据。此时，视频数据的每一帧图像帧均为rgb格式。处理组件获取到视频数据之后，可以将视频数据分割成一帧一帧的图像帧，并对对应目标图像帧进行手势识别。

可选地，处理组件可以针对视频数据的目标图像帧的手部所在区域，提取手部特征。针对手部区域进行特征提取可以减少数据量的计算，提高计算效率。处理组件可以确定视频数据的目标图像帧中，手部预定部位在目标图像帧的目标位置。

处理组件提取的手部特征可以针对视频数据的目标图像帧进行提取，以获得目标图像帧中的手部特征，进而实现连续控制。

可选地，处理组件可以将手部特征输入手势识别模型，通过计算获得手势信息。手势识别模型可以预先训练获得。作为一种可能的实现方式，处理组件可以事先存储手势识别模型，在获得手部特征之后，处理组件可以调用事先存储的手势识别模型对手部特征进行识别，并通过计算手势识别模型的输出获得手势信息。

可选地，手势识别模型识别所述手部特征可以指手部特征输入至所述手势识别模型后，获得相应的模型输出结果，所述模型输出结果可以为数据信息，可以根据所识别的数据信息确定对应的键值，进而确定数据信息或者数据信息对应的键值确定相应的手势信息。

手势信息可以指手势含义，每一个手势信息可以有对应的控制命令。

在实际应用中，所述手势识别模型可以为支持向量机模型，利用预先训练的支持向量机模型对所述手部特征进行识别，可以获得较高的识别结果。不同的手势可以定义为不同的手势信息，具体可以根据需要而设定。

可选地，手势信息可以利用不同的键值表示，用不同键值代表对应的控制命令。当手势识别模型识别相应的手势信息时，可以将所述手势信息用不同的键值表示。

所述处理组件确定手势信息对应的控制命令具体可以是：从不同键值中确定所述手势信息对应的目标键值，确定所述目标键值对应的控制命令。

手部预定部位可以包括手指指尖、手掌中心、手部的特殊标记等部位，可以针对手部的不同部位进行手部跟踪。

可选地，处理组件确定手部预定部位在目标图像帧的目标位置可以指确定手部的手指指尖位于目标图像帧的坐标位置，也可以指确定手部的手掌中心位于目标转换图像中的坐标位置，还可以指手部的特殊标识位于目标图像帧的坐标位置。

目标位置为手部预定部位在目标图像帧的位置，具体可以指手部预定部位在所述目标图像帧的坐标。可以将手部预定部位在目标图像帧中的位置映射到智能设备的显示屏幕，获得对应的操作位置。通过操作位置的确定可以准确实现相应的操作控制。

本申请实施例中，不再需要数据手套等外部感应设备采集用户的手部运动数据，而是使用摄像头采集用户在自然环境中的手部运动时的视频数据，并针对视频数据进行相应的手势识别处理进而可以降低设备复杂度，降低操作难度。同时，可以针对手部的目标特征在目标图像帧中的位置，可以实现手部对应操作位置的获取，可以实现准确的位置定位，提高控制精度。

作为一个实施例，所述处理组件还用于：

对所述目标图像帧进行图像分割，获得手部所在区域的手势图像；

所述处理组件提取所述目标图像帧中的手部特征具体是：

提取所述手势图像中的手部特征；

所述处理组件确定所述手部预定部位在所述目标图像帧中的目标位置具体是：

基于所述手势图像，确定手部预定部位在目标图像帧的目标位置。

可选地，对目标图像帧进行图像分割包括：对目标图像帧的背景图像以及手部所在区域进行分割，获得手势图像。

所述处理组件对目标图像帧的背景图像与手部所在区域进行分割，获得手势图像具体可以是：

利用otsu算法分割目标图像帧中手部所在区域以及背景图像，获得手势图像。otsu算法可以将目标图像帧中的手势图像进行分割，具体可以将手部所在区域与其他背景区域进行分割，获得手势图像。

手势图像所在区域确定后，可以将所述手势图像进行转换处理，提取获得手势图像中的手部特征。

所述处理组件提取手势图像中的手部特征具体可以是：将所述手势图像与特征滤波器卷积，计算获得的卷积结果即为所述手势图像的手部特征。

本申请实施例中，通过将视频数据的目标图像帧，进行图像分割，获得手部所在手势图像，以减少后续图像处理的数据量，进而提高处理速度。

在某些实施例中，视频数据的目标图像帧可以为rgb格式的目标图像帧，但是由于rgb图像受光照影响较大，因此，可以将rgb图像进行颜色空间转换，转换为ycrcb图像。因此，可以针对转换后的ycrcb图像，提取手部特征以及确定手部的目标特征在目标图像帧中的目标位置。

作为一个实施例，所述处理组件提取所述手势图像中的手部特征具体可以是：

对所述手势图像进行颜色空间转换，获得目标转换图像；提取所述目标转换图像中的手部特征。

作为又一个实施例，所述处理组件基于所述手势图像，确定手部预定部位在目标图像帧的目标位置具体可以是：

对所述手势图像进行颜色空间转换，获得目标转换图像；基于所述目标转换图像，确定手部预定部位在所述目标图像帧的目标位置。

可选地，所述处理组件对所述手势图像进行颜色空间转换，获得目标转换图像具体可以是对所述手势图像进行颜色空间转换，提取转换后的目标通道对应的颜色空间获得目标转换图像。

作为一种可能的实现方式，所述处理组件对所述手势图像进行颜色空间转换，获得目标转换图像具体可以是：对所述视频数据的目标图像帧的颜色空间由rgb格式转换为ycrcb空间，提取cb的颜色空间获得的目标转换图像。

在某些实施例中，处理组件可以通过以下公式，将rgb格式的目标图像帧转换为ycrcb目标图像帧：

y＝0.2990r+0.5870g+0.1140b

cr＝-0.1687r–0.3313g+0.5000b+128

cb＝0.5000r–0.4187g–0.0813b+128

其中，r、g、b分别代表红色、绿色、蓝色三个颜色通道，y、cr、cb分别代表亮度、rgb输入信号的红色部分与亮度值之间的差异、rgb输入信号的蓝色部分与亮度值之间的差异。

处理组件将手势图像进行颜色空间转换，即为将每个手势图像由rgb空间转换为ycrcb空间，获得图像为ycrcb格式的图像，进而可以消除光照对图像的影响，进而降低光照对特征提取的负面影响，提高提取的准确度。

本申请实施例中，手势图像进行颜色空间的转换可以减少光照对目标图像帧的负面影响，进而可以获得不受光照影响的手部特征，进而可以提高手势的识别结果。

作为一种可能的实现方式，所述处理组件基于所述手势图像，确定手部预定部位在目标图像帧的目标位置具体可以是：

确定所述手部预定部位在所述手势图像中的检测位置；基于所述手势图像与所述目标图像帧的分割关系，确定所述检测位置在所述目标图像帧中的目标位置。

可选地，处理组件基于所述手势图像与所述目标图像帧的分割关系，确定所述检测位置在所述目标图像帧中的目标位置具体可以是：

基于手势图像与目标图像帧的分割关系，确定所述手势图像的中心点在所述目标图像帧的位置；根据检测位置与中心点之间的位置关系，将所述检测位置由手势图像映射到目标图像帧中。

在某些实施例中，所述处理组件确定所述手部预定部位在所述手势图像中的检测位置具体可以是：

确定所述手部在所述手势图像中的封闭区域；获取所述封闭区域中至少一个指尖位置；根据所述至少一个指尖位置，获得所述手部预定部位在所述手势图像中的检测位置。

在某些实施例中，处理组件确定手部在所述手势图像中的封闭区域具体可以是：

利用轮廓检测算法，检测所述手势图像中的至少一个轮廓；确定所述至少一个轮廓中面积最大的目标轮廓；确定所述目标轮廓对应区域为所述手部在所述手势图像封闭区域。

可选地，所述处理组件利用轮廓检测算法，检测所述手势图像中的至少一个轮廓具体可以是：

对所述手势图像进行颜色空间转换，获得目标转换图像；利用轮廓检测算法，确定手部在所述目标转换图像的轮廓区域。

在某些实施例中，所述处理组件获取所述封闭区域中至少一个指尖位置具体可以是：

利用凸缺陷检测算法检测所述封闭区域的轮廓对应的多个顶点；根据所述多个顶点中任意两个顶点的距离以及夹角对应关系，确定多个指尖点；分别确定所述多个指尖点在所述封闭区域中的多个指尖坐标，获得至少一个指尖位置。

所述多个顶点中可以包含多个指尖点以及多个手掌点。所述多个指尖点中最高点即可以为本发明实施例中需要跟踪的点。

可选地，所述处理组件利用凸缺陷检测算法检测所述封闭区域的轮廓对应的多个顶点具体可以是：

利用凸包包裹所述封闭区域的轮廓，获得手部轮廓的闭合图像；

利用凸缺陷检测算法检测所述闭合图像中的多个顶点。

在某些实施例中，所述手部预定部位可以包括，所述手部的手掌中心。

可选地，处理组件在利用凸缺陷检测算法检测所述封闭区域的轮廓对应的多个顶点之后，还可以用于：

确定所述多个顶点中的多个手掌点；确定所述多个手掌点分别在所述手势图像对应目标图像帧的多个手掌坐标；确定与所述多个手掌坐标的欧式距离之和最小的坐标点为掌心点的坐标为目标位置。

可以基于所述手势图像与其对应的目标图像帧之间的分割关系，确定所述多个手掌点分别在所述目标转换图像的多个手掌坐标。

可选地，掌心点为与各个点的欧式距离的平方和最小的点。在实际应用中，处理组件可以确定所述多个手掌点中与其他手掌点欧式距离最小的点，为第一手掌点，将基于所述第一手掌点与其他手掌点的欧式距离以及角度，进行距离变换，确定与多个手掌点的欧式距离之和最小的点为掌心点。

在实际跟踪时，处理组件可以针对手掌心进行跟踪，以获得较为中心的跟踪位置，获得较为准确的跟踪效果。手掌跟踪更适合于平移、左滑、右滑等操作，而指尖跟踪更合适于单击、左击、右击等操作。

利用轮廓检测算法以及凸缺陷检测算法，可以确定较为准确的目标位置，进而在所述目标位置确定时，可以进一步提高识别的准确度。

在某些实施例中，所述手部预定部位包括所述用户手部的最高指尖点。

所述处理组件根据所述至少一个指尖位置，获得所述手部预定部位在所述手势图像中的检测位置具体可以是：确定所述多个指尖坐标中的最高指尖点的坐标为所述手部预定部位在所述手势图像中的检测位置。

在某些实施例中，所述处理组件将所述目标位置映射至显示屏幕，获得对应的操作位置具体可以是：

将所述目标位置输入卡尔曼滤波器，计算获得操作位置。

本发明实施例，通过卡尔曼滤波器的映射，可以准确预测手部所在显示屏幕的位置，获得准确的控制结果。

在某些实施例中，所述处理组件提取所述目标转换图像中的手部特征具体可以是：

将所述目标转换图像进行高斯模糊去噪，获得去噪图像；将所述去噪图像转换为二值图像；提取所述二值图像中的手部特征。

可选地，处理组件获得二值图像之后，可以利用形态学算法消除所述二值图像中的离散点，并填充所述二值图像中的缺失点，进而所述二值图像可以更好地表征手势，进而提高提取的手部特征的准确性。也即，处理组件可以将所述二值图像进行离散点消除以及缺失点填充之后，提取手部的手部特征。

所述将处理组件所述手势图像进行高斯模糊去噪，获得去噪图像具体可以是：将所述手势图像通过高斯滤波器，进而完成高斯模糊去噪，获得去噪图像。高斯滤波器可以将手势图像中的高频噪声进行滤除，进而获得去噪图像。

可选地，所述处理组件将所述去噪图像转换为二值图像具体可以是：利用阈值转换算法将所述去噪图像转换为二值图像。作为一种可能的实现方式，处理组件可以确定所述去噪图像中的每一个像素点的像素值，确定像素阈值；如果任一个像素点的像素值大于所述像素阈值，可以确定所述像素值对应像素点为1；如果任一个像素点小于所述像素阈值，可以确定所述像素值对应像素点为0。

作为一种可能的实现方式，所述处理组件提取所述二值图像中的手部特征具体可以是：

利用多方向的gabor滤波器对所述二值图像进行多个方向的特征提取，获得多个小波特征；确定所述多个小波特征为所述手部特征。

gabor滤波器可以指二维gabor核函数构成的滤波器。其中二维核函数可以由高斯函数以及余弦函数相乘获得，该核函数可以用以下公式表示：

x'＝xcosθ+ysinθ

y'＝-xcosθ+ysinθ

其中，θ,φ,γ,λ,σ均为参数，θ表示滤波核中平行条带的方向、φ表示滤波核中余弦函数的相位参数、γ表示滤波核中的椭圆度、λ表示滤波核中的波长参数、σ表示滤波核中高斯函数的标准差。

采用gabor滤波器的主要原因是gabor可以在其他参数一定，仅有θ方向变化时，可以获得多个方向的gabor滤波器，进而采集所述二值图像的多个方向的手部特征。可选地，θ可以选择为0°、45°、90°、135°。在实际应用中，其他参数诸如：φ,γ,λ,σ等可以事先通过多次试验确定最优参数值，以采集到最准确的特征数据。诸如，经试验后φ＝180,γ＝2,λ＝5,σ＝2时，核大小为12*12，gabor滤波器可以较好地提取手势特征。

作为一种可能的实现方式，所述处理组件利用多方向的gabor滤波器对所述二值图像进行多个方向的特征提取，获得多个小波特征具体可以是：

确定多方向的gabor滤波器对应的多个滤波函数；将所述二值图像与所述多个滤波函数卷积，获得多个方向的卷积特征；将每一个卷积特征进行一维化处理，以获得多个小波特征。

本实施例中，采用gabor小波对二值图像进行小波特征的提取，进而确定多个小波特征为手部特征。由于gabor小波可以针对多方向进行采集，实现了多方向的特征采集，进而可以使得特征数据更全面，获得的识别结果的准确性更高。

作为一个实施例，所述处理组件利用手势识别模型识别所述手部特征，获得手势信息具体可以是：

将多个小波特征分别输入手势识别模型，获得多个识别结果。

将多个识别结果中，数量最多的同一识别结果作为手势信息。

多个小波特征是由二值图像提取获得，而二值图像由视频数据的目标图像帧获得，因此，多个小波特征对应的手势信息实际为一种手势信息。但是，由于手势识别模型存在识别误差，因此，在多个小波特征输入手势识别模型，获得的多个识别结果可能不同，因此，处理组件可以将所述多个识别结果，进行统计，并确定数量最多的同一识别结果作为手势信息。进而可以确保手势识别的准确度，即便针对不同方向的小波特征，也可以确定所述多个小波特征识别的识别结果，进而提高识别的准确度。

本申请实施例中，将所述多个识别结果进行统计，并确定数量最多的同一识别结果作为手势信息。进而可以确保手势识别的准确度，即便针对不同方向的小波特征，也可以确定所述多个小波特征识别的识别结果，进而提高识别的准确度。

作为一个实施例，所述处理组件可以预先通过以下方式训练获得手势识别模型：

获取不同手势信息对应的样本图像；利用多方向的gabor滤波器提取每个样本图像的多个小波特征；基于每个样本图像的每个小波特征以及每个样本图像对应的手势信息，训练获得手势识别模型。

其中，每个样本图像对应的手势信息是为已知手势信息，也即基于每个样本图像的每个小波特征以及每个样本图像已知的手势信息，训练获得手势识别模型。

在采集样本图像时，可以按照设定的手部的手势进行图像采集，而每个手势对应的手势信息已经设定好，也即每个样本图像的手势信息为已知信息。

在某些实施例中，所述样本图像可以包括训练图像以及测试图像。

所述训练图像对应的手势信息设置为已知，可以利用训练图像，训练获得多组待选手势识别模型；所述测试图像对应的手势信息设置为未知，可以利用测试图像，对训练获得的多组待选手势识别模型进行测试，获得手势测试结果，基于手势测试结果与测试图像的手势信息的比较，选择识别率最优的待选手势识别模型为目标手势识别模型。可选地，所述处理组件利用多方向的gabor滤波器提取每个样本图像的多个小波特征具体可以是：

利用所述多方向的gabor滤波器，分别提取每个训练图像的多个小波特征，以及每个测试图像的多个小波特征。

所述处理组件基于每个样本图像的每个小波特征以及每个样本图像对应的手势信息，训练获得手势识别模型具体可以是：

基于所述训练图像的每个小波特征以及所述每个训练图像对应的手势信息，训练获得手势识别模型的多组待选模型；利用所述测试图像的每个小波特征分别对所述多组待选模型进行测试，获得多组待选结果；基于所述多组待选结果与所述测试图像的手势信息的匹配程度，获得每个待选模型参数对应的手势识别模型的识别率；确定识别率最高的一组待选模型参数为手势识别模型的模型参数。

所述处理组件获取不同手势信息对应的样本图像具体可以是：利用摄像头对不同手势信息进行采集，获得采集图像；提取所述目标转换图像中手部所在区域对应的手势图像；将手势图像进行ycrcb的颜色空间的转换，获得目标转换图像；将所述目标转换图像进行噪声滤除、二值转换，获得对应的样本图像。

手势识别模型可以预先训练获得，可以样本图像可以指针对每一种手势进行多次采集后，获得采集图像，将所述采集图像执行与手势的视频数据的每一帧目标图像帧进行相同的处理，获得包含手势区域的二值样图，也即样本图像。其中，每一个样本图像对应的手势信息已知。

本申请实施例中，预先训练获得手势识别模型，可以在需要时直接调用手势识别模型即可，使智能设备不必实时执行手势识别模型的训练过程，可以减少计算量，降低处理时间，加快手势识别处理效率。

如图6所示，为本申请实施例提供的一种交互控制设备的一个实施例的结构示意图，所述设备包括：处理组件601、与所述处理组件601分别连接的存储组件602以及显示组件603；

所述存储组件602存储一条或多条计算机程序指令；所述一条或多条计算机程序指令用于被所述处理组件601调用并执行；

所述处理组件601用于：

采集手部运动时的视频数据，并所述视频数据的目标图像帧；提取目标图像帧中的手部特征；利用手势识别模型识别所述手部特征，获得手势信息；确定手势信息对应的控制命令；确定所述手部预定部位在所述目标图像帧的目标位置；将所述目标位置映射至显示屏幕，获得对应的操作位置；在所述操作位置执行所述控制命令。

本申请实施例中，通过采集手部运动时的视频数据，对所述视频数据的目标图像帧进行手部特征的提取以及手部预定部位的目标位置的确定，可以准确获得手部特征的手势信息，进而获得手势信息对应的控制命令以将所述目标位置映射至显示屏幕，获得对应的操作位置进而在所述操作位置执行相应的控制命令实现操作的准确控制。不需要使用额外的数据采集设备即可以简单地执行手势控制动作，但是基于准确的判断方式，可以获得准确的手部识别结果。

本申请实施例还提供一种计算机可读存储介质，该存储介质中存储有计算机程序，所述计算机程序被计算机执行以实现上述任一项实施例所述手势处理方法。

本申请实施例还提供一种计算机可读存储介质，该存储介质中存储有计算机程序，所述计算机程序被计算机执行以实现上述任一项实施例所述交互控制方法。

本申请实施例又提供一种计算机可读存储介质，该存储介质中存储有计算机程序，所述计算机程序被计算机执行是用于实现上述任一项实施例所述智能设备交互控制方法。

在一个典型的配置中，智能设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。