应用程序的控制方法及系统与流程

本发明实施例涉及数据处理技术，尤其涉及一种应用程序的控制方法及系统。

背景技术：

随着智能终端所应用的场景越来越多，通过触屏操作应用程序的方式在如沉浸式应用、或投影式应用等应用场景下，无法提供方便的控制指令。

为此，技术人员针对应用场景提供了如投影式手势控制、感应手部微动作等控制应用程序的技术方案。

上述技术方案对智能终端的硬件要求极高。比如，投影式手势控制系统需在专用投影设备上使用。支持手部微动作的VR设备，需要配备相应的手套、或感应贴片。这使得用在上述各智能终端的手势控制的解决方案不适于外置接口有限、或处理能力有限的智能终端(如基于手机的VR设备)。

因此，需要对现有技术进行改进。

技术实现要素：

本发明提供一种应用程序的控制方法及系统，以解决手势控制智能终端时对硬件依赖过大，而导致硬件成本高的问题。

第一方面，本发明实施例提供了一种应用程序的控制方法，适用于智能终端，包括：在手势控制模式下，摄取图像，并将所摄取的图像与预设的肤色特征进行匹配；当匹配成功时，基于预设的各手势指令与手势图形的对应关系，从所述图像中提取对应手势指令的手势图形；按照所提取的手势图形所对应的手势指令对当前运行的应用程序进行控制。

第二方面，本发明实施例还提供了一种应用程序的控制系统，适用于智能终端，包括：肤色匹配模块，用于在手势控制模式下，摄取图像，并将所摄取的图像与预设的肤色特征进行匹配，当匹配成功时，执行手势指令确定模块；所述手势指令确定模块用于基于预设的各手势指令与手势图形的对应关系，从所述图像中提取对应手势指令的手势图形；控制模块，用于按照所提取的手势图形所对应的手势指令对当前运行的应用程序进行控制。

本发明通过将所摄取的图像与预设的肤色特征进行匹配，来确定是否进行手势识别，进而通过识别手势轮廓来确定手势指令，不仅减少了智能终端对硬件的高要求，还有效提高了手势识别的准确度。

附图说明

图1是本发明实施例一中的应用程序的控制方法的流程图；

图2是本发明实施例二中的应用程序的控制系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的应用程序的控制方法的流程图，本实施例可适用于具有摄像头的智能终端，利用摄像头对所摄取的图像进行分析以提取手势指令，并按照手势指令控制应用程序执行的情况，该方法可以由智能终端来执行。其中，所述智能终端包括但不限于：手机、平板电脑、VR设备等。具体步骤如下：

步骤S110、在手势控制模式下，摄取图像，并将所摄取的图像与预设的肤色特征进行匹配。

其中，智能终端在未启动带有手势控制模式的应用程序、或在应用程序运行期间未启动手势控制模式，将按照现有控制方式(如触屏控制)对应用程序的执行进行控制。

当智能终端接收到手势控制模式开启指令时，进入手势控制模式。同时开启摄像头来实时摄取图像，对所摄取的图像与预设的肤色特征进行匹配。

为了减少摄像头的电力消耗，所述智能终端在开启摄像头摄取图像之前，先启动用于测距离的距离传感器(如红外传感器)监测智能终端与外界物体之间的距离。若检测到外界物体距离所述智能终端的距离小于预设的距离门限时，启动摄像头并摄取图像。其中，若所述智能终端为VR设备，其距离传感器应设置在VR设备与用于摄取上述图像的摄像头同侧的一面。例如，设置在该摄像头的旁边。

在此，所述将所摄取的图像与预设的肤色特征进行匹配的方式包括：提取图像各像素点的RGB值，并与预设的肤色特征中的RGB值进行对应匹配，若相比对的RGB差距均在预设误差范围内，则确定该图像中具有符合肤色特征的部分，然后执行S120，反之，则继续获取图像。

一种可选方案为，所述智能终端中预设有多个肤色特征，对应的，所述步骤S110包括：步骤S111、S112(均未予图示)。其中，所述肤色特征包括但不限于：肤色颜色特征、和肤色灰度特征等。

步骤S111、将所获取的图像与各肤色特征逐个进行相关性匹配。

具体地，利用卷积技术，将所述图像与肤色特征进行图像块的全卷积处理，并得到提取了肤色特征的图像数据，若该图像数据中多个相邻图像块中各像素点的相关性普遍达到对应肤色特征的匹配门限，执行步骤S112，反之认定匹配不成功，并重新摄取图像。

步骤S112、当所述图像与各肤色特征的各匹配结果中的至少一个匹配结果达到预设的相应肤色特征的匹配门限时，确定匹配成功，并执行步骤S120。

步骤S120、基于预设的各手势指令与手势图形的对应关系，从所述图像中提取对应手势指令的手势图形。

具体地，利用预设的手型轮廓特征和手势指令的对应关系，从图像中提取所拍摄物体的轮廓，并将所提取的轮廓与预设的手型轮廓进行匹配，若匹配成功，则按照所述对应关系确定相应的手势指令。

在一种可选方案中，所述步骤S120包括：步骤S121和S122。(均未予图示)

步骤S121、将图像中符合肤色特征的区域设为一种颜色，将图像中其他区域设为另一种颜色，其中，两种颜色不同。

在此，经过肤色特征的匹配，所述智能终端能够确定图像中符合肤色特征的区域，将这些区域设置成白色，同时将图像中的其他区域设为黑色，如此得到由两种颜色构成的图像。

步骤S122、将所符合肤色特征的区域的图形轮廓与预设的各手势图形进行匹配，并在匹配成功时，确定对应的手势指令。

在此，将白色区域所形成的轮廓提取出来，并与预设的各手势图形进行匹配。其中，匹配的方式可以通过轮廓旋转、缩放等图像处理，将所得到的图形轮廓与手势图形进行逐个重叠。当重叠误差小于预设的误差门限时，则确定该图形轮廓与手势图形相匹配，并根据前述提到的对应关系，得到对应的手势指令。

步骤S130、按照所提取的手势图形所对应的手势指令对当前运行的应用程序进行控制。

在此，所述手势指令根据应用程序的设置而定，其包括但不限于：前进、后退、快进、快退、跳跃、下蹲、和截图等。

本实施例的技术方案，通过将所摄取的图像与预设的肤色特征进行匹配，来确定是否进行手势识别，进而通过识别手势轮廓来确定手势指令，不仅减少了智能终端对硬件的高要求，还有效提高了手势识别的准确度。另外，利用相关性匹配，能够有效提高对肤色特征匹配的准确度。另外，利用与肤色特征匹配的区域来勾勒手势轮廓，有利于快速得到手势轮廓，避免对图像单独计算手势轮廓的过度计算。

实施例二

图2为本发明实施例二提供的应用程序的控制系统的结构示意图，本实施例可适用于具有摄像头的智能终端，利用摄像头对所摄取的图像进行分析以提取手势指令，并按照手势指令控制应用程序执行的情况。其中，所述智能终端包括但不限于：手机、平板电脑、VR设备等。所述控制系统1包括：肤色匹配模块11、手势指令确定模块12、控制模块13。

所述肤色匹配模块11用于在手势控制模式下，摄取图像，并将所摄取的图像与预设的肤色特征进行匹配。

其中，智能终端在未启动带有手势控制模式的应用程序、或在应用程序运行期间未启动手势控制模式，将按照现有控制方式(如触屏控制)对应用程序的执行进行控制。

当智能终端接收到手势控制模式开启指令时，进入手势控制模式，并启动肤色匹配模块11。所述肤色匹配模块11开启摄像头来实时摄取图像，以及对所摄取的图像与预设的肤色特征进行匹配。

为了减少摄像头的电力消耗，所述肤色匹配模块11在开启摄像头摄取图像之前，先启动用于测距离的距离传感器(如红外传感器)监测智能终端与外界物体之间的距离。若检测到外界物体距离所述智能终端的距离小于预设的距离门限时，启动摄像头并摄取图像。其中，若所述智能终端为VR设备，其距离传感器应设置在VR设备与用于摄取上述图像的摄像头同侧的一面。例如，设置在该摄像头的旁边。

在此，所述肤色匹配模块11将所摄取的图像与预设的肤色特征进行匹配的方式包括：提取图像各像素点的RGB值，并与预设的肤色特征中的RGB值进行对应匹配，若相比对的RGB差距均在预设误差范围内，则确定该图像中具有符合肤色特征的部分，然后执行手势指令确定模块12，反之，则继续获取图像。

一种可选方案为，所述肤色匹配模块11中预设有多个肤色特征。其中，所述肤色特征包括但不限于：肤色颜色特征、和肤色灰度特征等。所述肤色匹配模块11执行步骤S111和S112。(均未予图示)

步骤S111、将所获取的图像与各肤色特征逐个进行相关性匹配。

具体地，利用卷积技术，将所述图像与肤色特征进行图像块的全卷积处理，并得到提取了肤色特征的图像数据，若该图像数据中多个相邻图像块中各像素点的相关性普遍达到对应肤色特征的匹配门限，执行步骤S112，反之认定匹配不成功，并重新摄取图像。

步骤S112、当所述图像与各肤色特征的各匹配结果中的至少一个匹配结果达到预设的相应肤色特征的匹配门限时，确定匹配成功，并执行手势指令确定模块12。

所述手势指令确定模块12用于基于预设的各手势指令与手势图形的对应关系，从所述图像中提取对应手势指令的手势图形。

具体地，利用预设的手型轮廓特征和手势指令的对应关系，从图像中提取所拍摄物体的轮廓，并将所提取的轮廓与预设的手型轮廓进行匹配，若匹配成功，则按照所述对应关系确定相应的手势指令。

在一种可选方案中，所述手势指令确定模块12执行步骤S121和S122。(均未予图示)

步骤S121、将图像中符合肤色特征的区域设为一种颜色，将图像中其他区域设为另一种颜色，其中，两种颜色不同。

在此，经过肤色特征的匹配，所述手势指令确定模块12能够确定图像中符合肤色特征的区域，将这些区域设置成白色，同时将图像中的其他区域设为黑色，如此得到由两种颜色构成的图像。

步骤S122、将所符合肤色特征的区域的图形轮廓与预设的各手势图形进行匹配，并在匹配成功时，确定对应的手势指令。

在此，将白色区域所形成的轮廓提取出来，并与预设的各手势图形进行匹配。其中，匹配的方式可以通过轮廓旋转、缩放等图像处理，将所得到的图形轮廓与手势图形进行逐个重叠。当重叠误差小于预设的误差门限时，则确定该图形轮廓与手势图形相匹配，并根据前述提到的对应关系，得到对应的手势指令。

控制模块13用于按照所提取的手势图形所对应的手势指令对当前运行的应用程序进行控制。

在此，所述手势指令根据应用程序的设置而定，其包括但不限于：前进、后退、快进、快退、跳跃、下蹲、和截图等。

本实施例的技术方案，通过将所摄取的图像与预设的肤色特征进行匹配，来确定是否进行手势识别，进而通过识别手势轮廓来确定手势指令，不仅减少了智能终端对硬件的高要求，还有效提高了手势识别的准确度。另外，利用相关性匹配，能够有效提高对肤色特征匹配的准确度。另外，利用与肤色特征匹配的区域来勾勒手势轮廓，有利于快速得到手势轮廓，避免对图像单独计算手势轮廓的过度计算。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。