一种基于增强现实的控制应用操作的方法及装置与流程

本申请涉及增强现实(ar)技术领域，具体涉及一种基于增强现实的控制应用操作的方法及装置。

背景技术：

随着人工智能技术的发展与进步，手势识别技术已经开始应用于社会生活，极大地方便了人们的工作，同时增加了生活的乐趣。然而对于现有的应用，普遍需要用户通过点按屏幕或者键盘去触发系统交互，不仅过程繁琐，对人体眼睛也有一定的伤害，因此需要有一种可以距离屏幕一定的距离通过比划手势达到控制应用的技术。

技术实现要素：

本申请实施例提供一种基于增强现实的控制应用操作的方法及装置，能够实现无需用户点按屏幕或者键盘，即可进行应用操作，十分方便。

本申请实施例的第一方面提供了一种基于增强现实的控制应用操作的方法，包括：

接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

解析所述用户的初始手势信息，以得到所述用户的手势信息；

根据所述用户的手势信息，对第一应用进行操作控制。

本申请实施例的第二方面提供了一种基于增强现实的控制应用操作的装置，包括：

手势获取模块，用于接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

手势解析模块，用于解析所述用户的初始手势信息，以得到所述用户的手势信息；

应用控制模块，用于根据所述用户的手势信息，对第一应用进行操作控制。

本申请实施例的第三方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行以实现所述的方法。

实施本申请实施例，至少具有如下有益效果：

通过本申请实施例，通过获取用户的初始手势信息，并对该初始手势信息进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于增强现实的控制应用操作的方法的交互示意图；

图2是本发明实施例提供的一种基于增强现实的控制应用操作的方法的流程示意图；

图3是本发明实施例提供的一种基于增强现实的控制应用操作的方法的流程示意图；

图4是本发明实施例提供的一种基于增强现实的控制应用操作的方法的流程示意图；

图5是本发明实施例提供的一种基于增强现实的控制应用操作的方法的流程示意图；

图6是本发明实施例提供的一种终端的结构示意图；

图7是本发明实施例提供的一种基于增强现实的控制应用操作的装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本方案实施例可在设备或者终端等进行，其中，通过检测到用户的初始手势信息，然后解析所述初始手势信息得到设备或者终端可进行应用操作控制的手势信息，即可通过将用户的初始手势信息与预设手势信息进行比对，以确认用户想要对应用做出的操作，然后可控制鼠标或者直接控制应用进行相应的操作。

具体地，参照图1，图1为本发明实施例提供的一种基于增强现实的控制应用操作的方法的交互示意图。如图1所示，其包括：用户101、终端102，具体如下：

终端102接收用户101发送的请求，其中，所述请求携带所述用户101的初始手势信息，所述请求用于指示获取所述用户101的初始手势信息；所述终端102解析所述用户101的初始手势信息，以得到所述用户101的手势信息；所述终端102根据所述用户101的手势信息，对第一应用进行操作控制。

优选的，在所述终端102获取用户101的初始手势信息之前，还包括：

所述终端102接收所述用户101发送的人脸识别请求，所述人脸识别请求用于指示获取所述用户101的人脸信息；所述终端102将获取的所述用户101的人脸信息与预设等级数据库中的人脸信息进行比对，以确认所述用户101的等级；所述终端102显示与所述用户的等级匹配的第一应用。

通过本申请实施例，通过获取用户的初始手势信息，并对该初始手势信息进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

参照图2，图2是本发明实施例提供的一种基于增强现实的控制应用操作的方法的流程示意图。如图2所示，其包括步骤201-203，具体如下：

201、接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

其中，可以是设备或者终端等接收用户发送的请求，如当获取到用户位于特定区域时，则识别用户的初始手势信息，获取所述用户的初始手势信息；其中，所述初始手势信息可以为各种手势动作；

202、解析所述用户的初始手势信息，以得到所述用户的手势信息；

如设备或者终端获取到所述用户的初始手势信息后，则对所述用户的初始手势信息进行解析，以得到所述用户的手势信息；

优选的，可将用户的初始手势信息与预设手势信息库保存的手势信息进行比对，来确认用户的手势信息；

203、根据所述用户的手势信息，对第一应用进行操作控制。

通过将用户的初始手势信息相应解析得到其体现在屏幕等处时的手势信息，方便设备或终端根据该手势信息对应用进行相应控制。

通过本申请实施例，通过获取用户的初始手势信息，并对该初始手势信息进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

参照图3，图3是本发明实施例提供的一种基于增强现实的控制应用操作的方法的流程示意图。如图3所示，其包括步骤301-306，具体如下：

301、接收所述用户发送的人脸识别请求，所述人脸识别请求用于指示获取所述用户的人脸信息；

如设备检测到用户位于预设人脸采集区域时，则接收所述用户发送的人脸识别请求，并触发人脸信息采集模块如摄像头对所述用户进行人脸信息采集；

302、将获取的所述用户的人脸信息与预设等级数据库中的人脸信息进行比对，以确认所述用户的等级；

优选的，如当屏幕位于商场时，则所述预设等级数据库可根据获取到的用户的消费额进行设定等等，或者根据获取的用户的大概年龄等进行设定；

优选的，步骤302可包括s3021-s3025，具体如下：

s3021、根据所述用户的人脸信息，确认所述用户的性别、脸型信息和五官信息；

如设备通过基于深度训练学习，对不同性别、不同脸型及不同五官信息的人脸信息进行训练识别后，进而对该用户的性别、脸型信息和五官信息进行获取并识别；

s3022、获取所述预设等级数据库中与所述用户的性别一致的人脸信息k1；

通过确认了所述用户的性别后，如为女性，则设备在预设等级数据库中获取所有女性的人脸信息k1；

s3023、从所述人脸信息k1中获取与所述用户的脸型信息一致的人脸信息k2；

然后基于上述女性的人脸信息k1中，查找获取与所述用户的脸型信息一致的人脸信息k2，如设备获取到所述用户的脸型信息为圆形，则从所述人脸信息k1中查找圆形脸型的人脸信息；

s3024、从所述人脸信息k2中获取与所述用户的五官信息一致的人脸信息k；

进一步，再从人脸信息k2中获取与所述用户的五官信息一致的人脸信息，所述五官包括耳朵、鼻子、眼睛、嘴巴、眉毛等；

s3025、确认所述人脸信息k所对应的等级为所述用户的等级。

即人脸信息k即为所述用户的人脸信息；

303、显示与所述用户的等级匹配的第一应用；

可替代的，也可显示与所述用户的等级匹配的多个应用，以便用户进行选择；

304、接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

305、解析所述用户的初始手势信息，以得到所述用户的手势信息；

优选的，可将用户的初始手势信息与预设手势信息库保存的手势信息进行比对，来确认用户的手势信息；

如预设手势信息库保存的手势信息为：当用户的初始手势信息为拍手时，则对应所述用户的手势信息为双击该应用；

306、根据所述用户的手势信息，对第一应用进行操作控制。

通过本申请实施例，在获取用户的初始手势信息之前，通过对用户的人脸信息进行获取，然后显示与其用户的等级对应的应用，再获取初始手势信息并进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

参照图4，图4是本发明实施例提供的一种基于增强现实的控制应用操作的方法的流程示意图。如图4所示，其包括步骤401-406，具体如下：

401、接收所述用户发送的人脸识别请求，所述人脸识别请求用于指示获取所述用户的人脸信息；

402、将获取的所述用户的人脸信息与预设等级数据库中的人脸信息进行比对，以确认所述用户的等级；

403、显示与所述用户的等级匹配的第一应用；

如在设备的显示屏幕显示第一应用；

404、接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

405、当所述用户的初始手势信息为在预设时间内持续保持第一手势，则确认所述用户的手势信息为点击；

如第一手势可以为握拳，当用户在5s内一直保持握拳动作，则判定其为如对第一应用进行点击等；

或者，当所述用户的初始手势信息为第二手势，则确认所述用户的手势信息为退出；

如第二手势可以为剪刀状，当用户的初始手势信息为剪刀状时，则确认所述用户的手势信息为退出；

或者，当所述用户的初始手势信息为指向第一预设区域的第一位置，则获取所述第一位置的坐标(x1，y1)；对所述第一位置的坐标调用预设映射算法进行处理，以得到与所述第一位置的坐标对应的第二位置的坐标(x2，y2)；确认所述用户的手势信息为指向第二预设区域的第二位置；

优选的，第一预设区域为位于用户前方的特定位置的区域，通过获取用户的初始手势信息在该第一预设区域的位置坐标信息，然后通过映射转换至第二预设区域，即获取映射到屏幕的坐标信息；

其中，所述预设映射算法可包括：

确认所述第一预设区域所在的平面与所述第二预设区域所在的平面平行；

获取所述第一预设区域的中心点到所述第二预设区域的中心点之间的距离l；

获取所述第一预设区域的中心点到所述第二预设区域的中心点的连线与水平线的夹角θ；

如当第一预设区域所在的平面与所述第二预设区域所在的平面平行，则获取两个平面中心点之间的距离；然后根据仰角大小，则可对坐标进行坐标转换；

所述第二位置的坐标可表示为：

x2＝x1+lcosθ，y2＝y1+lsinθ。

406、根据所述用户的手势信息，对第一应用进行操作控制。

通过本申请实施例，在获取用户的初始手势信息之前，通过对用户的人脸信息进行获取，然后显示与其用户的等级对应的应用，再获取初始手势信息并进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。进一步，对于通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

请参阅图5，图5为本申请实施例提供了一种基于增强现实的控制应用操作的方法的流程示意图。如图5所示，其可包括步骤501-507，具体如下：

501、接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

502、确认所述用户的初始手势信息是否获取成功；

503、若是，则解析所述用户的初始手势信息，以得到所述用户的手势信息，并执行步骤507，若否，则执行步骤504；

504、提示所述用户重新展示所述初始手势信息，以重新获取所述用户的初始手势信息；

其中可通过语音提示，或者在屏幕显示等以提醒用户再现初始手势信息；

505、若再次获取失败，则获取所述用户的眼神信息；

其中所述眼神信息可包括睁眼、闭眼、眨眼、眼珠上转或者目不转睛等等；

506、根据所述眼神信息对第一应用进行操作控制；

如当用户预设时间内眨眼2次，则判定为点击进入应用；当用户预设时间内眨眼4次，则判定为退出应用等。

进一步，或者可获取用户的头部信息，如摇头、点头、转头等等以实现不同的特定控制；

507、根据所述用户的手势信息，对第一应用进行操作控制。

具体地，如当用户的初始手势信息为双手紧握，则解析为对第一应用进行双击；当用户的初始手势信息为十字交叉时，则解析为对第一应用进行退出操作；当用户的初始手势信息为手掌打开，则解析为对第一应用进行单手操作等等。

如设定当所述第一应用为视频播放应用，获取所述用户的初始手势信息为上扬，则控制所述视频播放应用的音量进行增加，和/或获取所述用户的初始手势信息为横向波动移动，则控制所述视频播放应用中的视频快进；

当所述第一应用为游戏主题应用，获取所述用户的初始手势信息为握拳，则点击所述游戏主题应用，和/或获取所述用户的初始手势信息为两手交叉，则控制所述游戏主题应用进入双人操作模式。

通过本申请实施例，通过获取用户的初始手势信息，并对该初始手势信息进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。当获取用户的初始手势信息失败后，可再次进行获取手势信息或者获取用户的眼神信息，以实现对应用的控制。通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

与上述实施例一致的，请参阅图6，图6为本申请实施例提供的一种终端的结构示意图，如图所示，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述程序包括用于执行以下步骤的指令；

接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

解析所述用户的初始手势信息，以得到所述用户的手势信息；

根据所述用户的手势信息，对第一应用进行操作控制。

通过本申请实施例，通过获取用户的初始手势信息，并对该初始手势信息进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图7，图7为本申请实施例提供了一种基于增强现实的控制应用操作的装置的结构示意图，其包括手势获取模块701、手势解析模块702、应用控制模块703，具体如下：

手势获取模块701，用于接收用户发送的请求，其中，所述请求携带所述用户的初始手势信息，所述请求用于指示获取所述用户的初始手势信息；

手势解析模块702，用于解析所述用户的初始手势信息，以得到所述用户的手势信息；

应用控制模块703，用于根据所述用户的手势信息，对第一应用进行操作控制。

优选的，还包括人脸识别模块，用于：

接收所述用户发送的人脸识别请求，所述人脸识别请求携带所述用户的人脸信息，所述人脸识别请求用于指示获取所述用户的人脸信息；将获取的所述用户的人脸信息与预设等级数据库中的人脸信息进行比对，以确认所述用户的等级；显示与所述用户的等级匹配的第一应用。

优选的，所述手势解析模块还用于：

当所述用户的初始手势信息为在预设时间内持续保持第一手势，则确认所述用户的手势信息为点击；或者，当所述用户的初始手势信息为第二手势，则确认所述用户的手势信息为退出；或者，当所述用户的初始手势信息为指向第一预设区域的第一位置，则获取所述第一位置的坐标(x1，y1)；对所述第一位置的坐标调用预设映射算法进行处理，以得到与所述第一位置的坐标对应的第二位置的坐标(x2，y2)；确认所述用户的手势信息为指向第二预设区域的第二位置。

优选的，所述手势解析模块还用于：

当所述用户的初始手势信息为指向第一预设区域的第一位置，则确认所述第一预设区域所在的平面与所述第二预设区域所在的平面平行；获取所述第一预设区域的中心点到所述第二预设区域的中心点之间的距离l；获取所述第一预设区域的中心点到所述第二预设区域的中心点的连线与水平线的夹角θ；所述第二位置的坐标为：x2＝x1+lcosθ，y2＝y1+lsinθ。

可以看出，通过本申请实施例，通过获取用户的初始手势信息，并对该初始手势信息进行解析，以便设备根据解析得到的手势信息对相应应用进行控制。通过本方案，无需用户点按屏幕或者键盘，即可进行应用操作，可实现远距离对应用的操作控制，十分方便，且趣味性强，有益于用户的眼睛，用户体验好。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于增强现实的控制应用操作的方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于增强现实的控制应用操作的方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。