基于智能手环的游戏控制方法、智能手环及存储介质与流程

本申请涉及智能控制技术领域，尤其涉及一种基于智能手环的游戏控制方法、智能手环及存储介质。

背景技术：

目前，电子游戏通常需要采用游戏手柄来进行游戏控制。但是，由于游戏手柄的体积通常比较大，因此其便携性较差，玩家无法随时随地体验游戏的乐趣。

随着智能穿戴设备的迅猛发展，智能手环凭借其便携、智能等优势，被引入游戏控制领域。但在实际应用中，智能手环对游戏控制的精度比较低，导致玩家操控体验不佳。

技术实现要素：

本申请的多个方面提供一种基于智能手环的游戏控制方法、智能手环及存储介质，以提高智能手环的游戏控制精度。

本申请实施例提供一种基于智能手环的游戏控制方法，包括：

当所述智能手环进入游戏控制模式时，根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；

在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；

若所述摄像头采集到的所述手势属于姿态控制类手势，则从所述摄像头采集到的所述手势中，获取第二姿态数据；

根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制。

本申请实施例还提供一种智能手环，包括控制器、惯性传感器和摄像头；所述摄像头在所述智能手环处于佩戴状态下朝向用户手指方向；

所述控制器用于：当所述智能手环进入游戏控制模式时，根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；

在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；

若所述摄像头采集到的所述手势属于姿态控制类手势，则从所述摄像头采集到的所述手势中，获取第二姿态数据；

根据所述第二姿态数据和所述第一姿态数据，对游戏画面中的目标对象进行姿态控制。

本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的游戏控制方法。

在本申请实施例中，当智能手环进入游戏控制模式时，可根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；并可从摄像头采集到的姿态控制类手势中，获取第二姿态数据，以及可根据第一姿态数据和第二姿态数据对游戏画面中的目标对象进行姿态控制。因此，本申请实施例中，可利用摄像头和惯性传感器共同对游戏画面中的目标对象进行姿态控制，两者互补，这大大提高了姿态控制的精准度，可有效提高游戏操控体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种智能手环的结构示意图；

图2为本申请实施例提供的一种智能手环佩戴在用户手掌时的佩戴状态示意图；

图3为本申请实施例提供的另一种智能手环的结构示意图；

图4为本申请实施例提供的一种智能手环的产品形态示意图；

图5为本申请实施例提供的一种基于智能手环的游戏控制方法的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，智能手环对游戏控制的精度比较低，导致玩家操控体验不佳。为解决现有技术存在的缺陷，在本申请的一些实施例中：当智能手环进入游戏控制模式时，可根据惯性传感器检测到的所述智能手环的运动姿态，获取第一姿态数据；并可从摄像头采集到的姿态控制类手势中，获取第二姿态数据，以及可根据第一姿态数据和第二姿态数据对游戏画面中的目标对象进行姿态控制。因此，本申请实施例中，可利用摄像头和惯性传感器共同对游戏画面中的目标对象进行姿态控制，两者互补，这大大提高了姿态控制的精准度，可有效提高游戏操控体验。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请实施例提供的一种智能手环的结构示意图。如图1所示，该智能手环包括：控制器10、惯性传感器20和摄像头30。

本实施例中，智能手环除了可具备本实施例提供的游戏控制功能外，还可具备其它产品功能，例如，监测心率、语音通话等等，本实施例对此并不作限定。在实际应用中，为了实现智能手环的不同产品功能之间的切换，可为智能手环设定不同的产品功能模式，用户可根据需要开启智能手环的各种产品功能模式。例如，在需要进行游戏控制时，用户可开启智能手环的游戏控制模式。当智能手环进入游戏控制模式时，智能手环可通过相关的软件和硬件与游戏环境进行对接，例如，接入游戏画面，建立联动坐标系等等，在此不再详述。

基于此，当智能手环进入游戏控制模式时，控制器10可根据惯性传感器20检测到的智能手环的运动状态，获取第一姿态数据。

本实施例中，智能手环可佩戴在用户的手腕或手掌上。图2为本申请实施例提供的一种智能手环佩戴在用户手掌时的佩戴状态示意图。如图2所示，智能手环佩戴在用户的手掌上，并随用户手掌一起运动。例如，当用户手掌在空中平移时，智能手环也将同步平移。在此过程中，智能手环的惯性传感器20可检测智能手环的运动姿态，控制器10可据此获取到基于惯性传感器20确定出的第一姿态数据。

基于第一姿态数据，控制器10可对游戏画面中的目标对象进行姿态控制。承接上例，当用户手掌在空中平移时，游戏画面中的目标对象也将跟随用户手掌呈平移趋势。

对于一些对操控精度要求较高的游戏场景来说，例如，射击类游戏场景，由于惯性传感器20存在漂移现象，这导致操控的精度无法达到预期效果，用户的操控体验较差，甚至不能操控。为了适应这些对操控精度要求较高的游戏场景，本实施例中，为智能手环配置了摄像头30，如图2所示，在智能手环处于佩戴状态下时，摄像头30朝向用户手指方向，用户手指位于摄像头的图像采集范围内。

本实施例中，在启动手指操控事件发生时，控制器10可利用摄像头30采集用户的手指发出的手势。

其中，启动手指操控事件可以是物理按键触发事件或者游戏画面中控件的触发事件等等，本实施例对此不作限定。也即是，在需要进行较高精度的游戏控制时，可启动摄像头30以采集用户的手指发出的手势。例如，可在智能手环上配置物理按键，用户可按下物理按键以触发启动手指操控事件。又例如，用户还可触发游戏画面中的相关控件，从而触发启动手指操控事件。

本实施例中，控制器10可利用摄像头30采集用户手势图像，采集的时间粒度可根据所需的操控精度及控制器10的处理能力等因素而灵活设定。控制器10可基于图像处理技术，识别用户手势图像中包含的用户的手指发出的手势，并对识别出的手势进行分析。

在一些实际应用中，可预先创建手势库，以在手势库中记录姿态控制类手势及指令类手势等预置手势。其中，手势库可存在智能手环的本地，当然也可存在网络中，智能手环可在需要时通过网络使用手势库。控制器10可基于手势库分析摄像头30采集到的手势的属性。例如，若摄像头30采集到的手势与手势库中的任一姿态控制类手势相匹配，则确定摄像头30采集到的手势属于姿态控制类手势。

当确定摄像头30采集到的手势属于姿态控制类手势时，可从摄像头30采集到的手势中，获取第二姿态数据。例如，图2中左侧所示的手势为姿态控制类手势，则控制器10可从摄像头30采集到的该手势中，获取第二姿态数据。

据此，本实施例中可根据第一姿态数据和第二姿态数据，对游戏画面中的目标对象进行姿态控制。由于惯性传感器20的姿态控制精度较低，因此，可通过摄像头30采集到的姿态控制类手势对惯性传感器20的姿态控制效果进行校正。

在本申请实施例中，当智能手环进入游戏控制模式时，可根据惯性传感器20检测到的智能手环的运动姿态，获取第一姿态数据；并可从摄像头30采集到的姿态控制类手势中，获取第二姿态数据，以及可根据第一姿态数据和第二姿态数据对游戏画面中的目标对象进行姿态控制。因此，本申请实施例中，可利用摄像头和惯性传感器共同对游戏画面中的目标对象进行姿态控制，两者互补，这大大提高了姿态控制的精准度，可有效提高游戏操控体验。

在上述或下述实施例中，控制器10可获取摄像头30采集到的包含手势的多张用户手势图像，多张用户手势图像的采集时间连续；基于图像处理技术，在多张用户手势图像中识别用户手指在手势下的运动姿态；根据识别出的用户手指在手势下的运动姿态，生成第二姿态数据。

以当前采集时刻作为起点，控制器10可获取摄像头30在当前采集时刻采集到的用户手势图像以及下一采集时刻的用户手势图像，若下一采集时刻的用户手势图像中仍包含该姿态控制类手势，则可基于该手势在两张用户手势图像中的差异，识别出用户手指在该手势下的运动姿态。

例如，对于图2中所测所示的手势，当用户手指向掌心摆动时，控制器10可根据上述处理过程，确定出用户手指在该手势下的运动姿态，并据此生成第二姿态数据。

在一种实际应用中，控制器10可将用户手指在手势下的运动姿态转换为位移变化数据和角度变化数据；根据转换得到的位移变化数据和角度变化数据，生成第二姿态数据。

承接上例，当图2中的用户手指向掌心摆动时，可计算出指尖的位移变化数据和角度变化数据，并可根据智能手环与游戏画面中的目标对象的姿态换算比例，将用户手指的位移变化数据和角度变化数据换算为游戏画面中的目标对象的位移变化数据和角度变化数据，以生成第二姿态数据。

本实施例中，基于图像处理技术，可基于摄像头30采集到的用户手势图像分析用户手指在姿态控制类手势下的运动姿态，从而生成第二姿态数据。由于图像处理不存在漂移的问题，据此确定出的第二姿态数据的精准度较高，因此，用户的手指发出的姿态控制类手势可更精准地对游戏画面中的目标对象进行姿态控制，以弥补惯性传感器20的漂移问题导致的操控精度不足的问题。

在上述或下述实施例中，控制器10可将第一姿态数据和第二姿态数据进行叠加，以获得目标姿态数据；按照目标姿态数据，对游戏画面中的目标对象进行姿态控制。

本实施例中，基于第一姿态数据和第二姿态数据，可进行姿态数据的加权求和，以获得目标姿态数据，当按照目标姿态数据对游戏画面中的目标对象进行姿态控制时，所获得的姿态控制效果将是惯性传感器20和姿态控制类手势对目标对象的姿态控制效果的叠加。

以射击类游戏为例，并以瞄准点位目标控制对象，当用户佩戴智能手环对瞄准点进行姿态控制时，若用户控制智能手环向左上方45°方向移动1cm，则由于惯性传感器20的漂移问题，第一姿态数据可能是向左上方20°方向移动2cm，与此同时，用户可采用图2左侧的手势对瞄准点进行姿态控制，若用户手指向左上方45°方向移动1cm，则第二姿态数据为向左上方45°方向移动1cm。通过将第一姿态数据和第二姿态数据进行加权求和，获得的目标姿态数据可能是向左上方40°方向移动1.1cm。从而可根据目标姿态数据对瞄准点进行姿态控制，这显然比单独使用惯性传感器20对瞄准点进行姿态控制的操控精度更高。

当然，本实施例中并不限于姿态数据叠加这一种对游戏画面中的目标对象进行姿态控制的实现方式，本实施例中还可采用其它实现方式。例如，可先根据第一姿态数据对游戏画面中的目标对象进行姿态控制，之后暂停惯性传感器20的姿态控制过程，而基于第一姿态数据对应的姿态控制结果，根据第二姿态数据对游戏画面中的目标对象进行姿态控制。承接上例，基于惯性传感器20的姿态控制，将瞄准点移动中游戏画面中的指定区域后，可停止惯性传感器20的姿态控制过程，而以摄像头30采集到的姿态控制类手势的姿态控制为准，从而上例中的瞄准点的姿态控制效果可无限接近于向左上方45°方向移动1cm。当然，本实施例对此并不做限定，具体采用何种实现方式对目标对象进行姿态控制可根据实际需要进行灵活设定。

在上述或下述实施例中，如前文提及的，除姿态控制类手指之外，手势库中还可记录指令类手势。其中，指令类手势是指除可表征操作指令的手势，指令类手势区别于姿态控制类手势。指令类手势可表征的操作指令包括但不限于画面比例缩放、点选、切换等等，在此不再穷举。

据此，本实施例中，若摄像头30采集到的手势属于指令类手势，则基于预置的指令类手势与操作指令之间的对应关系，确定摄像头30采集到的手势对应的目标操作指令；根据目标操作指令，对游戏画面进行指令控制；以及根据第一姿态数据，对游戏画面中的目标对象进行姿态控制。

本实施例中，与识别姿态控制类手势类似地，控制器10也可基于图像处理技术，从摄像头30采集到的用户手势图像中识别出指令类手势。例如，若摄像头30采集到的手势与手势库中的任一指令类手势相匹配，则确定摄像头30采集到的手势属于指令类手势。

而且，手势库中还可预置指令类手势与操作指令之间的对应关系，基于图像处理技术，可确定出摄像头30采集到的手势所对应的指令类手势，从而可进一步确定出该手势对应的操作指令。另外，有一些操作指令相应指令类手势下的用户手指的姿态动作来表征，例如，图2右侧示出的手势为指令类手势，用户手指的捏合动作可表征画面缩小指令。对此，本实施例中，可参考姿态控制类手势的识别过程，从多张用户手势图像中识别出指令类手势及用户手指在该指令类手势下的姿态动作，从而在两个表征因素都满足的情况下，根据确定出的操作指令，对游戏画面进行指令控制。承接上例，当监测到图2所示的指令类手势下用户手指所进行的捏合动作时，可对游戏画面进行画面缩小控制。

另外，在摄像头30未采集到姿态控制类手势的情况下，控制可根据第一姿态数据对游戏画面中的目标对象进行姿态控制，当然，本实施例中的指令控制和姿态控制之间并不冲突，两种游戏控制维度可同步作用在游戏画面中。

本实施例中，通过摄像头30采集指令类手势，可更加灵活地对游戏画面进行指令控制，这有效提高用户在使用智能手环进行游戏控制时的操作灵活性和便利性，而且可将传统的游戏手柄的摇杆、功能按键等等功能统统由用户手指发出的手势来实现，可使得用户可通过智能手环实现单手操作、精细动作操控等等游戏手柄无法突破的用户体验效果。

在上述或下述实施例中，控制器10可包括第一处理器和第二处理器，在启动手指操控事件发生时，第二处理器进入关闭状态，第一处理器用于根据惯性传感器20检测到的智能手环的运动姿态，获取第一姿态数据；在摄像头30采集到的手势属于姿态控制类手势时，从摄像头30采集到的手势中，获取第二姿态数据；并根据第二姿态数据和第一姿态数据，对游戏画面中的目标对象进行姿态控制；在结束手指操控事件发生时，第一处理器进入关闭状态，第二处理器用于根据惯性传感器20检测到的智能手环的运动姿态，获取第一姿态数据；并根据第一姿态数据，对游戏画面中的目标对象进行姿态控制；其中，第一处理器的处理能力大于第二处理器。

本实施例中，在启动手指操控事件发生时，启动第一处理器而关闭第二处理器，并由第一处理器执行获取第一姿态数据、获取第二姿态数据、根据第一姿态数据和第二姿态数据对目标对象进行姿态控制等操作；而在结束手指操作事件发生时，则可启动第二处理器而关闭第一处理器，并由第二处理器执行获取第一姿态数据，根据第一姿态数据对目标对象进行姿态控制等操作。

由于第一处理器的处理能力大于第二处理器，因此，当需要进行图像处理时，可启动第一处理器，以支持图像处理过程；而当不需要进行图像处理时，则可采用第二处理器，以节省资源消耗。

通过第一处理器和第二处理器的灵活切换，可在保证游戏控制功能顺利实现的前提下，降低处理器功耗。

其中，图3为本申请实施例提供的另一种智能手环的结构示意图。本实施例中，智能手环除了可包括前述实施例中提及的控制器10、惯性传感器20、摄像头30等组成部分外，还可包括触摸板40、通信组件50、物理按键60、振动马达70等等组成部分。其中，触摸板40可用于实现现有游戏手柄的摇杆功能，振动马达70可用于实现触觉反馈功能，物理按键60则可实现各种自定义按键功能，等等。当然，图3中示出的智能手环的各个组成部分为示例性的，本实施例并不限于此，图3不应造成对本实施例保护范围的限定。

另外，本实施例中，为了避免第一处理器的功耗过高而降低智能手环的待机时间等参数，可为智能手环增设无线充电单元80，无线充电单元80可用于利用外部电源对智能手环进行充电，从而延长智能手环的待机时间。

图4为本申请实施例提供的一种智能手环的产品形态示意图。但应当理解的是，本申请实施例提供的智能手环的产品形态并不限于此。

图5为本申请实施例提供的一种基于智能手环的游戏控制方法的流程示意图。如图5所示，该方法包括：

500、当智能手环进入游戏控制模式时，根据惯性传感器检测到的智能手环的运动姿态，获取第一姿态数据；

501、在启动手指操控事件发生时，利用摄像头采集用户的手指发出的手势；

502、若摄像头采集到的手势属于姿态控制类手势，则从摄像头采集到的手势中，获取第二姿态数据；

503、根据第二姿态数据和第一姿态数据，对游戏画面中的目标对象进行姿态控制。

在一可选实施例中，步骤从摄像头采集到的手势中，获取第二姿态数据，包括：

获取摄像头采集到的包含手势的多张用户手势图像，多张用户手势图像的采集时间连续；

基于图像处理技术，在多张用户手势图像中识别用户手指在手势下的运动姿态；

根据识别出的用户手指在手势下的运动姿态，生成第二姿态数据。

在一可选实施例中，步骤根据识别出的用户手指在手势下的运动姿态，生成第二姿态数据，包括：

将用户手指在手势下的运动姿态转换为位移变化数据和角度变化数据；

根据转换得到的位移变化数据和角度变化数据，生成第二姿态数据。

在一可选实施例中，步骤503，包括：

将第一姿态数据和第二姿态数据进行叠加，以获得目标姿态数据；

按照目标姿态数据，对游戏画面中的目标对象进行姿态控制。

在一可选实施例中，该方法还包括：

若摄像头采集到的手势属于指令类手势，则基于预置的指令类手势与操作指令之间的对应关系，确定摄像头采集到的手势对应的目标操作指令；

根据目标操作指令，对游戏画面进行指令控制；以及

根据第一姿态数据，对游戏画面中的目标对象进行姿态控制。

在一可选实施例中，该方法还包括：

在启动手指操控事件发生时，启动智能手环的第一处理器，由第一处理器根据惯性传感器检测到的智能手环的运动姿态，获取第一姿态数据；在摄像头采集到的手势属于姿态控制类手势时，从摄像头采集到的手势中，获取第二姿态数据；并根据第二姿态数据和第一姿态数据，对游戏画面中的目标对象进行姿态控制；

在结束手指操控事件发生时，关闭第一处理器，并启动智能手环的第二处理器，由第二处理器根据惯性传感器检测到的智能手环的运动姿态，获取第一姿态数据；并根据第一姿态数据，对游戏画面中的目标对象进行姿态控制；

其中，第一处理器的处理能力大于第二处理器。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由智能手环执行的各步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。