游戏操控处理方法、设备及存储介质与流程

本发明实施例涉及计算机技术，尤其涉及一种游戏操控处理方法、设备及存储介质。

背景技术

随着计算机技术的快速发展，为人类生活/工作带来越来越多的便利及趣味。例如，游戏的产生让人类的生活更丰富。

在相关技术中，用户可通过游戏手柄、便携终端、键盘等输入设备来实现对游戏中角色的操纵。但该相关技术导致游戏过程受限于输入设备，从而影响用户游戏体验。

技术实现要素：

本发明实施例提供一种游戏操控处理方法、设备及存储介质，以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。

第一方面，本发明实施例提供一种游戏操控处理方法，包括：

通过摄像头采集用户在进行游戏操控过程中的人脸视频流；

从所述人脸视频流中提取所述用户的五官特征信息；

根据所述五官特征信息，确定所述用户的表情变化；

根据所述表情变化，对所述游戏进行操控处理。

在一种可能的设计中，所述从所述人脸视频流中提取所述用户的五官特征信息，包括：

从所述人脸视频流中提取连续的至少两幅图像帧；

确定所述至少两幅图像帧中人脸五官的关键点坐标；

相应的，所述根据所述五官特征信息，确定所述用户的表情变化，包括：

根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；

根据所述坐标变化，确定所述用户的表情变化。

在一种可能的设计中，所述从所述人脸视频流中提取所述用户的五官特征信息之前，还包括：

确定所述人脸视频流中所包含的人脸数量；

相应的，所述从所述人脸视频流中提取所述用户的五官特征信息，包括：

从所述人脸视频流中提取与各个人脸对应的用户的五官特征信息；

相应的，所述根据所述五官特征信息，确定所述用户的表情变化，包括：

根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化；

相应的，所述根据所述表情变化，对所述游戏进行操控处理，包括：

根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理。

在一种可能的设计中，所述表情变化，包括下述表情变化中的一个或多个：挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑。

在一种可能的设计中，所述根据所述表情变化，对所述游戏进行操控处理，包括：根据所述表情变化，在所述游戏中生成一段音乐旋律。

在一种可能的设计中，所述操控处理，包括下述操控处理中的一个或多个：角色加速、角色翻转、角色跳跃、角色急停、角色切换。

第二方面，本发明实施例提供一种游戏操控处理设备，包括：

采集模块，用于通过摄像头采集用户在进行游戏操控过程中的人脸视频流；

提取模块，用于从所述人脸视频流中提取所述用户的五官特征信息；

确定模块，用于根据所述五官特征信息，确定所述用户的表情变化；

处理模块，用于根据所述表情变化，对所述游戏进行操控处理。

在一种可能的设计中，所述提取模块具体用于：从所述人脸视频流中提取连续的至少两幅图像帧；确定所述至少两幅图像帧中人脸五官的关键点坐标。

相应的，所述确定模块具体用于：根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；根据所述坐标变化，确定所述用户的表情变化。

在一种可能的设计中，所述确定模块，还用于在所述提取模块从所述人脸视频流中提取所述用户的五官特征信息之前，确定所述人脸视频流中所包含的人脸数量。相应的，所述提取模块，具体用于从所述人脸视频流中提取与各个人脸对应的用户的五官特征信息。相应的，所述确定模块在用于根据所述五官特征信息，确定所述用户的表情变化时，具体为：根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化。相应的，所述处理模块，具体用于根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理。

在一种可能的设计中，所述表情变化，包括下述表情变化中的一个或多个：挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑。

在一种可能的设计中，所述处理模块还用于：根据所述表情变化，在所述游戏中生成一段音乐旋律。

在一种可能的设计中，所述操控处理，包括下述操控处理中的一个或多个：角色加速、角色翻转、角色跳跃、角色急停、角色切换。

第三方面，本发明实施例提供一种游戏操控处理设备，包括：处理器和存储器；存储器存储计算机执行指令；处理器执行计算机执行指令，使得该处理器执行如第一方面任一项所述的游戏操控处理方法。

第四方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，该计算机执行指令被处理器执行时用于实现如第一方面任一项所述的游戏操控处理方法。

本发明实施例提供的游戏操控处理方法、设备及存储介质，通过摄像头采集用户在进行游戏操控过程中的人脸视频流；从人脸视频流中提取用户的五官特征信息；根据五官特征信息，确定用户的表情变化；根据表情变化，对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的游戏操控处理方法的流程图；

图2a和图2b示出两幅图像帧示例；

图3为本发明另一实施例提供的游戏操控处理方法的流程图；

图4为本发明一实施例提供的游戏操控处理设备的结构示意图；

图5为本发明又一实施例提供的游戏操控处理设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到人机交互技术、人脸识别技术的日益成熟，以及相关技术在游戏过程中受限于输入设备的问题，本发明实施例提供一种游戏操控处理方法、设备及存储介质，结合人机交互技术及人脸识别技术，通过表情变化对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。

图1为本发明一实施例提供的游戏操控处理方法的流程图。本发明实施例提供一种游戏操控处理方法，该游戏操控处理方法的执行主体可以为游戏操控处理设备，该游戏操控处理设备可以通过软件/硬件的方式实现。实际应用中，该游戏操控处理设备可以为安装有游戏软件/客户端的电子设备，或者，该游戏操控处理设备还可以集成于电子设备，但不以此为限。其中，电子设备例如是台式电脑、笔记本、个人数字助理(personaldigitalassistant，简称：pda)、智能手机、平板电脑和游戏机等设备。该实施例以电子设备为执行主体进行说明。

具体地，用户可以下载游戏软件并安装至电子设备。通过在电子设备的处理器上执行游戏软件并在电子设备的显示设备上渲染得到游戏交互界面。

如图1所示，该游戏操控处理方法包括：

s101、通过摄像头采集用户在进行游戏操控过程中的人脸视频流。

实际应用中，电子设备中可以设置有摄像头，通过摄像头采集用户在进行游戏操控过程中的人脸视频流；或者，电子设备还可以连接有外界的摄像头，该摄像头采集用户在进行游戏操控过程中的人脸视频流，电子设备通过与该摄像头进行通信，获取摄像头采集的人脸视频流。

s102、从人脸视频流中提取用户的五官特征信息。

其中，五官特征信息可以为用于表示五官特征的信息，例如，与眉相关的信息、与眼相关的信息，等等。可以理解，当用户的表情发生变化时，用户的五官特征信息是在变化的。因此，电子设备可以首先通过s102得到用户的五官特征信息，为确定该用户的表情变化做准备。

示例性地，电子设备可以采用人脸识别技术在人脸视频流中识别出人脸，进而提取五官特征信息。

s103、根据五官特征信息，确定用户的表情变化。

可选地，表情变化可以包括下述表情变化中的一个或多个：挑眉、张嘴、闭眼、眨眼、嘟嘴、哭和笑等。

s104、根据表情变化，对游戏进行操控处理。

一些实施例中，操控处理可以包括下述操控处理中的一个或多个：角色加速、角色翻转、角色跳跃、角色急停和角色切换等。

例如，挑眉对应游戏角色加速，也就是说，当用户的表情变化为挑眉时，电子设备对游戏进行角色加速；或者，张嘴对应游戏角色翻转，也就是说，当用户的表情变化为张嘴时，电子设备对游戏进行角色翻转，等等。

本发明实施例中，通过摄像头采集用户在进行游戏操控过程中的人脸视频流；从人脸视频流中提取用户的五官特征信息；根据五官特征信息，确定用户的表情变化；根据表情变化，对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。

进一步地，人脸视频流可以包括多幅图像帧。当用户的表情发生变化时，该多幅图像帧种对应的该用户的五官特征信息也是在变化的，例如，人脸五官的关键点坐标。因此，s102、从人脸视频流中提取用户的五官特征信息，可以具体为：从人脸视频流中提取连续的至少两幅图像帧；确定该至少两幅图像帧中人脸五官的关键点坐标。

相应的，s103、根据五官特征信息，确定用户的表情变化，可以包括：根据人脸五官的关键点坐标，确定至少两幅图像帧之间的坐标变化；根据坐标变化，确定用户的表情变化。

例如，以人脸五官中眉进行示例，图2a和图2b分别示出两幅图像帧。在图2a示出的图像帧中，眉的关键点坐标为(x1,y1)；在图2b示出的图像帧中，眉的关键点坐标为(x2,y2)。电子设备根据(x1,y1)和(x2,y2)，确定至少两幅图像帧之间的坐标变化为(x2-x1,y2-y1)，并根据(x2-x1,y2-y1)，确定用户的表情变化为挑眉。例如，y2-y1大于0，确定用户的表情变化为挑眉。

进一步地，由于一个人脸视频流可能包含多个人脸，即多人游戏，不同的用户控制同一游戏中的不同角色。接下来针对该种情况进行说明。

图3为本发明另一实施例提供的游戏操控处理方法的流程图。如图3所示，在图1所示流程的基础上，本实施例的游戏操控处理方法可以包括以下步骤：

s301、通过摄像头采集用户在进行游戏操控过程中的人脸视频流。

该步骤同s101，此处不再赘述。

s302、确定人脸视频流中所包含的人脸数量。

具体可通过人脸识别等相关技术，确定人脸视频流中所包含的人脸数量。

s303、从人脸视频流中提取与各个人脸对应的用户的五官特征信息。

s304、根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化。

s305、根据各个用户的表情变化，分别对游戏中与各个用户对应的角色进行操控处理。

s303～s305分别对应s102～s104，区别主要在于人脸数量的不同。该实施例是针对人脸视频流中包含的每一人脸，执行上述s102～s104，从而实现多人游戏，每个用户通过改变表情控制其对应的角色。

在上述实施例的基础上，一些实施例中，根据表情变化，对游戏进行操控处理，可以包括：根据表情变化，在游戏中生成一段音乐旋律。例如，将表情变化与音频、音阶、乐器等对应，从而可以根据表情变化及其对应音频、音节等信息生成一段音乐旋律。

或者，可选地，预先设置表情变化与音乐旋律的映射关系，当电子设备确定表情变化之后，可根据该确定的表情变化从上述映射关系中找到其对应的音乐旋律，进而进行音乐旋律的播放，等等。例如，挑眉这一表情变化对应表示胜利的音乐旋律，当用户赢得游戏时，通过挑眉这一动作控制该音乐旋律的播放。

上述实施例，电子设备根据用户的表情变化，对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。

需说明的是，在本发明任一实施例中，表情变化与操控处理之间的对应关系、关键点的位置等，并非是固定不可变的，用户可以根据实际需求进行设置。

图4为本发明一实施例提供的游戏操控处理设备的结构示意图。本发明实施例提供一种游戏操控处理设备，该游戏操控处理设备可以通过软件和/或硬件的方式实现。实际应用中，该游戏操控处理设备可以为安装有游戏软件/客户端的电子设备，或者，该游戏操控处理设备还可以集成于电子设备，但不以此为限。其中，电子设备例如是台式电脑、笔记本、pda、智能手机、平板电脑和游戏机等设备。

具体地，用户可以下载游戏软件并安装至电子设备。通过在电子设备的处理器上执行游戏软件并在电子设备的显示设备上渲染得到游戏交互界面。

如图4所示，游戏操控处理设备40包括：采集模块41、提取模块42、确定模块43和处理模块44。其中，

该采集模块41，用于通过摄像头采集用户在进行游戏操控过程中的人脸视频流。

该提取模块42，用于从所述人脸视频流中提取所述用户的五官特征信息。

该确定模块43，用于根据所述五官特征信息，确定所述用户的表情变化。

该处理模块44，用于根据所述表情变化，对所述游戏进行操控处理。

本实施例提供的游戏操控处理设备，可用于执行上述的方法实施例，其实现方式和技术效果类似，本实施例此处不再赘述。

一种实现方式中，提取模块42可具体用于：从所述人脸视频流中提取连续的至少两幅图像帧；确定所述至少两幅图像帧中人脸五官的关键点坐标。

相应的，确定模块43可具体用于：根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；根据所述坐标变化，确定所述用户的表情变化。

另一种实现方式中，确定模块43，还可以用于在提取模块42从所述人脸视频流中提取所述用户的五官特征信息之前，确定所述人脸视频流中所包含的人脸数量。

该实现方式中，提取模块42可具体用于从所述人脸视频流中提取与各个人脸对应的用户的五官特征信息。

确定模块43在用于根据所述五官特征信息，确定所述用户的表情变化时，可具体为：根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化。

处理模块44，可具体用于根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理。

在上述实施例中，可选地，所述表情变化，可以包括下述表情变化中的一个或多个：

挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑，等等。

进一步地，处理模块44还可以用于：

根据所述表情变化，在所述游戏中生成一段音乐旋律。

一些实施例中，所述操控处理，可以包括下述操控处理中的一个或多个：

角色加速、角色翻转、角色跳跃、角色急停和角色切换等。

图5为本发明又一实施例提供的游戏操控处理设备的结构示意图。如图5所示，该游戏操控处理设备50包括：

至少一个处理器51和存储器52；

所述存储器52存储计算机执行指令；

所述至少一个处理器51执行所述存储器52存储的计算机执行指令，使得所述至少一个处理器51执行如上所述的游戏操控处理方法。

处理器51的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

可选地，该游戏操控处理设备50还包括通信部件53。其中，处理器51、存储器52以及通信部件53可以通过总线54连接。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的游戏操控处理方法。

在上述的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponent，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(applicationspecificintegratedcircuits，简称：asic)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。