游戏画面显示方法、装置、存储介质及电子设备与流程

本申请涉及计算机技术领域，尤其涉及一种游戏画面显示方法、装置、存储介质及电子设备。

背景技术：

随着终端技术的发展，移动终端，特别是手机的功能越来越强大，其也逐渐成为人们生活中不可或缺的一部分。

目前，越来越多的用户喜欢用手机玩网络游戏，其实现方式通常为：用户通过手机触摸屏输入相关命令指令，比如前进、后退、跳跃、使用技能等，这些命令指令经由手机传输至云端虚拟主机上，云端虚拟主机根据该命令指令确定游戏交互结果，并将交互后的渲染画面发送至手机显示给用户，以便用户进行下一操作。这种游戏方式虽然可以避免因手机本身渲染能力不足对游戏带来的影响，但只能适用于部分游戏的游戏逻辑，类似于格斗类、角色扮演类等对状态同步性要求较严格的体感游戏，无法保证数据的高效实时传输，局限性较强。

技术实现要素：

本申请实施例提供一种游戏画面显示方法、装置、存储介质及电子设备，能适用于各种类型的网络游戏，局限性小。

本申请实施例提供了一种游戏画面显示方法，应用于服务器，包括：

接收电子设备发送的游戏请求，所述游戏请求携带目标游戏标识；

根据所述游戏请求向电子设备发送人体信息采集指令，以使所述电子设备根据所述人体信息采集指令返回用户的骨骼点信息；

根据所述电子设备返回的骨骼点信息和目标游戏标识确定游戏画面；

将所述游戏画面发送至所述电子设备进行显示。

本申请实施例还提供了一种游戏画面显示方法，应用于电子设备，包括：

接收服务器发送的人体信息采集指令；

根据所述人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像；

在图像采集过程中，根据所述色彩图像和深度图像确定所述用户的骨骼点信息；

将所述骨骼点信息发送至所述服务器，以使所述服务器根据所述骨骼点信息返回相应游戏画面；

在显示屏幕中显示所述服务器返回的游戏画面。

本申请实施例还提供了一种游戏画面显示装置，应用于电子设备，包括：

接收模块，用于接收服务器发送的人体信息采集指令；

采集模块，用于根据所述人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像；

确定模块，用于在图像采集过程中，根据所述色彩图像和深度图像确定所述用户的骨骼点信息；

发送模块，用于将所述骨骼点信息发送至所述服务器，以使所述服务器根据所述骨骼点信息返回相应游戏画面；

显示模块，用于在显示屏幕中显示所述服务器返回的游戏画面。

本申请实施例还提供了一种游戏画面显示装置，应用于服务器，包括：

接收模块，用于接收电子设备发送的游戏请求，所述游戏请求携带目标游戏标识；

第一发送模块，用于根据所述游戏请求向电子设备发送人体信息采集指令，以使所述电子设备根据所述人体信息采集指令返回用户的骨骼点信息；

确定模块，用于根据所述电子设备返回的骨骼点信息和目标游戏标识确定游戏画面；

第二发送模块，用于将所述游戏画面发送至所述电子设备进行显示。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项游戏画面显示方法。

本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的游戏画面显示方法中的步骤。

本申请提供的游戏画面显示方法、装置、存储介质及电子设备，通过接收服务器发送的人体信息采集指令，并根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像，之后在图像采集过程中，根据该色彩图像和深度图像确定该用户的骨骼点信息，并将该骨骼点信息发送至该服务器，以使该服务器根据该骨骼点信息返回相应游戏画面，之后在显示屏幕中显示该服务器返回的游戏画面，从而用户能通过自身肢体运动来输入游戏指令，适用于各种网络游戏，局限性小，且通过将骨骼点信息而非拍摄图像传送给服务器进行处理，有利于充分发挥服务器和电子设备各自优势，提高处理效率，尽可能缩小用户肢体动作和相应画面显示之间的时间差，游戏同步效果好。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的游戏画面显示方法的流程示意图。

图2为本申请实施例提供的游戏画面显示方法的另一流程示意图。

图3为本申请实施例提供的游戏画面显示方法的又一流程示意图。

图4为本申请实施例提供的游戏画面显示系统的框架示意图。

图5为本申请实施例提供的电子设备处理过程的场景示意图。

图6为本申请实施例提供的游戏画面显示装置的结构示意图。

图7为本申请实施例提供的游戏画面显示装置的另一结构示意图。

图8为本申请实施例提供的游戏画面显示装置的结构示意图。

图9为本申请实施例提供的电子设备的结构示意图。

图10为本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种游戏画面显示方法、装置、存储介质及电子设备。

一种游戏画面显示方法，应用于电子设备，包括：接收服务器发送的人体信息采集指令；根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像；在图像采集过程中，根据该色彩图像和深度图像确定该用户的骨骼点信息；将该骨骼点信息发送至该服务器，以使该服务器根据该骨骼点信息返回相应游戏画面；在显示屏幕中显示该服务器返回的游戏画面。

如图1所示，图1是本申请实施例提供的游戏画面显示方法的流程示意图，具体流程可以如下：

101.接收服务器发送的人体信息采集指令。

本实施例中，电子设备和服务器之间可以通过无线网络进行通信，该无线网络可以包括wifi或者蜂窝移动网络。

例如，在上述步骤101之前，该游戏画面显示方法还可以包括：

显示预设选取界面，该预设选取界面上包括至少一个游戏标识；

调用麦克风模组采集用户的语音信息；

根据该语音信息从该游戏标识中确定目标游戏标识；

根据该目标游戏标识生成游戏请求，并向该服务器发送该游戏请求，以使该服务器根据该游戏请求返回人体信息采集指令。

本实施例中，该预设选取界面可以人为设定，主要用于向用户显示服务器所能提供的所有网络游戏，该网络游戏主要包括体感游戏，该游戏标识可以是网络游戏在服务器中的唯一识别标识，其可以是游戏名称。该预设选取界面上还可以包括光标，用户可以通过语音控制该光标的上下左右移动，通过光标的移动位置选定目标游戏标识，或者用户也可以直接语音输入该目标游戏标识进行选定，从而无需在电子设备屏幕上进行手动操作，实现远距离控制。

102.根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像。

本实施例中，该摄像头模组可以包括结构光模组，或者双摄像头等，主要用于获取色彩图像和深度图像。具体的，可以利用该摄像头模组以第一拍摄频率拍摄图像，并实时检测图像中是否出现人物(也即用户)，当出现时，可以以第二拍摄频率对该人物进行跟踪拍摄，其中该第一拍摄频率可以小于第二拍摄频率。

103.在图像采集过程中，根据该色彩图像和深度图像确定该用户的骨骼点信息。

本实施例中，该骨骼点信息主要包括骨骼点的相关信息，比如骨骼点的二维坐标或空间坐标，其中该骨骼点可以是人体骨骼的关键节点，其可以是人为指定的。

例如，该骨骼点信息包括骨骼点的二维坐标，此时，上述步骤103具体可以包括：

利用训练好的学习模型对该色彩图像和深度图像进行处理，以识别出该色彩图像或深度图像中的骨骼点；

将该骨骼点的图像坐标作为对应二维坐标。

本实施例中，该学习模型可以是神经网络模型，该色彩图像和深度图像可以是大小相同的两张图像，同一骨骼点在这两张图像上应当具有相同坐标位置，该骨骼点可以是人体骨骼的关键节点，其可以是人为设定的，比如可以包括代表头部的头部节点、代表左右肩部的肩部节点、代表腰部的腰部节点等。

104.将该骨骼点信息发送至该服务器，以使该服务器根据该骨骼点信息返回相应游戏画面。

本实施例中，当服务器接收到该骨骼点信息时，可以根据该骨骼点信息分析出用户的肢体运动情况，并根据该肢体运动情况操控网络游戏内的相关人物或道具，并生成相应游戏画面返回给电子设备。

需要指出的是，电子设备在发送骨骼点信息之前，可以通过网络通信协议，比如protocolbuffer(pb)协议、json(javascriptobjectnotation，js对象简谱)协议等将该骨骼点信息打包，将该通信协议和打包数据一起发送至服务器，而服务器需要根据该通信协议对打包数据进行拆包，还原成骨骼点信息。

105.在显示屏幕中显示该服务器返回的游戏画面。

例如，上述步骤105具体可以包括：

检测周边环境的环境亮度；

根据该环境亮度确定显示亮度；

以该显示亮度显示该服务器返回的游戏画面。

本实施例中，该显示亮度可以是提前设定好的，比如开发人员或者用户可以针对不同环境亮度设定多个显示亮度进行关联存储，或者，该显示亮度也可以是电子设备根据用户以往的亮度调节习惯自动选定的，比如电子设备可以在用户每次调节显示亮度时，自动检测当时的环境亮度，并将该环境亮度与显示亮度关联存储。

此外，在上述步骤105之后，该游戏画面显示方法还可以包括:

检测是否接收到待处理事件，该待处理事件包括待处理消息和待处理来电；

若是，则以预设比例将该显示屏幕划分成第一窗口和第二窗口；

在该第一窗口中显示该游戏画面，在该第二窗口中显示该待处理事件。

本实施例中，用户在玩游戏过程中，若电子设备接收到了来电或者消息，可以将显示屏幕分成两个窗口，通过不同窗口处理不同事件，从而无需进行画面切换。

由上述可知，本实施例提供的游戏画面显示方法，应用于电子设备，通过接收服务器发送的人体信息采集指令，并根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像，之后在图像采集过程中，根据该色彩图像和深度图像确定该用户的骨骼点信息，并将该骨骼点信息发送至该服务器，以使该服务器根据该骨骼点信息返回相应游戏画面，之后在显示屏幕中显示该服务器返回的游戏画面，从而用户能通过自身肢体运动来输入游戏指令，适用于各种网络游戏，局限性小，且通过将骨骼点信息而非拍摄图像传送给服务器进行处理，有利于充分发挥服务器和电子设备各自优势，提高处理效率，尽可能缩小用户肢体动作和相应画面显示之间的时间差，游戏同步效果好。

一种游戏画面显示方法，应用于服务器，包括：接收电子设备发送的游戏请求，该游戏请求携带目标游戏标识；根据该游戏请求向电子设备发送人体信息采集指令，以使该电子设备根据该人体信息采集指令返回用户的骨骼点信息；根据该电子设备返回的骨骼点信息和目标游戏标识确定游戏画面；将该游戏画面发送至该电子设备进行显示。

如图2所示，图2是本申请实施例提供的游戏画面显示方法的流程示意图，具体流程可以如下：

201.接收电子设备发送的游戏请求，该游戏请求携带目标游戏标识。

本实施例中，该游戏标识可以是游戏名称。电子设备和服务器之间可以通过wifi或蜂窝移动网络等无线网络进行通信。

202.根据该游戏请求向电子设备发送人体信息采集指令，以使该电子设备根据该人体信息采集指令返回用户的骨骼点信息。

本实施例中，该骨骼点信息主要包括骨骼点的相关信息，比如骨骼点的二维坐标或空间坐标，其中该骨骼点可以是人体骨骼的关键节点，其可以是人为设定的，比如可以包括代表头部的头部节点、代表左右肩部的肩部节点、代表腰部的腰部节点等。

203.根据该电子设备返回的骨骼点信息和目标游戏标识确定游戏画面。

需要说明的是，在电子设备向服务器传输骨骼点信息之前，可以先通过网络协议对骨骼点信息进行网络封包后再传输，此时，服务器接收到的并非原始骨骼点信息，需要解析还原。

例如，上述步骤203具体可以包括：

(1)根据相邻时刻返回的骨骼点信息确定该用户的肢体运动信息。

例如，该骨骼点信息包括骨骼点的二维坐标，此时，上述步骤(1)具体可以包括：

根据相邻时刻返回的二维坐标确定对应骨骼点的运动轨迹；

根据该运动轨迹确定该用户的肢体动作、以及该肢体动作的动作幅度；

将该肢体动作和动作幅度作为该用户的肢体运动信息。

本实施例中，由于每个肢体动作的完成均需花费一定时长，并非瞬时能实现，故若要分析用户的肢体运动情况，可以先确定每个骨骼点的运动轨迹，根据所有骨骼点的运动轨迹确定用户的肢体动作，比如跳跃、挥手、弯腰等，并根据二维坐标之间的差值计算出动作幅度，比如跳50mm高，或者左手挥动20mm。

需要指出的是，考虑到用户可能需要一定的准备时间来进入游戏，故在接收到电子设备返回的骨骼点信息时，可以先判断用户是否准备好了，只有在用户准备好了的情况下，才需要实时检测用户肢体的运动轨迹，也即，在上述步骤(1)之前，该游戏画面显示方法还可以包括：

确定当前时刻返回的二维坐标对应的肢体姿势；

判断该肢体姿势和预设开始姿势是否匹配；

若匹配，则执行该根据相邻时刻返回的骨骼点信息确定该用户的肢体运动信息的操作；

若不匹配，则获取下一时刻返回的骨骼点的二维坐标作为当前时刻骨骼点的二维坐标，并返回执行该确定当前时刻骨骼点的二维坐标对应的肢体姿势的操作。

本实施例中，该预设开始姿势可以是系统默认的，也可以是用户根据喜好自行设定的。对于瞬时骨骼点信息，可以根据骨骼点间的相对坐标位置确定用户的肢体姿势，当该肢体姿势与预设开始姿势相同时，表示用户准备工作已做好，可以开始游戏，当该肢体姿势与预设开始姿势不相同时，表示用户并未准备好，需要继续检测用户的肢体姿势。

(2)根据该目标游戏标识从多个预设指令组中确定目标指令组。

本实施例中，由于服务器中会存储多个游戏应用，每个游戏应用所使用的技能可能不一样，故不同游戏应用可以对应不同的预设指令组，该预设指令组可以与游戏标识关联存储。

(3)从该目标指令组中获取与该肢体运动信息对应的预设指令，作为交互指令。

本实施例中，可以根据肢体动作和动作幅度在目标指令组中匹配对应的预设指令，其中对于不同肢体动作，或者同一肢体动作不同动作幅度，可以匹配到不同的预设指令。

(4)根据该交互指令确定游戏画面。

本实施例中，可以根据交互指令控制游戏人物执行相应动作或发动相应技能，并根据执行的动作或发动的技能生成相应游戏画面。

204.将该游戏画面发送至该电子设备进行显示。

例如，上述步骤204具体可以包括：

检测该电子设备的网络状态；

根据该网络状态对该游戏画面的尺寸进行调整；

将调整后的游戏画面发送至电子设备进行显示。

本实施例中，由于网络状态好坏和数据量大小决定了数据传输所需的时长，为减少电子设备的画面延时，尽量使用户感受到肢体动作和游戏画面的同步，可以在电子设备网络状态较好时，以默认尺寸将游戏画面传输给电子设备，在电子设备网络状态较差时，对游戏画面的尺寸进行缩小以减小数据传输量，该缩小比例可以根据网络状态而定，网络状态越差，该缩小幅度可以越大。

由上述可知，本实施例提供的游戏画面显示方法，应用于服务器，通过接收电子设备发送的游戏请求，该游戏请求携带目标游戏标识，并根据该游戏请求向电子设备发送人体信息采集指令，以使该电子设备根据该人体信息采集指令返回用户的骨骼点信息，之后，根据该电子设备返回的骨骼点信息和目标游戏标识确定游戏画面，并将该游戏画面发送至该电子设备进行显示，从而用户能通过自身肢体运动来输入游戏指令，适用于各种网络游戏，局限性小，且服务器是直接对骨骼点信息而非拍摄图像进行处理，去除了大量冗余数据，从而提高了处理效率，有利于缩小用户肢体动作和相应画面显示之间的时间差，游戏同步效果好。

在本实施例中，将从游戏画面显示装置的角度进行描述，具体将以该游戏画面显示装置集成在电子设备和服务器中为例进行详细说明。

请参见图3和图4，一种游戏画面显示方法，具体流程可以如下：

301.电子设备显示预设选取界面，该预设选取界面上包括至少一个游戏标识，之后调用麦克风模组采集用户的语音信息。

譬如，该预设选取界面可以是某个应用的主页面，该游戏标识可以是游戏名称，该游戏标识可以按照一定顺序在预设选取界面上排列显示，该排列顺序可以系统默认，也可以根据用户以往对网络游戏的使用频率灵活调整，比如使用频率越高的网络游戏，其游戏标识的排列位置可以越靠前。

302.电子设备根据该语音信息从该游戏标识中确定目标游戏标识，并根据该目标游戏标识生成游戏请求，之后向该服务器发送该游戏请求。

譬如，用户可以直接说出所需体验的网络游戏的游戏名称进行选定，比如“xxx”，也可以通过语音控制预设选取界面上的光标移动来进行选定，之后电子设备可以通过wifi将该选定结果发送至服务器。

303.服务器根据该游戏请求向电子设备发送人体信息采集指令。

304.电子设备根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像。

譬如，在接收到人体信息采集指令后，摄像头模组可以先以正常拍摄频率进行图像采集，并通过人物识别算法检测拍摄视野内是否存在用户，一旦检测出用户，则可以以较高的拍摄频率(比如每秒30帧)对该用户进行持续跟踪。

305.在图像采集过程中，电子设备利用训练好的学习模型对该色彩图像和深度图像进行处理，以识别出该色彩图像或深度图像中的骨骼点。

306.电子设备将该骨骼点的图像坐标作为对应二维坐标，并将该骨骼点的二维坐标发送至服务器。

譬如，该学习模型可以是神经网络模型，该骨骼点可以是人为指定的人体关键节点，比如头部节点、左肩节点、右肩节点、腰节点等，具体可以参见图5。在向服务器发送骨骼点数据之前，电子设备可以通过通信协议将其打包，将打包数据和通信协议一起发送至服务器。

307.服务器确定当前时刻返回的二维坐标对应的肢体姿势，并判断该肢体姿势和预设开始姿势是否匹配，若是，则执行下述步骤308，若否，则获取下一时刻返回的骨骼点的二维坐标作为当前时刻骨骼点的二维坐标，并返回执行该确定当前时刻骨骼点的二维坐标对应的肢体姿势的操作。

譬如，服务器需要先对打包数据进行解析，还原出17个骨骼点的二维坐标，之后可以根据骨骼点间的相对坐标位置确定用户的肢体姿势，当该肢体姿势与预设开始姿势相同时，表示用户已准备好，可以开始游戏，当该肢体姿势与预设开始姿势不相同时，表示用户并未准备好，需要继续检测用户的肢体姿势。

308.服务器根据相邻时刻返回的二维坐标确定对应骨骼点的运动轨迹，并根据该目标游戏标识从多个预设指令组中确定目标指令组。

譬如，对于每个时刻返回的坐标数据，服务器可以先判断该坐标数据是否完整，如果不完整，比如缺失了某个骨骼点的二维坐标时，可以根据前几次返回的完整数据对缺失的骨骼点进行位置预测将数据补充完整，之后再更新运动轨迹。

309.服务器根据该运动轨迹确定该用户的肢体动作、以及该肢体动作的动作幅度，并从该目标指令组中获取与该肢体动作和动作幅度对应的预设指令，作为交互指令，之后根据该交互指令确定游戏画面。

譬如，比如对于挥手动作，用户左手挥动5mm匹配的预设指令可以是走动前进，左手挥动10mm匹配的预设指令可以是跑动前进，服务器会根据该交互指令进行一系列游戏逻辑处理，并渲染出游戏画面。

310.服务器检测该电子设备的网络状态，并根据该网络状态对该游戏画面的尺寸进行调整，之后将调整后的游戏画面发送至电子设备。

譬如，可以根据网络状态灵活调整数据传输量，比如网络状态好时，使游戏画面按照正常尺寸进行传输，网络状态差时，对游戏画面的尺寸进行缩小以减小数据传输量。

311.电子设备检测周边环境的环境亮度，并根据该环境亮度确定显示亮度，之后以该显示亮度显示该服务器返回的游戏画面。

312.电子设备检测是否接收到待处理事件，该待处理事件包括待处理消息和待处理来电，若是，则执行下述步骤313，若否，则重新检测。

本实施例中，电子设备在向用户显示游戏画面时，可以根据环境亮度自动调整其显示亮度，并检测是否由来电或者消息需要及时处理。

313.电子设备以预设比例将该显示屏幕划分成第一窗口和第二窗口，并在该第一窗口中显示该游戏画面，在该第二窗口中显示该待处理事件。

譬如，用户可以通过语音来处理第二窗口中的待处理事件，比如通过语音控制来电的接听或挂断，或者通过语音来关闭或回复消息，从而无需接触电子设备，保证游戏能够继续进行。

根据上述实施例所描述的方法，本实施例将从游戏画面显示装置的角度进一步进行描述，该游戏画面显示装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑等。

请参阅图6，图6具体描述了本申请实施例提供的游戏画面显示装置，应用于电子设备，该游戏画面显示装置可以包括：接收模块10、采集模块20、确定模块30、发送模块40和显示模块50，其中：

(1)接收模块10

接收模块10，用于接收服务器发送的人体信息采集指令。

本实施例中，电子设备和服务器之间可以通过无线网络进行通信，该无线网络可以包括wifi或者蜂窝移动网络。

例如，请参见图7，该游戏画面显示装置还可以包括生成模块60，用于：

在该接收模块10接收服务器发送的人体信息采集指令之前，显示预设选取界面，该预设选取界面上包括至少一个游戏标识；

调用麦克风模组采集用户的语音信息；

根据该语音信息从该游戏标识中确定目标游戏标识；

根据该目标游戏标识生成游戏请求，并向该服务器发送该游戏请求，以使该服务器根据该游戏请求返回人体信息采集指令。

本实施例中，该预设选取界面可以人为设定，主要用于向用户显示服务器所能提供的所有网络游戏，该网络游戏主要包括体感游戏，该游戏标识可以是网络游戏在服务器中的唯一识别标识，其可以是游戏名称。该预设选取界面上还可以包括光标，用户可以通过语音控制该光标的上下左右移动，通过光标的移动位置选定目标游戏标识，或者用户也可以直接语音输入该目标游戏标识进行选定，从而无需在电子设备屏幕上进行手动操作，实现远距离控制。

(2)采集模块20

采集模块20，用于根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像。

本实施例中，该摄像头模组可以包括结构光模组，或者双摄像头等，主要用于获取色彩图像和深度图像。具体的，可以利用该摄像头模组以第一拍摄频率拍摄图像，并实时检测图像中是否出现人物(也即用户)，当出现时，可以以第二拍摄频率对该人物进行跟踪拍摄，其中该第一拍摄频率可以小于第二拍摄频率。

(3)确定模块30

确定模块30，用于在图像采集过程中，根据该色彩图像和深度图像确定该用户的骨骼点信息。

本实施例中，该骨骼点信息主要包括骨骼点的相关信息，比如骨骼点的二维坐标或空间坐标，其中该骨骼点可以是人体骨骼的关键节点，其可以是人为指定的。

例如，该骨骼点信息包括骨骼点的二维坐标，此时，该确定模块30具体可以用于：

利用训练好的学习模型对该色彩图像和深度图像进行处理，以识别出该色彩图像或深度图像中的骨骼点；

将该骨骼点的图像坐标作为对应二维坐标。

本实施例中，该学习模型可以是神经网络模型，该色彩图像和深度图像可以是大小相同的两张图像，同一骨骼点在这两张图像上应当具有相同坐标位置，该骨骼点可以是人体骨骼的关键节点，其可以是人为设定的，比如可以包括代表头部的头部节点、代表左右肩部的肩部节点、代表腰部的腰部节点等。

(4)发送模块40

发送模块40，用于将该骨骼点信息发送至该服务器，以使该服务器根据该骨骼点信息返回相应游戏画面。

本实施例中，当服务器接收到该骨骼点信息时，可以根据该骨骼点信息分析出用户的肢体运动情况，并根据该肢体运动情况操控网络游戏内的相关人物或道具，并生成相应游戏画面返回给电子设备。

需要指出的是，电子设备在发送骨骼点信息之前，可以通过网络通信协议，比如protocolbuffer(pb)协议、json(javascriptobjectnotation，js对象简谱)协议等将该骨骼点信息打包，将该通信协议和打包数据一起发送至服务器，而服务器需要根据该通信协议对打包数据进行拆包，还原成骨骼点信息。

(5)显示模块50

显示模块50，用于在显示屏幕中显示该服务器返回的游戏画面。

例如，上述显示模块50具体可以用于：

检测周边环境的环境亮度；

根据该环境亮度确定显示亮度；

以该显示亮度显示该服务器返回的游戏画面。

本实施例中，该显示亮度可以是提前设定好的，比如开发人员或者用户可以针对不同环境亮度设定多个显示亮度进行关联存储，或者，该显示亮度也可以是电子设备根据用户以往的亮度调节习惯自动选定的，比如电子设备可以在用户每次调节显示亮度时，自动检测当时的环境亮度，并将该环境亮度与显示亮度关联存储。

此外，该游戏画面显示装置还可以包括分屏模块70，用于：

检测是否接收到待处理事件，该待处理事件包括待处理消息和待处理来电；

若是，则以预设比例将该显示屏幕划分成第一窗口和第二窗口；

在该第一窗口中显示该游戏画面，在该第二窗口中显示该待处理事件。

本实施例中，用户在玩游戏过程中，若电子设备接收到了来电或者消息，可以将显示屏幕分成两个窗口，通过不同窗口处理不同事件，从而无需进行画面切换。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上述可知，本实施例提供的游戏画面显示装置，应用于电子设备，通过接收模块10接收服务器发送的人体信息采集指令，采集模块20根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像，之后在图像采集过程中，确定模块30根据该色彩图像和深度图像确定该用户的骨骼点信息，发送模块40将该骨骼点信息发送至该服务器，以使该服务器根据该骨骼点信息返回相应游戏画面，之后显示模块50在显示屏幕中显示该服务器返回的游戏画面，从而用户能通过自身肢体运动来输入游戏指令，适用于各种网络游戏，局限性小，且通过将骨骼点信息而非拍摄图像传送给服务器进行处理，有利于充分发挥服务器和电子设备各自优势，提高处理效率，尽可能缩小用户肢体动作和相应画面显示之间的时间差，游戏同步效果好。

根据上述实施例所描述的方法，本实施例将从游戏画面显示装置的角度进一步进行描述，该游戏画面显示装置具体可以作为独立的实体来实现，也可以集成在服务器中来实现，该服务器可以是云服务器等。

请参阅图8，图8具体描述了本申请实施例提供的游戏画面显示装置，应用于服务器，该游戏画面显示装置可以包括：接收模块80、第一发送模块90、确定模块100和第二发送模块110，其中：

(6)接收模块80

接收模块80，用于接收电子设备发送的游戏请求，该游戏请求携带目标游戏标识。

本实施例中，该游戏标识可以是游戏名称。电子设备和服务器之间可以通过wifi或蜂窝移动网络等无线网络进行通信。

(7)第一发送模块90

第一发送模块90，用于根据该游戏请求向电子设备发送人体信息采集指令，以使该电子设备根据该人体信息采集指令返回用户的骨骼点信息。

本实施例中，该骨骼点信息主要包括骨骼点的相关信息，比如骨骼点的二维坐标或空间坐标，其中该骨骼点可以是人体骨骼的关键节点，其可以是人为设定的，比如可以包括代表头部的头部节点、代表左右肩部的肩部节点、代表腰部的腰部节点等。

(8)确定模块100

确定模块100，用于根据该电子设备返回的骨骼点信息和目标游戏标识确定游戏画面。

需要说明的是，在电子设备向服务器传输骨骼点信息之前，可以先通过网络协议对骨骼点信息进行网络封包后再传输，此时，服务器接收到的并非原始骨骼点信息，需要解析还原。

例如，上述确定模块100具体可以用于：

(1)根据相邻时刻返回的骨骼点信息确定该用户的肢体运动信息。

例如，该骨骼点信息包括骨骼点的二维坐标，此时，上述确定模块100进一步可以用于：

根据相邻时刻返回的二维坐标确定对应骨骼点的运动轨迹；

根据该运动轨迹确定该用户的肢体动作、以及该肢体动作的动作幅度；

将该肢体动作和动作幅度作为该用户的肢体运动信息。

本实施例中，由于每个肢体动作的完成均需花费一定时长，并非瞬时能实现，故若要分析用户的肢体运动情况，可以先确定每个骨骼点的运动轨迹，根据所有骨骼点的运动轨迹确定用户的肢体动作，比如跳跃、挥手、弯腰等，并根据二维坐标之间的差值计算出动作幅度，比如跳50mm高，或者左手挥动20mm。

需要指出的是，考虑到用户可能需要一定的准备时间来进入游戏，故在接收到电子设备返回的骨骼点信息时，可以先判断用户是否准备好了，只有在用户准备好了的情况下，才需要实时检测用户肢体的运动轨迹，也即，在上述步骤(1)之前，上述确定模块100还可以用于：

确定当前时刻返回的二维坐标对应的肢体姿势；

判断该肢体姿势和预设开始姿势是否匹配；

若匹配，则执行该根据相邻时刻返回的骨骼点信息确定该用户的肢体运动信息的操作；

若不匹配，则获取下一时刻返回的骨骼点的二维坐标作为当前时刻骨骼点的二维坐标，并返回执行该确定当前时刻骨骼点的二维坐标对应的肢体姿势的操作。

本实施例中，该预设开始姿势可以是系统默认的，也可以是用户根据喜好自行设定的。对于瞬时骨骼点信息，可以根据骨骼点间的相对坐标位置确定用户的肢体姿势，当该肢体姿势与预设开始姿势相同时，表示用户准备工作已做好，可以开始游戏，当该肢体姿势与预设开始姿势不相同时，表示用户并未准备好，需要继续检测用户的肢体姿势。

(2)根据该目标游戏标识从多个预设指令组中确定目标指令组。

本实施例中，由于服务器中会存储多个游戏应用，每个游戏应用所使用的技能可能不一样，故不同游戏应用可以对应不同的预设指令组，该预设指令组可以与游戏标识关联存储。

(3)从该目标指令组中获取与该肢体运动信息对应的预设指令，作为交互指令。

本实施例中，可以根据肢体动作和动作幅度在目标指令组中匹配对应的预设指令，其中对于不同肢体动作，或者同一肢体动作不同动作幅度，可以匹配到不同的预设指令。

(4)根据该交互指令确定游戏画面。

本实施例中，可以根据交互指令控制游戏人物执行相应动作或发动相应技能，并根据执行的动作或发动的技能生成相应游戏画面。

(9)第二发送模块110

第二发送模块110，用于将该游戏画面发送至该电子设备进行显示。

例如，上述第二发送模块110具体可以用于：

检测该电子设备的网络状态；

根据该网络状态对该游戏画面的尺寸进行调整；

将调整后的游戏画面发送至电子设备进行显示。

本实施例中，由于网络状态好坏和数据量大小决定了数据传输所需的时长，为减少电子设备的画面延时，尽量使用户感受到肢体动作和游戏画面的同步，可以在电子设备网络状态较好时，以默认尺寸将游戏画面传输给电子设备，在电子设备网络状态较差时，对游戏画面的尺寸进行缩小以减小数据传输量，该缩小比例可以根据网络状态而定，网络状态越差，该缩小幅度可以越大。

由上述可知，本实施例提供的游戏画面显示装置，应用于服务器，通过接收模块80接收电子设备发送的游戏请求，该游戏请求携带目标游戏标识，第一发送模块90根据该游戏请求向电子设备发送人体信息采集指令，以使该电子设备根据该人体信息采集指令返回用户的骨骼点信息，之后，确定模块100根据该电子设备返回的骨骼点信息和目标游戏标识确定游戏画面，第二发送模块110将该游戏画面发送至该电子设备进行显示，从而用户能通过自身肢体运动来输入游戏指令，适用于各种网络游戏，局限性小，且服务器是直接对骨骼点信息而非拍摄图像进行处理，去除了大量冗余数据，从而提高了处理效率，有利于缩小用户肢体动作和相应画面显示之间的时间差，游戏同步效果好。

另外，本申请实施例还提供一种电子设备，该电子设备可以是智能手机、平板电脑等设备。如图9所示，电子设备400包括处理器401、存储器402。其中，处理器401与存储器402电性连接。

处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：

接收服务器发送的人体信息采集指令；

根据该人体信息采集指令调用摄像头模组对用户进行图像采集，得到连续帧色彩图像和深度图像；

在图像采集过程中，根据该色彩图像和深度图像确定该用户的骨骼点信息；

将该骨骼点信息发送至该服务器，以使该服务器根据该骨骼点信息返回相应游戏画面；

在显示屏幕中显示该服务器返回的游戏画面。

请参阅图10，图10为本申请实施例提供的电子设备结构示意图。该电子设备500可以包括有一个或一个以上计算机可读存储介质的存储器501、输入单元502、显示单元503、音频电路504、无线保真(wifi，wirelessfidelity)模块505、包括有一个或者一个以上处理核心的处理器506、以及电源507等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器501可用于存储应用程序和数据。存储器501存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器506通过运行存储在存储器501的应用程序，从而执行各种功能应用以及数据处理。存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器501还可以包括存储器控制器，以提供处理器506和输入单元502对存储器501的访问。

输入单元502可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元502可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器506，并能接收处理器506发来的命令并加以执行。

显示单元503可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元503可包括显示面板。可选的，可以采用液晶显示器(lcd，liquidcrystaldisplay)、有机发光二极管(oled，organiclight-emittingdiode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器506以确定触摸事件的类型，随后处理器506根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图10中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

音频电路504可通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路504可将接收到的音频数据转换成电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路504接收后转换为音频数据，再将音频数据输出处理器506处理后，经射频电路501以发送给比如另一电子设备，或者将音频数据输出至存储器501以便进一步处理。音频电路504还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。

无线保真(wifi)属于短距离无线传输技术，电子设备通过无线保真模块505可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了无线保真模块505，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器506是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器501内的应用程序，以及调用存储在存储器501内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器506可包括一个或多个处理核心；优选的，处理器506可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器506中。

电子设备还包括给各个部件供电的电源507(比如电池)。优选的，电源可以通过电源管理系统与处理器506逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源507还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图10中未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种游戏画面显示方法中的步骤。

其中，该存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种游戏画面显示方法中的步骤，因此，可以实现本发明实施例所提供的任一种游戏画面显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

综上该，虽然本申请已以优选实施例揭露如上，但上述优选实施例并非用以限制本申请，本领域的普通技术人员，在不脱离本申请的精神和范围内，均可作各种更动与润饰，因此本申请的保护范围以权利要求界定的范围为准。