虚拟对象控制方法、存储介质及电子设备与流程

文档序号:20206913发布日期:2020-03-31 10:19阅读:121来源:国知局
本申请属于数据处理领域,尤其涉及一种虚拟对象控制方法、存储介质及电子设备。
背景技术
::在一些电子设备的应用中包含人为设定的虚拟对象,例如电子游戏或者即时聊天工具里的虚拟对象。为了控制这些虚拟对象,用户可以通过按键或者触控屏来进行控制,又或者用户利用手部抓取或穿戴外设的运动传感器,从而通过该运动传感器获取到人体的手部动作,并将这些手部动作的特征参数输入到电子设备的控制模型中,以对该虚拟对象进行相应的动作控制。但是,传统的运动传感器需要外接设备,且控制精度较低。技术实现要素:本申请实施例提供一种虚拟对象控制方法、存储介质及电子设备,可以提高对虚拟对象的控制精度。本申请实施例提供一种虚拟对象控制方法,应用于电子设备,所述方法包括:获取环境的二维图像及深度图像;根据所述二维图像,获得所述人体的二维特征信息;根据所述深度图像,获得所述人体的三维特征信息;将所述人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息;根据所述人体模型信息对虚拟对象进行相应的控制。本申请实施例还提供一种虚拟对象控制装置,应用于电子设备,包括:图像获取模块,用于获取环境的二维图像及深度图像;第一信息获取模块,用于根据所述二维图像,获得所述人体的二维特征信息;第二信息获取模块,用于根据所述深度图像,获得所述人体的三维特征信息;信息生成模块,用于将所述人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息;以及控制模块,用于根据所述人体模型信息对虚拟对象进行相应的控制。本申请实施例还提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如上所述的虚拟对象控制方法。本申请实施例还提供一种电子设备,所述电子设备包括rgb图像传感器、深度图像传感器、处理器和存储器,所述存储器有计算机程序,其中:所述rgb图像传感器用于获取二维图像;所述深度图像传感器用于获取深度图像;所述处理器通过调用所述计算机程序,用于执行如上所述的虚拟对象控制方法。本申请实施例中,获取人体的二维图像及深度图像,对该二维图像及深度图像提取相应的人体的二维特征信息以及三维特征信息,并将该二维特征信息与三维特征信息进行结合,以生成用于对虚拟对象进行控制的人体模型信息;本申请实施例可以结合二维图像以及深度图像的优势,从而识别出人体不同部位的动作,大幅提高人体模型信息的参数精度,进而提高对虚拟对象的控制精度。附图说明下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其有益效果显而易见。图1是本申请实施例提供的虚拟对象控制方法的实现流程图。图2是本申请实施例提供的获取二维特征信息的实现流程图。图3是本申请实施例提供的虚拟对象控制方法的应用场景。图4是本申请实施例提供的虚拟对象控制方法的另一应用场景。图5是本申请实施例提供的结合二维特征信息与三维特征信息的实现流程图。图6是本申请实施例提供的虚拟对象控制方法的再一应用场景。图7是本申请实施例提供的判断是否执行结合特征信息的实现流程图。图8是本申请实施例提供的虚拟对象控制方法的再一应用场景。图9是本申请实施例提供的虚拟对象控制装置的结构示意图。图10是本申请实施例提供的电子设备的结构示意图。图11是本申请实施例提供的电子设备的另一结构示意图。具体实施方式请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。本申请实施例提供一种虚拟对象控制方法、存储介质及电子设备。以下将分别进行详细说明。该电子设备可以是智能手机、平板电脑等设备。本申请实施例中的电子设备,可以包括智能手机(smartphone),或者具有无线通信模块的便携式计算机,例如,平板电脑(tabletcomputer)、笔记本电脑(laptop)等,还可以是穿戴式、手持式的计算机,如智能穿戴设备(smartwearer)、个人数字助理(personaldigitalassistant,pda)等设备,在此不作限定。当该方法应用在该电子设备时,其中,该虚拟对象控制方法可运行在电子设备的操作系统中,可包括但不限于windows操作系统、macos操作系统、android操作系统、ios操作系统、linux操作系统、ubuntu操作系统、windowsphone操作系统等等,本申请实施例不作限定。本申请实施例提供一种虚拟对象控制方法、存储介质及电子设备。以下将分别进行详细说明。该虚拟对象控制方法可以应用于电子设备,该电子设备可以是上述实施例提及的电子设备。请参阅图1,图中示出了本申请实施例提供的虚拟对象控制方法的实现流程。该虚拟对象控制方法,可以包括以下步骤:101、获取人体的二维图像及深度图像。其中,该二维图像是由多个像素(采样点)组成的图像,可以是彩色图像,也可以是黑白图像。该二维图像可以由图像传感器获得,该图像传感器可以是rgb图像传感器,还可以是红外传感器等,以通过图像传感器获得环境物体的二维信息的图像。该深度图像同样是由多个像素(采样点)组成的图像,可以包含该深度图像中各个像素(采样点)的位置信息及其对应的深度参数,该深度参数是获取深度图像的硬件与该深度图像中该像素点所对应的现实物体之间的距离值。深度图像可以通过深度图像传感器获取,该深度图像传感器包括tof图像传感器或者结构光传感器。例如,若采用rgb图像传感器以及深度图像传感器获取视野中的环境信息,则通过上述图像传感器可以获得一张彩色的二维图像以及一张该环境的深度图像,并且该深度图像中包含深度图像传感器与环境中各物体之间的距离。102、根据二维图像,获得人体的二维特征信息。其中,通过二维图像,可以对该二维图像进行特征识别,以确定人体的位置及其图像范围。具体的,可以通过预设的神经网络模型对该二维图像进行特征识别,以通过识别二维图像中是否包含人体的特征部位,来确定在二维图像中是否存在人体的图像。当确定存在人体的图像后,再根据这些特征部位的位置变化来确定人体的动作。在一些实施例中,为了构建人体的二维特征信息,以使该二维特征信息应用到虚拟对象的控制中,根据二维图像,获得人体的二维特征信息,可以包括:根据二维图像,利用预设的神经网络模型识别出人体的特征部位及其相应的位置;根据人体的特征部位及相应的特征位置,构建人体的二维特征信息。其中,该二维特征信息包含人体的特征部位及其相应的位置,使得当用户做出动作时,可以通过识别该用户的人体特征部位的位置变化,来确定用户的动作类型及其动作轨迹。在一些实施例中,该特征部位可以是人体的关键点部位,例如人体的主要关节点,或者是人体的手部、头部等节点。具体的,该特征部位可以是人体的头,颈,左肩,左肘,左腕,左腰,左膝,左脚踝,右肩,右肘,右腕,右腰,右膝,右脚踝等。可以理解的,实际应用当中可以不限于上述提及的特征部位,还可以是其他更为细节的部位,例如人体的眼睛、耳朵、鼻子、嘴巴等,在此不作赘述。在一些实施例中,可以通过mobilenet-openpose模型对图像进行识别,以识别出人体的二维特征信息。103、根据深度图像,获得人体的三维特征信息。其中,该三维特征信息可以包括图像中人体所属范围内各处的深度参数,以通过这些深度参数可以构建人体的三维图像。在一些实施例中,为了获得人体的三维特征信息,需要获得人体在深度图像中所属的范围,以及该范围内的深度参数。在这过程中,根据深度图像,获得人体的三维特征信息,可以包括:对深度图像进行分析,获得轮廓图像以及轮廓图像各处相应的深度参数;根据轮廓图像以及相应的深度参数,构建人体的三维特征信息。其中,通过对深度图像进行图像分割,可以获得深度图像中所有物体的轮廓。该图像分割可以采用直方图分割算法进行分割。然后,利用所获得的二维特征信息,可以识别出在该深度图像中人体所属的轮廓的位置,进而确定该人体所属的轮廓中各处对应的深度参数。当获得人体的轮廓图像及其各处相应的深度参数后,可以根据上述数据获得人体的三维特征信息。104、将人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息。该人体模型信息,可以是控制虚拟对象所需要输入的信息,具体的,该信息可以是所获得的人体的特征部位的位置变化参数,例如人体各部位的位移距离、摆动频率等。其中该位置变化参数可以与人体各部位的深度参数、二维图像中的位移参数相关,或者是由人体的特征部位的位置变化参数所模拟形成的人体三维形态信息。当然,该人体模型信息还可以是根据预设的构建方式形成人体模型所需的、与所获得的人体动作变化相关的其他信息,具体的人体模型形式可以根据实际情况而定。相对于只通过获取深度参数来形成人体模型信息,或者是只通过识别二维图像中的人像来形成人体模型信息,将人体的二维特征信息与三维特征信息进行结合来获得人体模型信息,可以从不同维度上获得人体相关的运动数据,使得所获得的人体运动参数更加精确,从而大幅提高利用人体动作来控制虚拟对象过程中的控制精度。105、根据人体模型信息对虚拟对象进行相应的控制。其中,该虚拟对象可以为虚构角色,该虚拟对象在建模时,也是按照人体模型信息的构造规则进行建模的,也就是说,该虚拟对象与人体模型信息相应的人体特征点信息可以进行相互呼应,该虚拟对象可以为游戏类应用中的角色,或者是即时通信过程中的虚拟人物。进一步的,可以对人体模型信息的身体部位进行追踪,如头部、身体、手部以及脚部的姿势角度进行追踪,来确定相应的运动姿势,如蹲、跳或者挥手等,根据确定的运动姿势控制虚拟对象做出相应的动作。由上可知,本申请实施例中,获取人体的二维图像及深度图像,对该二维图像及深度图像提取相应的人体的二维特征信息以及三维特征信息,并将该二维特征信息与三维特征信息进行结合,以生成用于对虚拟对象进行控制的人体模型信息;本申请实施例可以结合二维图像以及深度图像的优势,从而识别出人体不同部位的动作,大幅提高人体模型信息的参数精度,进而提高对虚拟对象的控制精度。请参阅图2,图中示出了本申请实施例提供的获取二维特征信息的实现步骤。所述根据二维图像,获得人体的二维特征信息,包括:201、获取特征部位之间的位置关系。其中,该位置关系是各个特征部位之间的相对位置。例如,头部位于肩部的上侧,脚部位于肩部的下侧。当然,上述的“上侧”“下侧”仅为可选的相对位置关系,并不造成对具体内容的限定。其中,该位置关系可以是预设的算法数据。该预设的算法数据可以存储于电子设备的指定存储位置,或者是存储于指定的服务器位置中,在此不作限定。202、根据位置关系对特征部位进行识别与关联,形成人体框架。其中,在特征部位的识别过程中,神经网络模型可以给出图像中各个特征的候选点,并根据各个候选点之间的位置关系,可以确定各个特征部位的位置。在一些实施例中,可以采用mobilenet-openpose对二维图像中的特征部位进行识别,并利用特征部位的位置形成人体框架。具体的,结合图3,图中示出了本申请实施例提供的虚拟对象控制方法的应用场景,包括二维图像21以及该二维图像21形成的人体框架图像22。将图3中的二维图像21通过mobilenet-openpose生成一组输入到第一阶段的特征图,第一阶段网络产生一组检测置信图和一组部分亲和字段(paf)。网络训练迭代地预测身体部位和paf的置信度图,生成肢体方向向量图和候选点的热图。最终通过执行非最大抑制来获得身体部位候选者,也即识别出人体的特征部位,该特征部位也即人体框架图像22中的黑点。当识别出人体的特征部位后,可以通过获取到的各个特征部位之间的相对位置,对人体的特征部位进行连线(两个黑点之间的连线),以形成人体框架,如图3中的人体框架图像22中的“火柴人”。203、基于人体框架构建人体的二维特征信息。若存在多帧二维图像,当形成人体框架后,可以根据不同帧中的人体框架的位置变化情况,构建不同帧的人体的二维特征信息。通过不同帧的人体的二维特征信息,可以获得人体运动过程中的二维运动参数。由上可知,通过获取特征部位之间的位置关系,并结合mobilenet-openpose对二维图像中的特征部位进行识别,利用特征部位的位置关系形成人体框架,以获得人体的二维特征信息,可以提高二维特征信息的参数精度,从而有利于提高利用该二维特征信息获得的人体模型信息的参数精度。在一些实施例中,结合图4,根据深度图像,获得人体的三维特征信息,包括:(1)对深度图像进行分析,获得轮廓图像以及轮廓图像各处相应的深度参数;(2)根据轮廓图像以及相应的深度参数,构建人体的三维特征信息。其中,图4包括深度图像31以及经分割后获得的轮廓图像32。该轮廓图像32可以对深度图像31进行图像分割获得,例如对深度图像31进行直方图分割,获得轮廓图像32。根据该轮廓图像32,可以通过分析该轮廓图像32识别出人体在该轮廓图像中的范围。在一些实施例中,可以将该轮廓图像32结合人体的二维特征信息来对该人体在该轮廓图像32中的范围进行确认。在另一些实施例中,还可以结合识别算法,在该轮廓图像32的基础上识别出人体的特征,以确定人体在该轮廓图像32中的范围。请参阅图5,图中示出了本申请实施例提供的结合二维特征信息与三维特征信息的实现流程。所述将人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息,可以包括:301、根据二维图像,利用预设的神经网络模型识别出人体的特征部位及其相应的位置。其中,该二维特征信息包含人体的特征部位及其相应的位置,使得当用户做出动作时,可以通过识别该用户的人体特征部位的位置变化,来确定用户的动作类型及其动作轨迹。302、确定特征部位的位置在深度图像中对应的投射位置。结合图6,图中包括特征部位的位置在深度图像中的投射图41、轮廓图像42以及结合后的结合图像43,在一些实施例中,二维图像的图像范围可以与深度图像的图像范围相对应。该特征部位的位置为二维图像中的位置,通过对应关系可以确定该特征部位在深度图像中的投射位置,形成投射图41。在一些实施例中,若二维图像的像素值与深度图像的像素值不同,可以通过预设的像素之间的投射关系,使得特征部位在二维图像中的位置可以投射到深度图像中,以确保特征部位在深度图像中的投射位置的准确。需要注意的,在特征部位的位置在深度图像的投射过程中,需要保持二维图像与深度图像均为同一时刻获得的图像,以保证投射的准确性。303、基于投射位置确定人体在深度图像中的范围。在一些实施例中,所述基于所述投射位置确定所述人体在所述深度图像中的范围,可以包括:将投射位置与轮廓图像进行结合,以确定轮廓图像中所包含的人体的轮廓位置;根据人体的轮廓位置确定人体在深度图像中的范围。当确定了特征部位在深度图像中的投射位置后,可以根据所获得的深度图像中的轮廓图像42,确定人体在深度图像中的范围。具体的,参考结合图像43,可以将特征部位在深度图像中的投射位置为中心点(图中黑点处),结合所获得的轮廓图像42,向中心点外侧延伸至轮廓的区域(轮廓内的区域)作为人体的范围。304、根据人体在深度图像中的范围,获得在范围中人体的深度参数,其中范围中人体的深度参数用于生成人体模型信息。当确定人体在深度图像中的范围后,可以将范围内的像素对应的深度参数作为人体的深度参数,用于生成人体模型信息。由上可知,该实施例中识别出人体的特征部位及其相应的位置后,将其投射到深度图像红获得对应的投射位置,基于该投射位置确定人体在深度图像中的范围,并获取该范围内的深度参数作为人体的深度参数,可以较为准确地确定人体在深度图像中的位置及其相应的深度信息,以提供更为准确地人体模型信息。请参阅图7,图中示出了本申请实施例提供的判断是否执行结合特征信息的实现步骤。为了避免误判,使得误执行无效的针对虚拟对象的控制,从而出现误操作,在所述将人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息之前,还包括:确定二维图像中是否包含人体的二维特征信息;若是,则执行将人体的二维特征信息与三维特征信息进行结合的步骤。若否,则结束流程,不执行将人体的二维特征信息与三维特征信息进行结合的步骤。具体的,若在二维图像的特征部位识别的过程中确定该二维图像不包含人体的二维特征信息,则结束进程,避免误判。只有当确定该二维图像包含人体的二维特征信息时,才继续执行将人体的二维特征信息与三维特征信息进行结合的步骤,可以有效减少误操作,且可以降低对虚拟对象控制过程中的功耗。在一些实施例中,可以将二维特征信息对应的二维图像,与三维特征信息对应的深度图像进行帧对齐,以确定二维图像与所述深度图像位于同一时刻,提高针对图像的分析过程的准确性。请参阅图8,图中示出了本申请实施例提供的虚拟对象控制方法的再一应用场景。该应用场景中,包括智能手机51、以及第三方显示设备54,智能手机51的显示屏中显示有虚拟对象52的目标图像信息,该虚拟对象52可以通过深度摄像头以及彩色摄像头获取人体53的信息,根据人体53的四肢和躯干的角度或者运动轨迹定义姿势,如蹲,跳,挥手等,来生成人体模型信息控制游戏中虚拟对象52的行为。该目标图像信息可以通过网络或者传输线从智能手机51传输给第三方显示设备54,该第三方显示设备54将接收到的目标图像信息实时显示,用户可以通过智能手机51端进行控制,第三方显示设备54进行观看的两屏一体的体感体验。由上可知,该方式无需额外设置运动传感器,只通过智能手机即可体验精确的虚拟对象控制体验,大大提高娱乐过程的方便性。请参阅图9,图中示出了本申请实施例提供的虚拟对象控制装置的结构。该虚拟对象控制装置500应用于电子设备中,包括图像获取模块501、第一信息获取模块502、第二信息获取模块503、信息生成模块504以及控制模块505,其中:图像获取模块501,用于获取环境的二维图像及深度图像;其中,该二维图像是由多个像素(采样点)组成的图像,可以是彩色图像,也可以是黑白图像。该二维图像可以由图像传感器获得,该图像传感器可以是rgb图像传感器,还可以是红外传感器等,以通过图像传感器获得环境物体的二维信息的图像。该深度图像同样是由多个像素(采样点)组成的图像,可以包含该深度图像中各个像素(采样点)的位置信息及其对应的深度参数,该深度参数是获取深度图像的硬件与该深度图像中该像素点所对应的现实物体之间的距离值。深度图像可以通过深度图像传感器获取,该深度图像传感器包括tof图像传感器或者结构光传感器。第一信息获取模块502,用于根据所述二维图像,获得所述人体的二维特征信息;其中,通过二维图像,可以对该二维图像进行特征识别,以确定人体的位置及其图像范围。具体的,可以通过预设的神经网络模型对该二维图像进行特征识别,以通过识别二维图像中是否包含人体的特征部位,来确定在二维图像中是否存在人体的图像。当确定存在人体的图像后,再根据这些特征部位的位置变化来确定人体的动作。在一些实施例中,为了构建人体的二维特征信息,以使该二维特征信息应用到虚拟对象的控制中,根据二维图像,获得人体的二维特征信息,可以包括:根据二维图像,利用预设的神经网络模型识别出人体的特征部位及其相应的位置;根据人体的特征部位及相应的特征位置,构建人体的二维特征信息。其中,该二维特征信息包含人体的特征部位及其相应的位置,使得当用户做出动作时,可以通过识别该用户的人体特征部位的位置变化,来确定用户的动作类型及其动作轨迹。在一些实施例中,该特征部位可以是人体的关键点部位,例如人体的主要关节点,或者是人体的手部、头部等节点。具体的,该特征部位可以是人体的头,颈,左肩,左肘,左腕,左腰,左膝,左脚踝,右肩,右肘,右腕,右腰,右膝,右脚踝等。可以理解的,实际应用当中可以不限于上述提及的特征部位,还可以是其他更为细节的部位,例如人体的眼睛、耳朵、鼻子、嘴巴等,在此不作赘述。在一些实施例中,可以通过mobilenet-openpose模型对图像进行识别,以识别出人体的二维特征信息。第二信息获取模块503,用于根据所述深度图像,获得所述人体的三维特征信息;其中,该三维特征信息可以包括图像中人体所属范围内各处的深度参数,以通过这些深度参数可以构建人体的三维图像。在一些实施例中,为了获得人体的三维特征信息,需要获得人体在深度图像中所属的范围,以及该范围内的深度参数。在这过程中,根据深度图像,获得人体的三维特征信息,可以包括:对深度图像进行分析,获得轮廓图像以及轮廓图像各处相应的深度参数;根据轮廓图像以及相应的深度参数,构建人体的三维特征信息。其中,通过对深度图像进行图像分割,可以获得深度图像中所有物体的轮廓。该图像分割可以采用直方图分割算法进行分割。然后,利用所获得的二维特征信息,可以识别出在该深度图像中人体所属的轮廓的位置,进而确定该人体所属的轮廓中各处对应的深度参数。当获得人体的轮廓图像及其各处相应的深度参数后,可以根据上述数据获得人体的三维特征信息。信息生成模块504,用于将所述人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息。该人体模型信息,可以是控制虚拟对象所需要输入的信息,具体的,该信息可以是所获得的人体的特征部位的位置变化参数,例如人体各部位的位移距离、摆动频率等。其中该位置变化参数可以与人体各部位的深度参数、二维图像中的位移参数相关,或者是由人体的特征部位的位置变化参数所模拟形成的人体三维形态信息。当然,该人体模型信息还可以是根据预设的构建方式形成人体模型所需的、与所获得的人体动作变化相关的其他信息,具体的人体模型形式可以根据实际情况而定。相对于只通过获取深度参数来形成人体模型信息,或者是只通过识别二维图像中的人像来形成人体模型信息,将人体的二维特征信息与三维特征信息进行结合来获得人体模型信息,可以从不同维度上获得人体相关的运动数据,使得所获得的人体运动参数更加精确,从而大幅提高利用人体动作来控制虚拟对象过程中的控制精度。控制模块505,用于根据所述人体模型信息对虚拟对象进行相应的控制。其中,该虚拟对象可以为虚构角色,该虚拟对象在建模时,也是按照人体模型信息的构造规则进行建模的,也就是说,该虚拟对象与人体模型信息相应的人体特征点信息可以进行相互呼应,该虚拟对象可以为游戏类应用中的角色,或者是即时通信过程中的虚拟人物。进一步的,可以对人体模型信息的身体部位进行追踪,如头部、身体、手部以及脚部的姿势角度进行追踪,来确定相应的运动姿势,如蹲、跳或者挥手等,根据确定的运动姿势控制虚拟对象做出相应的动作。由上可知,本申请实施例中,获取人体的二维图像及深度图像,对该二维图像及深度图像提取相应的人体的二维特征信息以及三维特征信息,并将该二维特征信息与三维特征信息进行结合,以生成用于对虚拟对象进行控制的人体模型信息;本申请实施例可以结合二维图像以及深度图像的优势,从而识别出人体不同部位的动作,大幅提高人体模型信息的参数精度,进而提高对虚拟对象的控制精度。本申请实施例还提供一种电子设备。请参阅图10,电子设备600包括处理器601以及存储器602。其中,处理器601与存储器602电性连接。该处理器600是电子设备600的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器602内的计算机程序,以及调用存储在存储器602内的数据,执行电子设备600的各种功能并处理数据,从而对电子设备600进行整体监控。该存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。该电子设备600还包括rgb图像传感器、深度图像传感器,其中:所述rgb图像传感器用于获取二维图像;所述深度图像传感器用于获取深度图像;在本申请实施例中,电子设备600中的处理器601会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器602中,并由处理器601运行存储在存储器602中的计算机程序,从而实现各种功能,如下:获取人体的二维图像及深度图像;根据所述二维图像,获得所述人体的二维特征信息;根据所述深度图像,获得所述人体的三维特征信息;将所述人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息;根据所述人体模型信息对虚拟对象进行相应的控制。在某些实施方式中,处理器601可以具体执行以下步骤:根据所述二维图像,利用预设的神经网络模型识别出所述人体的特征部位及其相应的位置;根据所述人体的特征部位及相应的特征位置,构建所述人体的二维特征信息。在某些实施方式中,处理器601可以具体执行以下步骤:获取所述特征部位之间的位置关系;根据所述位置关系对所述特征部位进行识别与关联,形成人体框架;基于所述人体框架构建所述人体的二维特征信息。在某些实施方式中,处理器601可以具体执行以下步骤:对所述深度图像进行分析,获得轮廓图像以及所述轮廓图像各处相应的深度参数;根据所述轮廓图像以及相应的所述深度参数,构建所述人体的三维特征信息。在某些实施方式中,在获取人体图像时,处理器601可以具体执行以下步骤:根据所述二维图像,利用预设的神经网络模型识别出所述人体的特征部位及其相应的位置;确定所述特征部位的位置在所述深度图像中对应的投射位置;基于所述投射位置确定所述人体在所述深度图像中的范围;根据所述人体在所述深度图像中的范围,获得在所述范围中人体的深度参数,其中所述范围中人体的深度参数用于生成人体模型信息。在某些实施方式中,处理器601还可以具体执行以下步骤:将所述投射位置与所述轮廓图像进行结合,以确定所述轮廓图像中所包含的所述人体的轮廓位置;根据所述人体的轮廓位置确定所述人体在所述深度图像中的范围。在某些实施方式中,处理器601还可以具体执行以下步骤:确定所述二维图像中是否包含所述人体的二维特征信息;若否,则不执行将所述人体的二维特征信息与三维特征信息进行结合的步骤。由上述可知,本申请实施例的电子设备,获取人体的二维图像及深度图像,对该二维图像及深度图像提取相应的人体的二维特征信息以及三维特征信息,并将该二维特征信息与三维特征信息进行结合,以生成用于对虚拟对象进行控制的人体模型信息;本申请实施例可以结合二维图像以及深度图像的优势,从而识别出人体不同部位的动作,大幅提高人体模型信息的参数精度,进而提高对虚拟对象的控制精度。请一并参阅图11,在某些实施方式中,电子设备600还可以包括:显示器603、射频电路604、音频电路605以及电源606。其中,其中,显示器603、射频电路604、音频电路605以及电源606分别与处理器601电性连接。该显示器603可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器603可以包括显示面板,在某些实施方式中,可以采用液晶显示器(liquidcrystaldisplay,lcd)、或者有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板。该射频电路604可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。该音频电路605可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。该电源606可以用于给电子设备600的各个部件供电。在一些实施例中,电源606可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管图11中未示出,电子设备600还可以包括摄像头、蓝牙模块等,在此不再赘述。本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中的虚拟对象控制方法,比如:获取环境的二维图像及深度图像;根据所述二维图像,获得所述人体的二维特征信息;根据所述深度图像,获得所述人体的三维特征信息;将所述人体的二维特征信息与三维特征信息进行结合,以生成人体模型信息;根据所述人体模型信息对虚拟对象进行相应的控制。在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(readonlymemory,rom,)、或者随机存取记忆体(randomaccessmemory,ram)等。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。需要说明的是,对本申请实施例的虚拟对象控制方法而言,本领域普通测试人员可以理解实现本申请实施例的虚拟对象控制方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如虚拟对象控制方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。对本申请实施例的虚拟对象控制装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,该存储介质譬如为只读存储器,磁盘或光盘等。本申请实施例提供的所述电子设备与上文实施例中的虚拟对象控制方法属于同一构思,在所述电子设备上可以运行所述虚拟对象控制方法实施例中提供的任一方法,其具体实现过程详见所述虚拟对象控制方法实施例,此处不再赘述。以上对本申请实施例所提供的一种虚拟对象控制方法、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。当前第1页1 2 3 当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1