处理虚拟形象的方法及装置与流程

文档序号:12829664阅读:594来源:国知局
处理虚拟形象的方法及装置与流程

本申请实施例涉及计算机技术领域,尤其涉及一种处理虚拟形象的方法及装置。



背景技术:

视频直播是指利用互联网及流媒体技术进行直播,视频因融合了图像、文字、声音等丰富元素,声形并茂,效果极佳,逐渐成为互联网的主流表达方式。

为提高用户体验,在视频直播中,通常添加一些虚拟形象。现有技术中,通过获得视频中主播的骨骼数据,将骨骼数据发送至服务器,观众客户端从服务器获得主播的骨骼数据后,根据骨骼数据驱动观众客户端本地的虚拟形象运动,但这种方式经常出现主播与虚拟形象动作不同步的现象,致使用户体验很差。

因此,如何使得主播与虚拟形象动作同步,提升用户体验,成为现有技术中亟需解决的技术问题。



技术实现要素:

鉴于上述问题,本申请提供一种处理虚拟形象的方法及装置,克服上述问题或者至少部分地解决上述问题。

本申请实施例提供一种处理虚拟形象的方法,应用于第一客户端,包括:

根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

可选地,在本申请实施例中,在所述根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频之前还包括:

使用面部识别技术解析第一发起者视频,以获得所述第一发起者的面部肌肉数据。

可选地,在本申请实施例中,所述方法还包括:

根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频,所述骨骼动作数据用于驱动所述第一虚拟形象运动。

可选地,在本申请实施例中,所述根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频包括:

获得所述第一发起者的骨骼动作数据对应的动作指令,所述动作指令用于执行至少一个动作;

驱动所述第一虚拟形象执行所述动作指令,以确定包括第一虚拟形象视频的第一视频。

可选地,在本申请实施例中,在所述根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频之后还包括:

获得第一发起者音频,并将所述第一发起者音频添加到所述第一视频中,以使观众客户端接收到包括所述第一发起者音频的第一视频。

可选地,在本申请实施例中,所述第一视频还包括第一发起者视频。

可选地,在本申请实施例中,所述将所述第一视频上传至服务端,以使观众客户端获得所述第一视频包括:使用实时消息传输协议将所述第一视频上传至服务端,以使观众客户端实时获得所述第一视频。

本申请实施例提供一种处理虚拟形象的方法,应用于第二客户端,包括:

根据与第一发起者连麦的第二发起者的面部肌肉数据,生成包括第二虚拟形象视频的第二视频,所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动;

将所述第二视频上传至服务端,以将所述第一视频和第二视频合并。

本申请实施例提供一种一种处理虚拟形象的方法,包括:

接收第一客户端的第一视频和第二客户端的第二视频;

通过视频融合技术合并所述第一视频和所述第二视频,生成互动视频,以使观众客户端获得所述互动视频。

本申请实施例提供一种处理虚拟形象的装置,应用于第一客户端,包括:

第一生成模块,用于根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

第一上传模块,用于将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

可选地,在本申请实施例中,所述装置还包括:

解析模块,用于使用面部识别技术解析第一发起者视频,以获得所述第一发起者的面部肌肉数据。

本申请实施例提供一种处理虚拟形象的装置,应用于第二客户端,包括:

第二生成模块,用于根据与第一发起者连麦的第二发起者的面部肌肉数据,生成包括第二拟形象视频的第二视频,所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动;

第二上传模块,用于将所述第二视频上传至服务端,以将所述第一视频和第二视频合并。

本申请实施例提供一种处理虚拟形象的装置,包括:

接收模块,用于接收第一客户端的第一视频和观众客户端的第二视频;

合并模块,用于通过视频融合技术合并所述第一视频和第二视频,生成互动视频,以使观众客户端获得所述互动视频。

由以上技术方案可见,本申请实施例可据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;并将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。本申请实施例可使第一虚拟形象的表情动作与第一发起者的表情动作一致,使得第一虚拟形象更为逼真,用户体验更好。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。

图1是本申请一种处理虚拟形象方法的一实施例的流程图;

图2是本申请一种处理虚拟形象方法的另一实施例的流程图;

图3是本申请一种处理虚拟形象方法的另一实施例的流程图;

图4是本申请一种处理虚拟形象方法的另一实施例的流程图;

图5是本申请一种处理虚拟形象方法的另一实施例的流程图;

图6是本申请一种处理虚拟形象方法的另一实施例的结构图;

图7是本申请一种处理虚拟形象方法的另一实施例的结构图;

图8是本申请一种处理虚拟形象装置的一实施例的结构图;

图9是本申请一种处理虚拟形象装置的另一实施例的结构图;

图10是本申请一种处理虚拟形象装置的另一实施例的结构图;

图11是本申请一执行处理虚拟形象方法的一电子设备的硬件结构示意图。

具体实施方式

本申请实施例可据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;并将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。本申请实施例可使第一虚拟形象的表情动作与第一发起者的表情动作一致,使得第一虚拟形象更为逼真,用户体验更好。

当然,实施本申请实施例的任一技术方案不必一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

参见图1,在本申请一具体实现中,所述处理虚拟形象的方法应用于第一客户端,其包括:

s101、据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

具体地,在本实施例中,所述第一客户端可以是包括硬件、软件或内嵌逻辑组件或者两个或多个此类组件的组合的电子装置,并能够执行由移动通信功能。例如,移动通信设备可以是计算机、智能手机、平板电脑、笔记本电脑、上网本、智能穿戴设备等。

具体地,在本实施例中,所述第一发起者可包括至少一个第一主播,每个所述第一主播可对应至少一个第一虚拟形象。

具体地,在本实施例中,所述面部肌肉数据可以是能解析出第一发起者面部表情动作的数据,例如,所述面部表情动作包括但不限于:微笑、悲伤、愤怒、眨眼睛、打哈欠等。

具体地,在本实施例中,所述第一虚拟形象可以是具有面部器官的虚拟形象,例如,卡通形象、人物图像等。

具体地,在本实施例中,所述第一虚拟形象的源文件可以是pmd格式、max格式的源文件。

具体地,在本实施例中,所述第一视频可只包括第一虚拟形象视频。

具体地,在本实施例中,所述第一视频还包括第一发起者视频。例如,可使用视频融合技术将所述第一发起者视频和所述第一虚拟形象视频合并,获得第一视频,以使观众客户端获得的第一发起者视频和第一虚拟形象视频中的动作保持同步;另外,将所述第一发起者视频和所述第一虚拟形象视频合并,获得第一视频,还可降低网络传输的数据量,例如,3m大小的第一发起者视频与1m大小的第一虚拟形象视频合并后获得3m大小的第一视频。

s102、将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

具体地,本实施例中,所述服务端应被理解成一组可处理特定业务逻辑的服务程序,服务端可接收客户端端发出的网络请求(networkrequest),并根据所述网络请求作出逻辑处理,并将逻辑处理后获得结果数据返回给客户端。

具体地,本实施例中,可使用实时消息传输协议(rtmp,realtimemessagingprotocol)将所述第一视频上传至服务端。当然,本实施例还可使用其他可实现数据实时传输的协议,以使观众客户端实时获得所述第一视频。例如:可实现数据实时传输的协议可以是实时流传输协议(rtsp,realtimestreamingprotocol)、http实时流媒体协议(hls,httplivestreaming)。

本实施例可据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;并将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。本申请实施例可使第一虚拟形象的表情动作与第一发起者的表情动作一致,使得第一虚拟形象更为逼真,用户体验更好。

参见图2,在本申请另一具体实现中,所述方法包括:

s201、使用面部识别技术解析第一发起者视频,以获得所述第一发起者的面部肌肉数据。

具体地,本实施例中,可使用图像采集设备连续地采集第一发起者的图像,将所述连续的第一发起者图像转换为所述第一发起者视频。例如,使用摄像头连续地采集第一发起者的图像,以获得第一发起者视频。

具体地,本实施例中,所述面部识别技术(frt,facerecognitiontechnology),也称为人脸识别技术,可对第一发起者的图像进行预处理、表情特征提取和表情分类等处理,以获得面部肌肉数据。

具体地,本实施例中,可使用深度学习(deeplearning)对所述面部识别技术进行优化。深度学习可通过组合面部的低层特征形成更加抽象的高层表示属性类别或特征,即深度学习可对表情特征提取的算法进行优化,以获得更清晰准确的表情。所述面部识别技术和深度学习属于现有技术,在此不再赘述。

s202、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

s203、将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

步骤s202、s203分别类似于图1对应实施例中的步骤s101、s102,在此不再赘述。

本实施例使用面部识别技术解析第一发起者视频,可提高面部识别的准确性。

参见图3,在本申请另一具体实现中,所述方法包括:

s301、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

s302、根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频,所述骨骼动作数据用于驱动所述第一虚拟形象运动。

具体地,在本实施例中,所述骨骼动作数据可根据预设的骨骼特征节点确定。骨骼特征节点确定包括但不限于:头部节点、颈部节点、胸部节点,左手部节点、左手臂节点、右手部节点、右手臂节点、左大腿部节点、左小腿部节点、左脚部节点、右大腿部节点、右小腿部节点以及右脚部节点。可根据骨骼特征节点的变化确定所述骨骼动作数据。

具体地,在本实施例中,所述骨骼动作数据可以是表现第一主播肢体动作的数据,肢体动作包括但不限于:点头、摇头、挥手、转身。

具体地,在本实施例中,可使用肢体识别技术获得所述骨骼动作数据。例如,可使用微软提供的开源kinect框架实现所述肢体识别。

具体地,在本实施例中,可使用深度学习对所述肢体识别技术进行优化。所述肢体识别技术和深度学习属于现有技术,在此不再赘述。

具体地,在本实施例中,可使用动作引擎数据来驱动虚拟3d形象的肢体和脸部动作,所述动作引擎数据可以是vmd、mmd格式的文件。vmd、mmd格式的文件中包含控制所述第一虚拟形象运动的数据。例如,当所述骨骼动作数据包含“点头”一特征数据时,可控制第一虚拟形象加载vmd格式文件中“点头”的动作数据,以使第一虚拟形象运动,生成第一虚拟形象视频。

具体地,在本实施例中,所述动作引擎数据可由用户根据具体需求进行定制。

具体地,在本实施例中,可将所述第一视频输出符合openglsurface格式或者rgb32格式的图像,在将图片信息和声音分别编码成h264和acc文件。h264是一种高度压缩数字视频编解码器标准,可在不改变清晰度的条件下将所述第一视频进行压缩处理;acc(advancedaudiocoding,高级音频编码技术)可将所述第一虚拟形象的音频压缩。本实施例可减少网络传输时的数据量,提高数据通信速度。

s303、将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

步骤s301、s303分别类似于图1对应实施例中的步骤s101、s102,在此不再赘述。

本实施例使用面部肌肉数据和骨骼动作数据,生成第一虚拟形象视频,并且本实施例通过vmd等动作引擎数据驱动,使得所述第一虚拟形象可完成更丰富的动作,提高了用户体验。

参见图4,在本申请另一具体实现中,所述方法包括:

s401、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

s402、获得所述第一发起者的骨骼动作数据对应的动作指令,所述动作指令用于执行至少一个动作;

具体地,在本实施例中,所述动作指令可以是第一虚拟形象运动的依据。

具体地,在本实施例中,所述动作指令可对应多个具体的动作。

例如,当所述骨骼动作数据包含“挥右手”一特征数据时,可将“挥右手”作为第一虚拟形象的动作指令;该动作指令可对应至少一个具体的动作“挥右手”,在此基础上,所述具体的动作还可包括“点头”。

s403、驱动所述第一虚拟形象执行所述动作指令,以确定包括第一虚拟形象视频的第一视频;

具体地,在本实施例中,驱动所述第一虚拟形象逐一执行所述动作指令对应的动作,以使第一虚拟形象运动起来,从而确定包括第一虚拟形象视频的第一视频。

s404、将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

步骤s401、s404分别类似于图1对应实施例中的步骤s101、s102,在此不再赘述。

参见图5,在本申请另一具体实现中,所述方法包括:

s501、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

s502、获得第一发起者音频,并将所述第一发起者音频添加到所述第一视频中;

具体地,在本实施例中,所述音频可以是存储到电子设备中的声音。

具体地,在本实施例中,可使用音频采集设备采集第一发起者的声音。例如,使用麦克风采集第一发起者的声音,以获得第一发起者音频。

具体地,在本实施例中,所述音频可以是3d录音、人头录音等,可使观众具有更好的沉浸感。

s503、将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

步骤s501、s503分别类似于图1对应实施例中的步骤s101、s102,在此不再赘述。

参见图6,在本申请一具体实现中,所述处理虚拟形象的方法应用于第二客户端,其包括:

s601、根据与第一发起者连麦的第二发起者的面部肌肉数据,生成包括第二虚拟形象视频的第二视频,所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动;

s602、将所述第二视频上传至服务端,以将所述第一视频和第二视频合并。

具体地,在本实施例中,所述第二发起者可以是副主播。

具体地,在本实施例中,当第二发起者与第一主播连麦时,第二发起者的第二虚拟形象可与第一发起者的第一虚拟形象互动。

具体地,在本实施例中,将所述第一视频和第二视频合并可实现第一主播与第二主播的互动。

本实施例中步骤s601、s602分别对应于图1对应实施例中的s101、s102,在此不再赘述。

参见图7,在本申请一具体实现中,所述方法包括:

s701、接收第一客户端的第一视频和第二客户端的第二视频;

具体地,本实施例中,可使用rtmp协议将所述第一视频上传至服务端。当然,本实施例还可使用其他可实现数据实时传输的协议,以使观众客户端实时获得所述第一视频。例如:可实现数据实时传输的协议可以是rtsp协议,hls协议。

具体地,本实施例中,第一视频可包括第一虚拟形象视频,第二视频可包括第二虚拟形象视频。

s702、通过视频融合技术合并所述第一视频和所述第二视频,生成互动视频,以使观众客户端获得所述互动视频。

具体地,本实施例中,所述视频融合可以是第一视频与第二视频的合并。

具体地,本实施例可应用于服务端。

本实施例接收第一客户端的第一视频和第二客户端的第二视频,通过视频融合技术合并所述第一视频和所述第二视频,生成互动视频,从而生成第一虚拟形象与第二虚拟形象互动的效果,提高了观众客户端的用户体验。

参见图8,在本申请一具体实现中,所述装置包括:

解析模块801,用于使用面部识别技术解析第一发起者视频,以获得所述第一发起者的面部肌肉数据。

第一生成模块802,用于根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频,所述面部肌肉数据用于驱动所述第一虚拟形象运动;

第一上传模块803,用于将所述第一视频上传至服务端,以使观众客户端获得所述第一视频。

具体地,本实施例中,解析模块801可用于执行图2对应实施例中步骤s201,第一生成模块802可用于执行图2对应实施例中步骤s202,第一上传模块803可用于执行图2对应实施例中步骤s203,在此不再赘述。

参见图9,在本申请一具体实现中,所述装置包括:

第二生成模块901,用于根据与第一发起者连麦的第二发起者的面部肌肉数据,生成包括第二拟形象视频的第二视频,所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动;

第二上传模块902,用于将所述第二视频上传至服务端,以将所述第一视频和第二视频合并。

具体地,本实施例中,第二生成模块901可用于执行图6对应实施例中步骤s601,第二上传模块902可用于执行图6对应实施例中步骤s602,在此不再赘述。

参见图10,在本申请一具体实现中,所述装置包括:

接收模块1001,用于接收第一客户端的第一视频和观众客户端的第二视频;

合并模块1002,用于通过视频融合技术合并所述第一视频和第二视频,生成互动视频,以将观众客户端获得所述互动视频。

具体地,本实施例中,接收模块1001可用于执行图7对应实施例中步骤s701,合并模块1002可用于执行图7对应实施例中步骤s702,在此不再赘述。

图11是本申请执行处理虚拟形象的方法的一些电子设备的硬件结构示意图。根据图11所示,该设备包括:

一个或多个处理器1101以及存储器1102,图11中以一个处理器1101为例。

执行处理虚拟形象的方法的设备还可以包括:输入装置1103和输出装置1103。

处理器1101、存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接,图11中以通过总线连接为例。

存储器1102作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的处理虚拟形象的方法对应的程序指令/模块。处理器1101通过运行存储在存储器1102中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中处理虚拟形象的方法。

存储器1102可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据处理虚拟形象装置的使用所创建的数据等。此外,存储器1102可以包括高速随机存取存储器1102,还可以包括非易失性存储器1102,例如至少一个磁盘存储器1102件、闪存器件、或其他非易失性固态存储器1102件。在一些实施例中,存储器1102可选包括相对于处理器1101远程设置的存储器1102,这些远程存储器1102可以通过网络连接至处理虚拟形象的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置1103可接收输入的数字或字符信息,以及产生与处理虚拟形象的装置的用户设置以及功能控制有关的键信号输入。输入装置1103可包括按压模组等设备。

所述一个或者多个模块存储在所述存储器1102中,当被所述一个或者多个处理器1101执行时,执行上述任意方法实施例中的处理虚拟形象的方法。

上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在,包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机,以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等,例如ipad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备,服务器的构成包括处理器1101、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如,机器可读介质包括只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等,该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本申请实施例的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1