一种虚拟仿真偶像实时直播方法及系统与流程

本发明涉及动画技术和网络直播技术，尤其涉及一种虚拟仿真偶像实时直播方法及系统。

背景技术：

对于偶像文化，其可以说是近年来兴起的文化现象之一，尤其在亚洲地区尤为盛行。其中作为偶像文化的发源地—日本，其兴盛的偶像文化，如从abk48到偶像大师等各种业界的偶像文化，都是其中的佼佼者。而为了满足广大粉丝的追星需求，通常会提供偶像的周边，如偶像的人型人偶，供粉丝购买。然而，偶像的人型人偶仅为静态物品，因此无法通过偶像的人型人偶来满足粉丝对与偶像互动的体验需求。此外，虽然粉丝可通过参加偶像的见面会或观看偶像真人的直播来满足与偶像互动的体验需求，但是，这对时间和地点的受限性较大。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种虚拟仿真偶像实时直播方法，满足粉丝群众对与偶像互动的体验需求。

本发明的另一目的是提供一种虚拟仿真偶像实时直播系统，满足粉丝群众对与偶像互动的体验需求。

本发明所采用的技术方案是：一种虚拟仿真偶像实时直播方法，该方法包括的步骤有：

采用3d扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；

将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。

进一步，所述采用3d扫描偶像模型来创建虚拟仿真偶像角色这一步骤，其具体包括：

采用3d扫描仪对偶像真人进行3d扫描，从而得到3d扫描偶像模型；

根据3d扫描偶像模型，从而制作出虚拟仿真偶像的初始角色模型，然后为虚拟仿真偶像的初始角色模型配置贴图和材质后得到所需的虚拟仿真偶像的角色模型；

为虚拟仿真偶像的角色模型配置相对应的角色动画骨骼后，将虚拟仿真偶像的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟仿真偶像角色的创建。

进一步，所述将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型这一步骤，其具体包括：

将虚拟仿真偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并且为虚拟仿真偶像的角色模型配置相对应的材质和程序插件，从而得到虚拟仿真偶像角色模型。

进一步，所述采用3d扫描偶像模型来创建虚拟仿真偶像角色这一步骤，其还包括：

为虚拟仿真偶像的角色模型配置基于物理动力学而制作出的服装。

进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述实时采集动作者的动作数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作这一步骤，其具体包括：

利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

将肢体动作数据与虚拟仿真偶像角色模型进行肢体动作关联，将面部表情动作数据与虚拟仿真偶像角色模型进行面部动作关联，令虚拟仿真偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

本发明所采用的另一技术方案是：一种虚拟仿真偶像实时直播系统，该系统包括：

模型创建模块，用于采用3d扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。

进一步，所述模型创建模块具体包括有：

扫描模块，用于采用3d扫描仪对偶像真人进行3d扫描，从而得到3d扫描偶像模型；

模型制作子模块，用于根据3d扫描偶像模型，从而制作出虚拟仿真偶像的初始角色模型，然后为虚拟仿真偶像的初始角色模型配置贴图和材质后得到所需的虚拟仿真偶像的角色模型；

角色创建子模块，用于为虚拟仿真偶像的角色模型配置相对应的角色动画骨骼后，将虚拟仿真偶像的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟仿真偶像角色的创建；

模型生成子模块，用于将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型。

进一步，所述模型生成子模块具体用于将虚拟仿真偶像的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并且为虚拟仿真偶像的角色模型配置相对应的材质和程序插件，从而得到虚拟仿真偶像角色模型。

进一步，所述模型创建模块具体还包括有用于为虚拟仿真偶像的角色模型配置基于物理动力学而制作出的服装的配置子模块。

进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述数据关联模块具体包括：

第一数据采集模块，用于实时采集声音数据；

第二数据采集模块，用于利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

第三数据采集模块，用于利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

关联控制子模块，用于将肢体动作数据与虚拟仿真偶像角色模型进行肢体动作关联，将面部表情动作数据与虚拟仿真偶像角色模型进行面部动作关联，令虚拟仿真偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

本发明的有益效果是：本发明的方法通过采用基于3d扫描技术得到的3d扫描偶像模型来生成获得虚拟仿真偶像角色模型，然后实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作，接着将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。由此可见，本发明的方法以虚拟仿真偶像来实现直播，这样不仅能大大满足广大粉丝对与偶像进行互动的体验需求，解决传统直播中很少有明星偶像的问题，而且还能解决传统网络直播平台仅以真人形式来实现直播互动的问题，令网络直播平台的互动方式多样化，提高观众的交互体验感。此外，通过实时采集动作者的动作数据来控制驱动虚拟仿真偶像角色模型执行相对应的动作，能够解决传统虚拟偶像手调动画动作僵硬不流畅、面部表情僵硬、真实度低等问题。

本发明的另一有益效果是：本发明的系统通过模型创建模块采用基于3d扫描技术得到的3d扫描偶像模型来生成获得虚拟仿真偶像角色模型，然后数据关联模块来将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作，接着直播模块将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。由此可见，本发明的系统以虚拟仿真偶像来实现直播，这样不仅能大大满足广大粉丝对与偶像进行互动的体验需求，解决传统直播中很少有明星偶像的问题，而且还能解决传统网络直播平台仅以真人形式来实现直播互动的问题，令网络直播平台的互动方式多样化，提高观众的交互体验感。此外，通过实时采集动作者的动作数据来控制驱动虚拟仿真偶像角色模型执行相对应的动作，能够解决传统虚拟偶像手调动画动作僵硬不流畅、面部表情僵硬、真实度低等问题。

附图说明

图1是本发明一种虚拟仿真偶像实时直播方法的步骤流程示意图；

图2是本发明一种虚拟仿真偶像实时直播系统的结构框图；

图3是本发明一种虚拟仿真偶像实时直播方法一具体实施例步骤流程示意图；

图4是虚拟仿真偶像角色的创建步骤流程示意图；

图5是角色动画骨骼制作流程示意图；

图6是基于物理动力学进行制作的流程示意图；

图7是以虚拟仿真偶像进行实时直播过程的示意图。

具体实施方式

如图1所示，一种虚拟仿真偶像实时直播方法，该方法包括的步骤有：

采用3d扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；

将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。

如图2所示，一种虚拟仿真偶像实时直播系统，该系统包括：

模型创建模块，用于采用3d扫描偶像模型来创建虚拟仿真偶像角色，将创建的虚拟仿真偶像角色导入图形引擎中得到虚拟仿真偶像角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟仿真偶像角色模型进行关联，令虚拟仿真偶像角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟仿真偶像角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后将实时生成的虚拟仿真偶像视频画面进行直播。对于所述模型生成模块、数据关联模块以及直播模块，其可为应用程序模块，也为可硬件设备，如处理器等。

结合以下实施例来对本发明进行详细阐述。

如图3所示，一种虚拟仿真偶像实时直播方法具体步骤如下所示。

s1：制作步骤，其包括的步骤如下所示。

s101、制作虚拟仿真偶像角色：采用3d扫描偶像模型来创建虚拟仿真偶像角色；

如图4所示，所述步骤s101包括有：

s1011、制作3d扫描偶像模型：采用3d扫描仪对偶像真人进行3d扫描，从而得到3d扫描偶像模型；

s1012、根据3d扫描偶像模型，从而制作出虚拟仿真偶像的初始角色模型；

s1013、在maya或3dmax等3d软件中制作虚拟仿真偶像的角色模型，为虚拟仿真偶像的初始角色模型配置贴图和材质后得到所需的虚拟仿真偶像的角色模型；

优选地，为了令创建的虚拟仿真偶像的角色模型更为精细，尽可能达到真人的神韵，设置步骤s1014，所述步骤s1014为：对初始角色模型或3d扫描偶像模型进行细节修改，以满足角色模型制作要求和/或角色模型的真实度要求；

s102、制作虚拟仿真偶像骨骼系统：为虚拟仿真偶像的角色模型配置相对应的角色动画骨骼后，将虚拟仿真偶像的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟仿真偶像角色的创建；

如图5所示，所述步骤s102包括有：

s1021、制作出与虚拟仿真偶像的角色模型相对应的角色动画骨骼；

s1022、将虚拟仿真偶像的角色模型与角色动画骨骼进行绑定以及权重配置，并进行细化和整理，最终完成虚拟仿真偶像角色的制作。

作为上述制作步骤的优选实施方式，为了提高虚拟仿真偶像的真实感，所述步骤s1中还可包括有步骤s103，其为，为虚拟仿真偶像的角色模型配置基于物理动力学而制作出的物体，如服装；

如图6所示，所述步骤s103包括有：

s1031、分析动力学模型物体，如虚拟仿真偶像的身体、头发和服装，令这些物体利用物理动力学技术，按照物理规律移动；

s1032、在本实施例中，虚拟仿真偶像的角色模型加入基于物理动力学而制作出的服装，即加入动力学物体模型；

s1033、将其导入图形引擎来确认效果；

为了符合虚拟仿真偶像的设定要求，所述步骤s103中还包括有步骤s1034，对基于物理动力学而制作出的服装模型进行调整修改。

作为本实施例的优选实施方式，所述图形引擎(游戏图形引擎)可以采用先进的次世代游戏引擎来实现。与其它的游戏图形引擎不同，本实施例中所述采用游戏图形引擎无需第三方软件的支持便能处理物理效果、声音及动画。

s2：生成步骤。

s201、将虚拟仿真偶像的角色模型、角色动画骨骼、基于物理动力学而制作出的服装导入图形引擎中进行整合处理，并且为虚拟仿真偶像的角色模型配置相对应的材质和程序插件，从而得到虚拟仿真偶像角色模型。

s3：以创建的虚拟仿真偶像来实现网络直播步骤。

如图7所示，所述步骤s3包括：

s301、邀请一名演员，即动作者，令其穿戴上动作捕捉装置和面部表情捕捉器，并调整捕捉设备，同时也对虚拟仿真偶像直播系统中的硬件环境进行调试；

s302、捕捉演员的肢体动作数据和面部表情动作数据，将肢体动作数据与虚拟仿真偶像角色模型进行肢体动作关联，将面部表情动作数据与虚拟仿真偶像角色模型进行面部动作关联，令虚拟仿真偶像角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作，实现根据捕捉到的动作数据来实时驱动控制虚拟仿真偶像角色模型执行相应动作；

其中，对于将面部表情动作数据与虚拟仿真偶像角色模型进行面部动作关联，令虚拟仿真偶像角色模型按照面部表情动作数据执行相应的面部表情动作，其具体采用真实表情系统来实现，这样在进行真实面部表情动作捕捉时，无需任何标记点或油漆标志来进行面部标定，可通过跟踪和分析面部的嘴唇、眉毛、眼睛和眼珠等肌肉运动来生成表情动画，令虚拟仿真偶像角色模型与真实动作者进行实时表情联动；

s303、导入用户所选择的场景文件、灯光文件和/或音乐文件；

s304、开始直播时，将实现关联控制的虚拟仿真偶像角色模型、采集到的动作者的声音数据、场景、灯光、音乐叠加至摄录的视频画面中后合成得到虚拟仿真偶像视频画面，然后通过图形引擎，将实时生成的虚拟仿真偶像视频画面进行直播，达到虚拟仿真偶像的实时动捕直播目的，直播过程中，演员按照定好的剧本和对白来进行虚拟仿真偶像实时演播，并且可与观众进行互动的效果。优选地，所述步骤s3还包括步骤s305，当设备调试和与图像引擎进行联调时出现问题，继续执行步骤s301和步骤s302，进行设备的调整以及与引擎进行联调。

作为本实施例的优选实施方式，所述场景通过虚拟场景技术实现，在3d图形软件中制作出3d场景，将该场景文件导入图形引擎中可实时渲染出高品质的场景画面。

由上述可得，本发明的方法及系统所具有的优点有：

1、满足对与偶像进行互动的体验需求；

2、解决传统直播中很少有明星偶像的问题，以及解决传统网络直播平台仅以真人形式来实现直播互动的问题，令网络直播平台的互动方式多样化，提高观众的交互体验感；

3、解决传统仿真偶像动作、表情僵硬不流畅问题：

4、解决传统3d仿真偶像内容单调、制作成本高周期长、缺乏互动、动画画面效果粗糙无虚拟仿真偶像、缺乏人格魅力、场景单调等问题；

5、本发明的虚拟仿真偶像的实现方法可具体适用于vr场景以及ar直播场景中，适用性和兼容性强。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。