三维虚拟偶像直播中角色形象变形的方法、系统及装置与流程

本发明涉及一种三维虚拟偶像直播中角色形象变形的方法、系统及装置，属于计算机人工智能直播领域。

背景技术

提起虚拟偶像，估计大家第一时间想到的就是初音未来。的确，诞生于十年前的初音未来是目前全世界范围内最成功的虚拟偶像之一。而在近几年，随着中国“二次元经济”热潮的到来，越来越多的中国公司开始瞄准“虚拟偶像”这块新的蛋糕，纷纷推出了自己的虚拟偶像，而一些更前沿的团队开发了更为具有前景的实时虚拟偶像直播，如目前火爆全球的日本“爱酱”等等。

但是在这些虚拟偶像的直播节目内容上，往往有很大的技术局限性，这些局限都束缚了节目的多样性和创意，比如说我们经常提到的变形动画。我们所开发的基于三维虚拟偶像直播的角色实时形象变形的方法，装置和系统，能让虚拟偶像在表演中实时改变自己的形象，而具有一些变形效果，而不是单纯的替换模型，为此提供了观赏效果。

技术实现要素：

本公开的几个示例方面的概述如下。提供本概述是为了读者的方便，以提供对这些实施例的基本理解而不是完全地限定本发明的范围。本概述不是所有预期实施例的广泛综述，并且既不旨在标识所有方面的关键或重要元素，也不描述任何或所有方面的范围。其唯一目的在于以简化的形式呈现一个或多个实施例的一些概念，作为稍后呈现的更详细描述的前奏。为了方便，在本文中术语“一些实施例”可用于指本公开的单一实施例或者多个实施例。

本发明提供一种三维虚拟偶像直播中角色形象变形的方法、系统及装置，用于解决现有技术问题的不足。

本发明的技术方包括三维虚拟偶像直播中角色形象变形的方法，其特征在于，该方法包括以下步骤：a.创建三维虚拟偶像的3d角色模型，并为3d角色模型创建对应的贴图文件；b.对步骤a得到的3d角色模型进行变形，得到变体后的3d模型文件，进一步，基于3d角色模型和变体后的3d角色模型顶点生成对应的变形动画和骨骼动画；c.将所述基于3d角色模型和变体后的3d角色模型导入至3d游戏引擎，其中导入3d引擎的基于3d角色模型和变体后的3d角色模型可以被引擎蓝图调用；d.实时捕捉真实的演员动作信息，然后关联和控制3d角色模型，以及执行变形动画，将所述3d角色模型的合成动画叠加至录制的视频画面。

根据所述的三维虚拟偶像直播中角色形象变形的方法，其中步骤a包括：根据原画资料，为虚拟的三维虚拟偶像配置人设特性数据，人设特性数据包含职业信息、性格信息或人物背景特性，并且为所述三维虚拟偶像创建对应的3d角色模型；将3d角色模型进行法线光滑处理并创建映射uv坐标，根据uv坐标绘制三维虚拟偶像对应的模型贴图文件，进一步生成三维虚拟偶像的材质球文件；将模型贴图与3d角色模件进行关联，并将所述然材质球文件赋予模型贴图文件；为赋予模型贴图文件的3d角色模型绑定骨骼和刷制权重模型。

根据所述的三维虚拟偶像直播中角色形象变形的方法，其中步骤b包括：根据所述步骤a进一步创建三维虚拟偶像变形后的变体3d模型文件，进一步，创建多个基于相同骨骼的不同外形的模型文件；然后创建基于变体3d模型的模型和贴图材质文件，绑定到与所述步骤a三维虚拟偶像同一模型文件并刷制权重；创建基于所述步骤a创建三维虚拟偶像的3d角色模型及变体3d模型的顶点变形动画，进而创建对应两个模型的骨骼变形动画。

根据所述的三维虚拟偶像直播中角色形象变形的方法，其中步骤c包括：将基于三维偶像的3d角色模型和变体模型，以及，对应的的材质贴图和动画文件导入到3d游戏引擎中归档；使用3d游戏引擎创建变动动画的关卡蓝图和对应插件，最后联调相关功能，并通过接口连接到控制程序。

根据所述的三维虚拟偶像直播中角色形象变形的方法，其中步骤d包括：配置至少一组灯光，用于在增强现实的物体附近展现光影效果，以及在真实场景与虚拟影像交界附近补偿光影过渡；实时地计算摄影机影像的位置及角度，并配置到所述虚拟的3d角色模型中，以进行交互及应对拍摄；捕捉演员的肢体动作、面部表情和声音，转换为与3d角色模型的人设特性关联的动作数据，然后关联至图形引擎中的相应的3d角色模型，并且配置所述演员的动作信息和声音与所述3d角色模型动画的动作信息和声音实时同步；将动作信息传输到加载至3d游戏引擎的相关图形工作站中，驱动最终3d引擎中的三维实时动画；控制相关变形动画控制程序，最终完成三维虚拟偶像的实时变形，以及通过视频采集装置实时将画面传输到直播平台。

根据所述的三维虚拟偶像直播中角色形象变形的方法，其中动作数据包括肢体动作数据、面部动作数据和角色混音数据。

根据所述的三维虚拟偶像直播中角色形象变形的方法，其中动作信息包括肢体动作及面部表情。

本发明的技术方案还包括三维虚拟偶像直播中角色形象变形的装置，其特征在于：第一模块，用于创建三维虚拟偶像的3d角色模型，并为3d角色模型创建对应的贴图文件；第二模块，用于3d角色模型进行变形，得到变体后的3d模型文件，进一步，基于3d角色模型和变体后的3d角色模型顶点生成对应的变形动画和骨骼动画；第三模块，将基于3d角色模型和变体后的3d角色模型导入至3d游戏引擎，其中导入3d引擎的基于3d角色模型和变体后的3d角色模型可以被引擎蓝图调用；第四模块，实时捕捉真实的演员动作信息，然后关联和控制3d角色模型，以及执行变形动画，将3d角色模型的合成动画叠加至录制的视频画面。

本发明的技术方案还包括三维虚拟偶像直播中角色形象变形的系统，其特征在于，该系统包括：图形工作站，用于制作三维虚拟偶像的3d模型和贴图的建模，以及，对三维动画进行动态捕捉；摄像捕捉装置，用于实时捕捉真实的演员动作信息，然后关联和控制3d角色模型；图形引擎，用于生成和处理3d角色模型，运算3d角色模型的物理动力学动作，对3d角色模型进行变形处理；导播控制台工作站，用于提供交互界面下发控制模型实时变形的指令；数据传输装置，转换动画视频输出至视频传播软件，以及，进行实时数据传输的无线信息传输模块。

本发明的有益效果为：

1)解决了在以往三维虚拟偶像直播中，虚拟偶像全程只能一个形象，不能替换成其他形象，略显单调的问题；

2)解决了在以往三维虚拟偶像直播中，虚拟偶像改变形象只能强行替换模型，极为不自然的情况，本发明技术方案的角色形象变形系统能达到平顺自然的变形效果。

附图说明

图1所示为根据本发明的方法的总体流程图；

图2所示为根据本发明实施方式的3d模型和贴图文件的流程图；

图3所示为根据本发明实施方式的顶点变形动画和骨骼动画的流程图；

图4所示为根据本发明实施方式的引擎蓝图调用流程图；

图5所示为根据本发明实施方式的画面实时渲染的流程图

图6所示为根据本发明实施方式的直播中角色形象实时变形示意图；

图7为所述根据本发明实施方式的装置及系统的示意图；

图8为根据本发明实施方式的实时使用的情景图。

具体实施方式

本发明的技术方案包括一种三维虚拟偶像直播中角色形象变形的方法、系统及装置，适用于以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

图1所示为根据本发明的方法的总体流程图。其包括以下步骤：a.创建三维虚拟偶像的3d角色模型，并为3d角色模型创建对应的贴图文件；b.对步骤a得到的3d角色模型进行变形，得到变体后的3d模型文件，进一步，基于3d角色模型和变体后的3d角色模型顶点生成对应的变形动画和骨骼动画；c.将所述基于3d角色模型和变体后的3d角色模型导入至3d游戏引擎，其中导入3d引擎的基于3d角色模型和变体后的3d角色模型可以被引擎蓝图调用；d.实时捕捉真实的演员动作信息，然后关联和控制3d角色模型，以及执行变形动画，将所述3d角色模型的合成动画叠加至录制的视频画面。

本发明的技术方案还提供了包括用于实现上述方法的装置，其包括：本发明的技术方案还包括三维虚拟偶像直播中角色形象变形的装置，其特征在于：第一模块，用于创建三维虚拟偶像的3d角色模型，并为3d角色模型创建对应的贴图文件；第二模块，用于3d角色模型进行变形，得到变体后的3d模型文件，进一步，基于3d角色模型和变体后的3d角色模型顶点生成对应的变形动画和骨骼动画；第三模块，将基于3d角色模型和变体后的3d角色模型导入至3d游戏引擎，其中导入3d引擎的基于3d角色模型和变体后的3d角色模型可以被引擎蓝图调用；第四模块，实时捕捉真实的演员动作信息，然后关联和控制3d角色模型，以及执行变形动画，将3d角色模型的合成动画叠加至录制的视频画面。

本发明的技术方案还包括用于实现上述方法的系统，具体包括：图形工作站，用于制作三维虚拟偶像的3d模型和贴图的建模，以及，对三维动画进行动态捕捉；摄像捕捉装置，用于实时捕捉真实的演员动作信息，然后关联和控制3d角色模型；图形引擎，用于生成和处理3d角色模型，运算3d角色模型的物理动力学动作，对3d角色模型进行变形处理；导播控制台工作站，用于提供交互界面下发控制模型实时变形的指令；数据传输装置，转换动画视频输出至视频传播软件，以及，进行实时数据传输的无线信息传输模块。

图2所示为根据本发明实施方式的3d模型和贴图文件的流程图。以下步骤：根据三维虚拟偶像直播的相关企划案和原画设计稿，制作基于三维虚拟偶像的3d模型文件，并将3d模型进行法线光滑处理，制作映射uv坐标，根据uv坐标绘制基于三维虚拟偶像的模型贴图文件，然后制作三维虚拟偶像的材质球文件，然后完成制作。将贴图关联进此模型文件，然后将材质赋予模型。并为此模型绑定骨骼和刷制权重模型。

图3所示为根据本发明实施方式的顶点变形动画和骨骼动画的流程图。制作基于三维虚拟偶像变形后的变体3d模型文件，制作基于相同骨骼的不同外形的模型文件，然后制作基于此模型的模型和贴图材质文件，绑定到与三维虚拟偶像一样的模型文件并刷制权重，并制作基于此两个模型的顶点变形动画，并制作基于这两个模型的相关骨骼变形动画。

图4所示为根据本发明实施方式的引擎蓝图调用流程图，包括：将基于三维偶像的3d角色模型和变体模型，和相关的材质贴图和动画文件导入到3d游戏引擎中归档，可以在引擎中调用这两个文件，然后在引擎中制作变动动画的关卡蓝图和相关插件，最后联调相关功能，并连接到控制程序

图5所示为根据本发明实施方式的画面实时渲染的流程图，包括：基于三维虚拟偶像的动作捕捉演员进入动作捕捉房间，在相关3d动捕软件中将三维虚拟偶像的三维骨骼关联到动捕演员的身体上的红外动捕标记点，做到动作完全匹配，然后动捕演员开始表演，其动作信息传输到装载3d游戏引擎的相关图形工作站中，驱动最终3d引擎中的三维实时动画。此时控制人员在导播控制台上控制相关变形动画控制程序，最终完成三维虚拟偶像的实时变形。并通过视频采集卡实时将画面传输到直播平台。

图6所示为根据本发明实施方式的直播中角色形象实时变形示意图，包括：第一模块，用于制作三维虚拟偶像的3d模型和贴图的建模图形工作站；第二模块，用于进行动作捕捉的红外动作捕捉摄像房间；第三模块，用于装载实时动捕软件的三维动捕图形工作站；第四模块，用于渲染最终画面的效果的图形工作站；第五模块，控制模型实时变形的导播控制台工作站；第六模块，进行实时数据传输的无线信息传输模块。

图7为所述根据本发明实施方式的装置及系统的示意图，其中装置和系统包括：存储器，用于存储一计算机应用程序，处理器，用于运行所述计算机应用程序以执行以下步骤：制作3d模型和动画的相关软件程序；控制相关动捕数据的动捕软件程序；控制相关变形信息与导播控制的控制台程序；用于最终画面实时渲染的实时游戏引擎程序。

参考图8所述，此为本发明的具体使用的情况案例。用于表示3d角色模型的实时变化示意图。

根据本发明所述的方法、装置及系统可用于实现以下功能：1)通过本发明实现了在三维虚拟偶像直播中，虚拟偶像主角实时可以改变的自己的形象，而根据不同的形象可以延伸出不同的节目表演风格，提升了节目的娱乐性和可观赏性；2)通过本发明解决了以往的三维虚拟偶像直播中主角替换形象只能替换其3d模型，原本的模型突然消失替换为其他模型，表现突兀不自然；3)解决了以往的三维偶像直播中，无法表现主角的变形过程，由人变为人狼的具体变形过程，成为了现实；本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。