三维动画环境中实时直播综艺节目的方法和系统与流程

本发明涉及三维动画环境中实时直播综艺节目的方法和系统，属于计算机人工智能直播领域。

背景技术

综艺节目是一种娱乐性的电视节目形式，能给大家带了很多欢乐，娱乐节目的火爆，要从2007年湖南卫视的《跑男》和《爸爸去哪儿啊》，正是这个综艺节目引爆了持续至今的综艺热。

现在逐渐产生互联网综艺节目，脱胎于传统电视综艺节目依托于互联网的方式进行传播，是一种新兴的综艺形式。于此同时，在最近几年网络直播开始火爆大江南北，网络直播是可以同一时间透过网络系统在不同的交流平台观看影片，是一种新兴的网络社交方式，网络直播平台也成为了一种崭新的社交媒体。主要分为实时直播游戏、电影或电视剧等。

2017年，中国网络直播用户规模达到4.22亿，年增长率达到22.6。我们的所发明的三维动画实时直播综艺节目，就是使用三维动画这种载体，实时将综艺节目和三维动画，网络直播这三者进行一个有机的结合，将一种全新的娱乐体验展示给大家。

技术实现要素：

本公开的几个示例方面的概述如下。提供本概述是为了读者的方便，以提供对这些实施例的基本理解而不是完全地限定本发明的范围。本概述不是所有预期实施例的广泛综述，并且既不旨在标识所有方面的关键或重要元素，也不描述任何或所有方面的范围。其唯一目的在于以简化的形式呈现一个或多个实施例的一些概念，作为稍后呈现的更详细描述的前奏。为了方便，在本文中术语“一些实施例”可用于指本公开的单一实施例或者多个实施例。

本发明提供一种三维动画环境中实时直播综艺节目的方法及系统，用于解决现有技术问题的不足。

本发明的技术方包括三维动画环境中实时直播综艺节目的方法，其特征在于，该方法包括以下步骤：a.根据所需直播的综艺节目创建对应的多个3d角色模型及多个3d场景模型，并建立对应的动作模型和贴图文件；b.将所述3d场景模型及3d角色模型进行融合处理，得到融合动画文件，并导入至3d游戏引擎；c.使用动作捕捉室对动捕演员进行动作捕捉，并将动作数据和声音文件实时传入游戏引擎；d.将3d游戏引擎中的3d角色模型及3d场景模型合成动画叠加至录制的视频画面，并发送至直播平台进行直播。

根据所述的三维动画环境中实时直播综艺节目的方法，其中步骤a包括：将三维动画的人物角色和场景的设定文件直接转换为三维模型文件、贴图文件、面部表情融合文件和动作文件，并实现人物角色和场景互相匹配。

根据所述的三维动画环境中实时直播综艺节目的方法，其中步骤b包括：在三维软件中制作三维动画虚拟直播综艺节目所需的相关物料，所述物料包括但不限于三维角色、三维动作、三维场景、相关的3d模型、2d贴图、灯光、音乐及音效。

根据所述的三维动画环境中实时直播综艺节目的方法，其中步骤b包括：将在三维软件中制作好的三维动画实时直播所需的角色模型，动作，场景等导入到3d游戏引擎，将其变为可以在3d游戏引擎中进行调用的资源文件。

根据所述的三维动画环境中实时直播综艺节目的方法，其中步骤c包括：在三维动作捕捉房间中，每个动捕演员匹配其所相对应的三维角色，然后需求实时在三维动捕房间中进行表演，其动作数据实时传输进3d游戏引擎所在的工作站，实时驱动3d游戏引擎中的画面。

根据所述的三维动画环境中实时直播综艺节目的方法，其中步骤d包括：三维游戏引擎中的实时直播综艺画面进行实时视频采集，并将其画面推送到直播平台上实时进行直播。

本发明的技术方案还包括三维动画环境中实时直播综艺节目的系统，其特征在于，包括：第一模块，用于根据所需直播的综艺节目创建对应的多个3d角色模型及多个3d场景模型，并建立对应的动作模型和贴图文件；第二模块，用于将所述3d场景模型及3d角色模型进行融合处理，得到融合动画文件，并导入至3d游戏引擎；第三模块，用于使用动作捕捉室对动捕演员进行动作捕捉，并将动作数据和声音文件实时传入游戏引擎；第四模块，用于将3d游戏引擎中的3d角色模型及3d场景模型合成动画叠加至录制的视频画面，并发送至直播平台进行直播。

根据所述的三维动画环境中实时直播综艺节目的系统，其中第三模块还包括：三维角色动作捕捉模块，用于使用设置于动作捕捉室的多个动作捕捉装置对佩戴有对应感应装置的动作演员所执行的动作信息进行采集；阵列高灵敏麦克风模块，用于对3d角色模型配置对应的语音信息；搭载游戏引擎的三维图形工作站，用于用于生成和处理3d角色模型及3d场景模型，运算3d角色模型的物理动力学动作；实时画面采集压缩工作站，用于将所述搭载游戏引擎的三维图形工作站运算的3d角色模型及3d场景动画进行压缩以符合直播时的数据要求节目导播与控制台，用于为3d角色模型及3d场景动画进行融合处理时添加表现效果，并得到最终的三维动画环境中直播的综艺节目；网络传输模块，用于接收三维动画环境中直播的综艺节目并通过直播平台进行直播。

根据所述的三维动画环境中实时直播综艺节目的系统，其中的节目导播与控制台还包括：第一单元，用于对节目音响音效进行自定义控制；第二单元，用于对节目灯光特效进行自定义控制；第三单元，用于对节目镜头进行自定义切换及控制。

本发明的有益效果为：1)弥补了以往的网络直播没有大型综艺的空白；2)弥补了以往的网络直播没有三维动画实时直播综艺的空白；3)弥补了以往的综艺节目都是由真人扮演，题材受限的空白。

附图说明

图1所示为根据本发明的方法的总体流程图；

图2所示为根据本发明实施方式的图形工作站电脑系统示意图；

图3所示为根据本发明实施方式的企划的流程图；

图4所示为根据本发明实施方式的融合动画文件的流程图；

图5所示为根据本发明实施方式的角色和动画导入3d游戏引擎的流程图；

图6所示为根据本发明实施方式的行动作捕捉流程图；

图7所示为根据本发明实施方式的平台进行直播的流程图；

图8为根据本发明实施方式的示意图。

具体实施方式

本发明的技术方案包括一种三维动画环境中实时直播综艺节目的系统及方法，适用于以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

图1所示为根据本发明的方法的总体流程图。其包括具体以下步骤：a.根据所需直播的综艺节目创建对应的多个3d角色模型及多个3d场景模型，并建立对应的动作模型和贴图文件；b.将所述3d场景模型及3d角色模型进行融合处理，得到融合动画文件，并导入至3d游戏引擎；c.使用动作捕捉室对动捕演员进行动作捕捉，并将动作数据和声音文件实时传入游戏引擎；d.将3d游戏引擎中的3d角色模型及3d场景模型合成动画叠加至录制的视频画面，并发送至直播平台进行直播。

图2所示为根据本发明实施方式的图形工作站电脑系统示意图。其具体包括三维角色动作捕捉模块，用于使用设置于动作捕捉室的多个动作捕捉装置对佩戴有对应感应装置的动作演员所执行的动作信息进行采集；阵列高灵敏麦克风模块，用于对3d角色模型配置对应的语音信息；搭载游戏引擎的三维图形工作站，用于用于生成和处理3d角色模型及3d场景模型，运算3d角色模型的物理动力学动作；实时画面采集压缩工作站，用于将所述搭载游戏引擎的三维图形工作站运算的3d角色模型及3d场景动画进行压缩以符合直播时的数据要求节目导播与控制台，用于为3d角色模型及3d场景动画进行融合处理时添加表现效果，并得到最终的三维动画环境中直播的综艺节目；网络传输模块，用于接收三维动画环境中直播的综艺节目并通过直播平台进行直播。

图3所示为根据本发明实施方式的企划的流程图。包括：制作基于三维动画环境中的实时直播综艺节目的企划案，对节目中所出现的角色进行设计，绘制原画，编排动作。并对直播中的节目内容进行编排，节目中所说的台词剧本进行编写，所需舞台进行设计。

图4所示为根据本发明实施方式的融合动画文件的流程图。包括：在三维软件中制作三维动画虚拟直播综艺节目所需的相关物料，包括三维动画中所需要的三维角色，三维动作，三维场景，相关的3d模型，2d贴图，灯光，音乐，音效，等等。

图5所示为根据本发明实施方式的角色和动画导入3d游戏引擎的流程图。包括：将在三维软件中制作好的三维动画实时直播所需的角色模型，动作，场景等导入到3d游戏引擎，将其变为可以在3d游戏引擎中进行调用的资源文件。

图6所示为根据本发明实施方式的行动作捕捉流程图。包括：三维动画直播综艺节目中的三维角色所对应的真人动作捕捉演员就位，进入到三维动作捕捉房间中，每个真人演员匹配其所相对应的三维角色，然后根据剧本实时在三维动捕房间中进行表演，其动作数据实时传输进3d游戏引擎所在的工作站，实时驱动3d游戏引擎中的画面。

图7所示为根据本发明实施方式的平台进行直播的流程图。包括：三维游戏引擎中的实时直播综艺画面进行实时视频采集，并将其画面推送到直播平台上实时进行直播。

图8为根据本发明实施方式的示意图。用于表示本发明技术方的实施示意图。

根据本发明所述的方法、装置及系统可用于实现以下功能：1)实时将真人演员的动作进行捕捉，并关联到三维动画角色中，并将画面传输进3d游戏引擎，进行画面录制；2)实时进行多人的三维虚拟动画角色的综艺节目；3)实时将3d游戏引擎中的综艺节目进行采集并推送到直播平台；4)以上一切都为实时，并无提前录制和渲染好的成片，弥补了国内的空白。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

根据本发明所述的方法、装置及系统可用于实现以下功能：1)通过本发明实现了在三维虚拟偶像直播中，虚拟偶像主角实时可以改变的自己的形象，而根据不同的形象可以延伸出不同的节目表演风格，提升了节目的娱乐性和可观赏性。2)通过本发明解决了以往的三维虚拟偶像直播中主角替换形象只能替换其3d模型，原本的模型突然消失替换为其他模型，表现突兀不自然。3)解决了以往的三维偶像直播中，无法表现主角的变形过程，由人变为人狼的具体变形过程，成为了现实。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。