虚拟偶像直播中实时绘制三维场景的方法及系统与流程

本发明涉及场景绘制领域，尤其涉及一种虚拟偶像直播中实时绘制三维场景的方法及系统。

背景技术

“虚拟偶像”一词，几乎是与初音未来一同发迹的词汇。初音未来掀起的这股热潮，改变了现代社会对“偶像”这一词汇的原始观念，也让我们现如今的偶像经济不再被“真人”所束缚。而在近几年，随着中国“二次元经济”热潮的到来，越来越多的中国公司开始瞄准“虚拟偶像”这块新的蛋糕，纷纷推出了自己的虚拟偶像。

但是现有的虚拟偶像直播中，场景是背景画面，缺少动态变化，不能根据虚拟偶像的运动而实时改变，使得直播内容比较单调，观赏性不佳。

技术实现要素：

本发明提供一种三维偶像直播中实时绘制三维场景的方法及系统，由动捕演员扮演的虚拟偶像，通过场景绘制控制器控制三维场景的实时绘制，在直播中绘制出各种三维场景，如房子、车子、树木等相关物体，丰富了虚拟偶像直播中的节目内容，增加了观赏性。

本发明的技术方案第一方面为一种三维偶像直播中实时绘制三维场景的方法，所述方法包括以下步骤：

制作三维虚拟偶像模型和三维场景模型；

捕捉运动目标的位置及动作获得动捕数据并将其生成三维骨骼动作数据；

根据所述三维骨骼动作数据对三维虚拟偶像模型进行处理，制作三维虚拟偶像动画；

追踪运动目标头部运动和视点方向；

根据头部运动和视点方向对三维场景模型进行处理，实时绘制出对应的三维场景；

将三维场景与三维虚拟偶像动画结合并进行渲染，获得最终的实时直播画面。

进一步，所述三维骨骼动作数据包括运动目标的三维空间坐标、人体关节的6自由度运动参数。

进一步，根据所述三维骨骼动作数据对三维虚拟偶像模型进行处理，包括：

将三维骨骼动作数据与三维虚拟偶像模型的骨骼进行匹配从而驱动三维虚拟偶像模型做出相应动作。

进一步，该方法还包括：采集最终的直播画面，将其实时推送至直播平台进行直播。

本发明的技术方案第二方面为一种实现三维偶像直播中实时绘制三维场景方法的系统，该系统包括：

3d建模模块，用于制作三维虚拟偶像模型和三维场景模型；

动捕设备，用于捕捉运动目标的位置及动作获得动捕数据并将其生成三维骨骼动作数据；

动画制作模块，用于根据所述三维骨骼动作数据对三维虚拟偶像模型进行处理，制作三维虚拟偶像动画；

场景绘制控制器，用于追踪运动目标头部运动和视点方向；

实时绘制模块，用于根据头部运动和视点方向对三维场景模型进行处理，实时绘制出对应的三维场景；

渲染模块，用于将三维场景与三维虚拟偶像动画结合并进行渲染，获得最终的实时直播画面。

进一步，所述动捕设备包括：

动作捕捉服，穿戴在运动目标身上用于捕捉运动目标人体关节的6自由度运动参数；

红外光学定位装置，安装在动捕房间用于获取运动目标的三维空间坐标。

进一步，所述动画制作模块包括：

骨骼匹配单元，用于将三维骨骼动作数据与三维虚拟偶像模型的骨骼进行匹配从而驱动三维虚拟偶像模型做出相应动作。

进一步，该系统还包括：

视频采集卡，用于采集最终的直播画面并将其实时推送至直播平台进行直播。

本发明的技术方案第三方面为一种应用于三维偶像直播中实时绘制三维场景的场景绘制控制器，包括壳体和设置于壳体内部的电路板，所述电路板上设置有用于监控运动目标眼睛运动从而检测其目光朝向的红外传感器模组、用于监控头部运动的陀螺仪与加速度模组、用于控制场景绘制控制器工作的控制按钮模组和用于对所述电路板供电的电源组。

进一步，所述壳体是使用3d打印机打印的3d外壳。

进一步，所述电源组采用能够提供稳定并实时的电流的ups安全电源。

进一步，所述场景绘制控制器还包括用于运动目标实时查看三维场景的显示屏。

本发明的有益效果为：在三维虚拟偶像直播中能够根据动捕演员的位置、动作和视线实时绘制相应的三维场景，使三维虚拟偶像直播更具观赏性。

附图说明

图1所示为根据本发明的方法的总体流程图。

图2所示为根据本发明较佳实施例的系统模块框图。

图3所示为根据本发明较佳实施例的场景绘制器结构示意图。

具体实时方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。

本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参考图1，本发明较佳实施例的一种三维偶像直播中实时绘制三维场景的方法，包括以下步骤：

制作三维虚拟偶像模型和三维场景模型；

捕捉运动目标的位置及动作获得动捕数据并将其生成三维骨骼动作数据；

根据所述三维骨骼动作数据对三维虚拟偶像模型进行处理，制作三维虚拟偶像动画；

追踪运动目标头部运动和视点方向；

根据头部运动和视点方向对三维场景模型进行处理，实时绘制出对应的三维场景；

将三维场景与三维虚拟偶像动画结合并进行渲染，获得最终的实时直播画面。

参考图2，本发明较佳实施例的系统包括动捕设备、场景绘制控制器和图形工作站，

其中，动捕设备包括：

动作捕捉服，穿戴在运动目标身上用于捕捉运动目标人体关节的6自由度运动参数；

红外光学定位装置，安装在动捕房间用于获取运动目标的三维空间坐标；

图形工作站包括：

3d建模模块，用于制作三维虚拟偶像模型和三维场景模型；

动画制作模块，用于根据所述三维骨骼动作数据对三维虚拟偶像模型进行处理，制作三维虚拟偶像动画；

实时绘制模块，用于根据头部运动和视点方向对三维场景模型进行处理，实时绘制出对应的三维场景；

渲染模块，用于将三维场景与三维虚拟偶像动画结合并进行渲染，获得最终的实时直播画面。

为了能够保证传输大量数据的实时性，本实施例采用高带宽千兆级网卡进行数据交互。

参考图3，场景绘制控制器包括：壳体和设置于壳体内部的电路板，所述电路板上设置有用于监控运动目标眼睛运动从而检测其目光朝向的红外传感器模组、用于监控头部运动的陀螺仪与加速度模组、用于控制场景绘制控制器工作的控制按钮模组和用于对所述电路板供电的电源组；其中，为了能够提供稳定实时的电流，电源组采用ups安全电源。

下面举例对本发明的实时绘制场景整个流程进行说明，

首先，动捕演员进入布置了红外光学定位装置的动捕房间中，穿戴好动作捕捉服，将场景绘制控制器戴在头上，并连接至图形工作站，然后动捕演员开始按照剧本进行表演，动作捕捉服和红外光学定位装置将采集的动捕数据实时传输至图形工作站中，图形工作站的动画制作模块利用这些动捕数据生成三维骨骼动作数据并将其与三维虚拟偶像模型进行动作匹配生成动画，同时场景绘制控制器采集动捕演员的头部运动和眼睛运动从而判断动捕演员视线方向和景深以便实时绘制模块绘制出相应的三维场景，获得三维虚拟偶像模型动画和实时三维场景后，渲染模块将其结合起来进行渲染，获得最终的直播画面，视频采集卡实时采集这些直播画面并推送至直播平台进行播放。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实时。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的虚拟偶像直播中实时绘制三维场景的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实时方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实时方式可以有各种不同的修改和变化。