一种实时全身动作捕捉的方法、装置和系统与流程

本发明涉及动画合成技术领域，尤其涉及一种实时全身动作捕捉的方法、装置和系统。

背景技术：

近年来，显卡的性能得到了极大的发展，使用计算机显卡进行实时渲染成为了可能，根据实时渲染的实时交互动画，有着所见即所得的好处，而且观众将不再使单方面的观看渲染好的动画，而是可以实时和动画进行交互。实时动画在教育、游戏、影视、商业领域有着新的前景和需求。

技术实现要素：

本发明通过提供一种实时全身动作捕捉的方法、装置和系统，以弥补了上述需求方面的空白。

本发明采用的技术方案一方面为一种实时全身动作捕捉的方法，包括以下步骤：a、创建虚拟的3d角色，并导入至图形引擎，生成角色模型；b、通过视频和/或穿戴设备来实时捕捉真实的演员动作信息，然后关联和控制所述角色模型；c、将所述角色模型合成至动画场景，根据该动画场景的环境参数为角色模型配置物理动力学参数，然后通过客户端后台的控制面板进行动画场景控制；其中，所述动作信息包括肢体动作和/或面部表情。

进一步，其中所述步骤a包括：根据原画资料，为所述虚拟的3d角色配置人设特性数据，人设特性数据包含职业信息、性格信息或人物背景特性，并且为所述角色模型配置贴图、材质和3d动画骨骼。

进一步，其中所述步骤a还包括：将所述角色模型及其匹配的3d动画骨骼导入至所述图形引擎中运算骨骼动画。

进一步，其中所述步骤b包括：捕捉所述演员的肢体动作和/或面部表情，转换为与所述3d角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的角色模型，并且配置所述演员的肢体动作和/或面部表情与所述角色模型动画的肢体动作和/或面部表情能够实时同步。

进一步，其中所述步骤b还包括：提取所述演员的骨骼模型，然后导入至所述图形引擎中，以匹配所述角色模型的3d动画骨骼；根据该骨骼模型来实时捕捉和转换演员的肢体动作数据，将实时捕捉的肢体动作数据生成动作控制指令，通过所述图形引擎生成相应的角色模型的动作姿态；在角色模型的动作姿态之间运算生成肢体动画。

进一步，其中所述步骤b还包括：提取所述演员的面部骨骼，然后导入至所述图形引擎中，以匹配所述角色模型的面部骨骼蒙皮；根据该面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的角色模型的面部表情形状；在角色模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。

进一步，其中所述步骤c包括：加入音乐，允许通过客户端后台的控制面板进行控制。

本发明技术方案的第二方面为一种实时全身动作捕捉的装置，包括：第一模块，用于创建虚拟的3d角色，并导入至图形引擎，生成角色模型；第二模块，用于通过视频和/或穿戴设备来实时捕捉真实的演员动作信息，然后关联和控制所述角色模型；第三模块，将所述角色模型合成至动画场景，根据该动画场景的环境参数为角色模型配置物理动力学参数，然后通过客户端后台的控制面板进行动画场景控制；其中，所述动作信息包括肢体动作和/或面部表情。

进一步，所述第一模块还包括捕捉模块，用于：捕捉所述演员的肢体动作和/或面部表情，转换为与所述3d角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的角色模型，并且配置所述演员的肢体动作和/或面部表情与所述角色模型动画的肢体动作和/或面部表情能够实时同步。

本发明技术方案的第三方面为一种实时全身动作捕捉的系统，包括：捕捉装置，用于实时捕捉真实演员的肢体动作和/或面部表情；图形引擎，用于生成和处理3d角色模型，运算3d角色模型的物理动力学动作，转换动画视频输出至视频传播软件；以及应用程序。该应用程序用于执行以下步骤：创建虚拟的3d角色，并导入至图形引擎，生成角色模型；实时捕捉真实的演员动作信息，然后关联和控制所述角色模型；将所述角色模型合成至动画场景，根据该动画场景的环境参数为角色模型配置物理动力学参数，然后通过客户端后台的控制面板进行动画场景控制。

本发明的有益效果为：1)解决了以前3d动画只是纯cg动画，无法实时交互的问题；2)解决了以前3d动画手调动作很假，很做作的问题；3)解决了以前3d动画画面很粗糙的问题；4)解决了以前3d动画多为预渲染，制作成本高，周期长的问题；5)解决了以前3d动画中，无法实现真实的物理动力学的问题；6)解决了以前3d动画技术中，场景简单单调的问题；7)解决了以前3d动画技术中，无法对灯光和镜头进行实时控制的问题；8)解决了以前的3d动画，面部表情僵硬的问题。

附图说明

图1为根据本发明的实施例的实时全身动作捕捉的方法的流程图；

图2为根据本发明的实施例中的角色模型制作过程的示意图；

图3为根据本发明的实施例中的角色骨骼制作过程的示意图；

图4为根据本发明的实施例中的角色动力学模型配置过程的示意图；

图5为根据本发明的实施例中的制作实时交互动画过程的示意图；

图6为根据本发明的实施例中的实时全身动作捕捉的系统的框图；

图7为根据本发明的具体实施例中的角色模型制作过程的示意图；

图8为根据本发明的具体实施例中的角色动力学模型配置过程的示意图；

图9为根据本发明的一个具体实施例中的实时捕捉真实的演员全身动作信息的示意图；

图10为根据本发明的另一个具体实施例中的实时捕捉真实的演员全身动作信息然后关联和控制所述角色模型的示意图；

图11为根据本发明的具体实施例中的动画画面以及特效生成的示意图。

具体实施方式

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

在下文中，还将参照附图更详细地解释本发明。在所有附图中，相同的附图标记表示相同的特征。

参照图1所示的实时全身动作捕捉的方法的流程图。该方法包括以下主要步骤：a、创建虚拟的3d角色，并导入至图形引擎，生成角色模型；b、通过视频和/或穿戴设备来实时捕捉真实的演员动作信息，然后关联和控制所述角色模型；c、将所述角色模型合成至动画场景，根据该动画场景的环境参数为角色模型配置物理动力学参数，然后通过客户端后台的控制面板进行动画场景控制；其中，所述动作信息包括肢体动作和/或面部表情。

如图2所示，在主步骤a中包含角色模型制作过程：

s201，根据原画资料制作3d角色，为所述虚拟的3d角色配置人设特性数据。人设特性数据包含职业信息、性格信息或人物背景特性。

s202，进行角色的初步3d建模。根据实际情况，可以在步骤s204中继续进一步修改，以符合3d角色人设要求，或者满足新修改的要求。

s203，为所述角色模型配置贴图、材质。

3d角色的身体和头发，衣服，使用了物理动力学方面的技术，格按照物理规律移动，体现重力、引力、反作用力、加速度等物理特性。

如图3所示，在主步骤a中包含角色骨骼制作过程：

s301、制作角色的3d动画骨骼；

s302、为所述动画骨骼模型绑定和制作权重。

这里的骨骼动画采用的动作捕捉技术为了能形象的描述真实人体的运动。所有的骨骼模型存储在动作模块数据库中。

如图4所示，在主步骤a中还包含角色动力学模型配置过程：

s401、分析动力学模型物体，比如3d角色模型的身体、头发和衣服。这些物体可以使用物理动力学方面的技术，按照物理规律移动。

s402、为所述模型配置动力学参数和动力学应用。

s403、将角色模型及其匹配的3d动画骨骼导入至图形引擎中，引导所设的动力学模型物体进行预演动作。根据实际所需，还可以在步骤s404中调整动力学配置和修改动力学模型物体。优选地，所述图形引擎可以采用先进的次世代游戏3d引擎，与其它的3d图形引擎不同，这里采用的3d引擎不需要第三方软件的支持就能处理物理效果、声音及动画。

进一步，其中所述步骤b包括：捕捉所述演员的肢体动作和/或面部表情，转换为与所述3d角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的角色模型，并且配置所述演员的肢体动作和/或面部表情与所述角色模型动画的肢体动作和/或面部表情能够实时同步。为了让捕捉到的动作数据来驱动三维人体模型，需要将模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动模型的运动。最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据动起来。

进一步，在主步骤c中包含灯光和后期制作过程：为场景制作灯光或照明效果；对灯光或照明效果进行构建计算，根据角色模型的位置和环境光进行匹配。

如图5所示，进行实时交互动画的过程如下：

s501、设置一名演员，为其调整动捕设备，以捕捉其肢体动作、面部表情和声音。演员可以根据事先策划的台词和剧本，进行动作测试和表情测试。这里，需要对演员的声音进行处理，转换为符合所述3d角色人设的音色。比如，可以将录制演员的声音音调修改。还可以预先选用声优预先录制该角色的基本发音，然后将演员的声音识别出文字，然后再用预先录制该角色的基本发音组合出角色的发音。

s502、与图形引擎进行联调。将捕捉所述演员的肢体动作、面部表情和声音转换为与所述3d角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的角色模型，并且配置所述演员的肢体动作、面部表情和声音与所述角色模型动画的肢体动作、面部表情和声音能够实时同步。如果遇到问题，则返回步骤s501调整动捕设备。

s503、导入场景和灯光文件。用于在虚拟现实的物体附近展现光影效果。优选地，可以预先配置场景参数和灯光参数，然后实时地计算摄影机影像的位置及角度，并配置到所述虚拟的3d角色中，以进行交互。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作-根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

进一步，该方法可以在可操作地连接至合适的断层摄影数据扫描装置的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

具体地参照图6-10，本发明通过一种实时全身动作捕捉的系统，以实施上述方法。该系统包括应用程序60、图形引擎61、模型创建平台62、动捕装置63、面部表情捕捉器64、摄像设备65、灯光系统66和特效生成模块67。动捕装置63用于实时捕捉真实演员的肢体动作。面部表情捕捉器64用于捕捉真实演员的面部表情。图形引擎61用于生成和处理3d角色模型，运算3d角色模型的物理动力学动作，转换动画视频输出至视频传播软件。特效生成模块67，可以整合用于协调场景，增加特效。应用程序60，用于：通过模型创建平台62创建虚拟的3d角色，并导入至图形引擎61，生成角色模型；通过动捕装置63、面部表情捕捉器64和录音设备实时捕捉真实的演员动作信息，然后关联和控制所述角色模型；以及将所述角色模型合成至动画场景，然后实时与直播平台对接，生成直播画面。

下面通过图7-11进一步描述本发明的优选实施例。

根据本发明的系统首先提供模型创建平台，使用户可以依照原画和人设绘制用于动画合成的虚拟3d角色1，如图7左边所示。生成角色模型时需要处理各种肢体子模型、头发、衣物，然后配色、贴图和配置材质。接着对3d角色模型的细节进行调整，使其尽可能达到原设中的神韵。然后制作该3d角色1对应的虚拟角色骨骼2，绑定到3d模型上，并调整权重，使其有尽可能真实的人类的肌肉感觉。这和骨骼动画的原理类似，由于骨骼系统与模型是相互独立的，为了让骨骼能驱动模型产生合理的变形运动。把模型与骨骼进行关联，发生关系叫绑定。骨骼以蒙皮控制器为中介，来控制模型的各个面。每个关节对模型的影响范围通过权重来控制和调节。如果想要改变每个关节的影响模型表面的范围，那么可以通过多次改变权重来实现。蒙皮简单地说就是：把模型上的点，匹配到骨骼上，然后用骨骼的运动带动模型运动。优选地，同样还可以采用骨骼蒙皮的方式来制作3d角色的面部表情10，这种方法更灵活，可以轻松实现多种表情。首先为面部模型创建骨骼，例如可以对眉毛、眼皮、脸颊、鼻子、嘴唇、下颚分别创建好骨骼。一侧骨骼创建好后，镜像给另一侧，需要注意的是要有一根主骨骼，这样在刷权重时更方便一些。第二步，依次选择骨骼，然后加选模型，进行蒙皮。然后对骨骼做好动画，以便完成各种表情。

此外，还可以设置3d角色的身体和头发、衣服的物理运动参数。如图8所示，为3d角色1的头发11、领带12、裙13配置摆动参数，例如在风吹的环境下，这些物体可以按照物理运动规律摆动。

然后，将上述动画角色的3d模型、骨骼以及相应的配置参数导入图形引擎。

如图9所示，使一名真实的演员戴上面部表情捕捉器64，然后穿传动捕装置63(比如是mocap动捕服装)捕捉演员的肢体运动。该运动捕捉技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。在运动物体的关键部位设置跟踪器，由motioncapture系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画。

这里可以采用现有的面部表情实时动捕技术(如业内的facemoca、kinect等)来实施。这里采用的真实面部表情实时动捕技术，无需任何标记点或油漆标志进行面部标定；可以跟踪和分析嘴唇、眉毛、眼睛和眼珠等肌肉运动并生成表情动画，虚拟角色与真实演员进行实时表情联动。

动捕装置63和面部表情捕捉器64采集的数据传输到图形引擎61，从而关联控制动画角色的3d模型。如图9中，演员右手摆出“剪刀手”动作和表演卖萌表情后，图形引擎可以运算出面部特征和肢体骨骼特征，然后匹配到动画角色的3d模型，控制该3d模型做出相应的动作。图11中的卖萌表情可以触发“闪光”特效。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。