一种在视频中实时合成动画的方法和装置的制造方法
【技术领域】
[0001]本发明涉及实时视频合成领域，特别是涉及一种在视频中实时合成动画的方法和
目.0
【背景技术】
[0002]视频属于一种常见的媒体格式，例如，通过摄像机采集的现场直播的电视节目就可以得到实时的现场视频数据。在直播的过程中，为了提高直播效果或者为了增加艺术表现，可以在现场视频数据中通过数据合成的方式，在现场视频中合成出动画效果，是一种新兴的视觉传达形式，例如强化表现人物表情的动画、画外音的艺术文字以及一些背景动画效果等。
[0003]但是，目前应用在电视或网络视频播放中的动画合成主要还是依靠在视频后期处理的过程中完成，即非直播的情况下，在已经录制完成的视频数据中进行动画合成后，再将合成后的视频数据通过电视或网络播放。在直播的现场视频数据中，由于采集视频数据的摄像机的拍摄角度、摄像位置都无法预判，若想在直播中的现场视频里合成动画，由于无法预估视频画面的变化，为了保证合成效果不突兀，最多只能在视频中合成一些持续时间很短的、2D的动画或图片。
[0004]可见，目前在视频中的动画合成效果尤其是在直播的现场视频中实时合成动画的能力基本没有，无法有效的满足现有视觉传达的需求。
【发明内容】
[0005]为了解决上述技术问题，本发明提供了一种在视频中实时合成动画的方法和装置，实现了在视频中实时合成面部动画的功能，有效满足了现有的视频视觉传达需求。
[0006]本发明实施例公开了如下技术方案:
[0007]—种在视频中实时合成动画的方法，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括:
[0008]所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
[0009]所述服务器获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；
[0010]所述服务器根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成面部模型；
[0011 ] 所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
[0012]所述服务器将所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述面部动画。
[0013]可选的，在所述服务器将所述骨骼动画的动画数据从所述渲染引擎中提取出来之前，还包括:
[0014]所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；
[0015]所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；
[0016]所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；
[0017]所述服务器将所述面部动画的动画数据从所述渲染引擎中提取出来，还包括:
[0018]所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
[0019]可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括:
[0020]所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
[0021]所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
[0022]所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
[0023]可选的，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括:
[0024]所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
[0025]可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
[0026]—种在视频中实时合成动画的装置，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述装置包括:
[0027]位置信息获取单元，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
[0028]面部获取单元，用于获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；
[0029]面部模型生成单元，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成面部模型；
[0030]面部动画获取单元，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
[0031]实时合成单元，用于将所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述面部动画。
[0032]可选的，还包括:
[0033]动作获取单元，用于在触发实时合成单元之前，获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；
[0034]骨骼模型生成单元，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；
[0035]骨骼动画获取单元，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；
[0036]所述实时合成单元还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
[0037]可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述骨骼模型生成单元，包括:
[0038]节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
[0039]位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
[0040]生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
[0041]可选的，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括:
[0042]所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
[0043]可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
[0044]由上述技术方案可以看出，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引