0113]步骤B2:将所述三维动画坐标确定的位置，作为所述目标骨骼节点的位置。
[0114]其中，三维动画坐标包含三个坐标值，该三个坐标值在骨骼模型中，可以确定出一个位置点，进而将确定出的该位置点，作为该三维动画坐标对应的骨骼节点的位置。参见图3所示，图3为本发明实施例提供的一种三维动画模型动作的示例图，图3中的左上肢肘关节、右上肢肘关节、左下肢膝关节及右下肢膝关节的位置是分别根据上述示例中的子动作数据1、子动作数据2、子动作数据3及子动作数据4来确定的。
[0115]实施例三
[0116]本发明实施例中，除了可以实时的在视频中合成骨骼动画外，进一步的，还可以合成面部动画，可以通过面部表情更为有效的传达表情、情绪等，增加合成动画的视觉传达效果O
[0117]在图1所对应实施例的基础上，图4为本发明实施例提供的一种在视频中实时合成动画方法的方法流程图。
[0118]S401:所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息。
[0119]S402:所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系。以及所述服务器获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系。
[0120]举例说明，所述面部捕捉设备可以为佩戴在人脸上的数据采集装置，通过摄像等功能，识别并输出人脸上特征点的变化，从而得到面部数据和面部坐标，所述面部坐标可以是人脸特征点的坐标值。
[0121]还需要注意的是，佩戴所述面部捕捉设备的人和佩戴所述动作捕捉设备的人可以相同，也可以不同。也就是，所述第二目标体和第三目标体可以相同，也可以不同。
[0122]S403:所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型。以及所述服务器根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型。
[0123]举例说明，利用三维动画绘制工具，绘制面部模型。需要说明的是，面部模型是按照第三目标体(面部数据被采集者)绘制的，用来模拟第三目标体。当然，面部模型展示在最终绘制的目标视频中时，可以是与第三目标体等比例的，或者，也可以是不同比例的。另外，面部模型的外观可以是第三目标体相同，或者，也可以与第三目标体不同，如利用动物卡通形象来展现人脸的表情神态等面部动作。
[0124]例如，面部模型模拟第三目标体的方式，可以是根据第三目标体的面部特征点，在面部模型中设置相应数量的面部节点，每个面部节点用来唯一表示第三目标体的一个面部特征点。这样，在面部特征点运动时，面部模型的面部节点可相应地进行运动。由于面部模型是由面部节点构成的，确定面部节点的动作后，便可以获得面部模型的面部动画。需要说明的是，该一帧面部动画是面部模型的一帧动画图像。
[0125]所述面部坐标和所述3D坐标系统中的坐标具有对应关系，通过一个面部坐标可以确定出该面部坐标在所述3D坐标系统中所对应的坐标值。
[0126]S404:所述服务器获取所述主摄像机实时采集的所述视频的视频数据;所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；以及获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画。
[0127 ] 步骤S403和S404可以是同时执彳丁，也可以是S403先于S404执行。
[0128]若同时执行，可以理解为面部捕捉和所述视频的拍摄同时进行，即在所述固定区域进行现场直播的过程中，面部捕捉也在另一个区域中同时进行，利用实时获取的面部数据和面部坐标建立面部模型，并根据现场直播过程中的主摄像机的位置信息和视频采集参数同步所述虚拟摄像机采集到所述面部动画。
[0129]若S403先于S404执行，可以理解为先完成面部捕捉，并通过捕捉的参数建立面部模型。等到开始在所述固定区域现场直播时，再根据同步的虚拟摄像机采集所述面部动画。但是在采集的过程中需要主要时间轴的一致性，时间轴的相关特征属于成熟技术，这里就不再赘述。
[0130]例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及面部捕捉设备发送的面部数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像;面部捕捉设备发送的面部数据，是其自身捕捉到的第三目标体的动作数据。其中，第一目标体与第三目标体的面部动作可以是互动的。
[0131]S405:所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
[0132]需要注意的是，由于面部模型的建立和面部动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述服务器将所述渲染引擎处理得到的面部动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述面部动画和所述视频的尺寸比例等。在合成数据的过程中，也需要考虑到所述面部动画和所述骨骼动画的尺寸比例等。
[0133]例如，第一目标体的视频数据是一帧视频图像，面部模型的一帧面部动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含面部动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
[0134]将合成得到的合成视频数据实时输出，可以达到现场采集视频的过程中，进行直播的过程中，通过动画的实时合成，能够实时的输出合成视频数据。那么在通过电视或网络收看现场直播的所述视频时，除了可以看到在所述固定区域采集的所述视频，还可以看到在所述视频中合成的动画。提升了视觉传达能力，尤其提升了在直播中这种实时视觉传达的能力。
[0135]由上述实施例可以看出，还可以在骨骼模型的基础上，所述服务器的渲染引擎根据面部捕捉设备实时采集到的面部数据和面部坐标，建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述面部模型根据所述面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和所述面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，进一步满足了现有的视频视觉传达需求。
[0136]实施例四
[0137]图5为本发明实施例提供的一种在视频中实时合成动画装置的装置结构图，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集;服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数;所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系;所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；
[0138]可选的，本发明提供了一种快捷有效的建立所述3D坐标系统、确定摄像机位置和视频采集参数的方式，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括:
[0139]所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
[0140]举例说明，若所述固定区域在室内，可以在天花板上悬挂多个采集设备、几个角落出设置多个采集设备，用于建立对应所述固定区域的所述3D坐标系统，并采集所述固定区域在所述3D坐标系统中的位置信息。对于摄像机，可以在摄像机上设置反射器，可以通过反射所述采集设备发射的信号或其他方式，使得采集设备确定反射器在所述3D坐标系统中的位置信息以及部分视频采集参数例如拍摄角度、拍摄机位等。进一步，可以在摄像机中设置反射器，使得采集设备通过反射器确定出所述主摄像机镜头的拉近拉远等操作。若所述固定区域为室外，也可以通过在高处悬挂多个采集设备等方式实现上述功能。通过红外线能够较为有效实现位置采集的功能，故可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。而设置在主摄像机内用于检测主摄像机镜头的可以具体为传感器等装置。
[0141]所述服务器具有的渲染引擎类似于所述服务器的显卡，具有独立的处理器或者可以理解为图形处理器GPU，可以有效为所述服务器的处理器或者可以理解为中央处理器CPU分担处理工作。所述服务器可以使用所述渲染引擎根据之前获取的各个位置参数建立出虚拟区域。所述虚拟区域与所述固定区域之间位置信息具有比例关系，例如建立的所述虚拟区域的大小可以与所述固定区域一致等。
[0142]所述虚拟摄像机可以理解为观察所述虚拟区域的视角，可以根据所述主摄像机的位置信息和所述视频采集参数，利用四阶矩阵的运算确定所述虚拟摄像机在所述虚拟区域中的位置等。通过同步所述虚拟摄像机和所述主摄像机可以使得所述虚拟摄像机在所述虚拟区域中拍摄的角度、机位等拍摄相关参数均与所述主摄像机在所述固定区域内拍摄的相关参数一致。需要注意的是，若所述虚拟区域与所述固定区域之间的比例关系不为1:1时，在同步所述虚拟摄像机和所述主摄像机时还需要考虑到所述比例关系的影响。
[0143]所述装置包括:
[0144]位置信息获取单元501，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息。
[0145]由于在所述固定区域中实际并不存在合成的动画，故合成动画的所述目标区域一般事先确定好。这样在所述固定区域中进行拍摄时，便于提示节目中的参与者例如主持人、嘉宾、参演人等，做到与所述目标区域中将要合成的动画进行互动或者不进入该目标