0181]由上述实施例可以看出，还可以在骨骼模型的基础上，所述服务器的渲染引擎根据面部捕捉设备实时采集到的面部数据和面部坐标，建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述面部模型根据所述面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和所述面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，进一步满足了现有的视频视觉传达需求。
[0182]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read-only memory，缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0183]需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0184]以上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
【主权项】
1.一种在视频中实时合成动画的方法，其特征在于，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集;服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数;所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系;所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致;所述方法包括: 所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息； 所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系； 所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型； 所述服务器获取所述主摄像机实时采集的所述视频的视频数据;所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画； 所述服务器将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画。2.根据权利要求1所述的方法，其特征在于，在所述服务器将所述骨骼动画的动画数据从所述渲染引擎中提取出来之前，还包括: 所述服务器获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系； 所述服务器根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型； 所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画； 所述服务器将所述骨骼动画的动画数据从所述渲染引擎中提取出来，还包括: 所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。3.根据权利要求1所述的方法，其特征在于，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括: 所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点； 所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置； 所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。4.根据权利要求1或2所述的方法，其特征在于，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括: 所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。5.根据权利要求4所述的方法，其特征在于，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。6.—种在视频中实时合成动画的装置，其特征在于，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集;服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数;所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系;所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致;所述装置包括: 位置信息获取单元，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息； 动作获取单元，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系； 骨骼模型生成单元，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型； 骨骼动画获取单元，用于获取所述主摄像机实时采集的所述视频的视频数据;所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画； 实时合成单元，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画。7.根据权利要求6所述的装置，其特征在于，还包括: 面部获取单元，用于在触发实时合成单元之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系； 面部模型生成单元，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型； 面部动画获取单元，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画； 所述实时合成单元还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。8.根据权利要求6所述的装置，其特征在于，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点;所述骨骼模型生成单元，包括: 节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点； 位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置； 生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。9.根据权利要求6或7所述的装置，其特征在于，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括: 所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。10.根据权利要求9所述的装置，其特征在于，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
【专利摘要】本发明实施例公开了一种在视频中实时合成动画的方法和装置，应用于实时采集的视频中，根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；获取通过动作捕捉设备实时采集到的动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，从而实现实时的在视频中合成骨骼动画的功能，有效满足了现有的视频视觉传达需求。
【IPC分类】H04N21/218, G06T13/40, H04N21/234
【公开号】CN105704507
【申请号】CN201510712733
【发明人】殷元江
【申请人】北京七维视觉科技有限公司
【公开日】2016年6月22日
【申请日】2015年10月28日