虚拟现实真人实时合成系统的制作方法
【专利摘要】本实用新型公开了一种虚拟现实真人实时合成系统，包括采集实时视频数据的视频采集设备；通过AR和体感方式识别实时动作信号的动作识别组件；输入控制指令的虚拟现实手势输入设备；分别与视频采集设备、动作识别组件及虚拟现实手势输入设备相连接、并整合实时视频数据、实时动作信号和/或控制指令输出播放信号的数据整合装置；以及通过播放信号呈现出实时场景与虚拟场景效果的VR眼镜，同时可输出到外部屏幕以及输出录影。本实用新型的虚拟现实真人实时合成系统中，数据整合装置整合实时视频数据、实时动作信号和/或控制指令输出播放信号供VR眼镜呈现出实时场景效果，结合了真人的生动性和虚拟现实技术中的沉浸感，具有增强互动性的优点。
【专利说明】
虚拟现实真人实时合成系统
技术领域
[0001]本实用新型涉及虚拟现实以及增强现实技术领域，尤其涉及一种虚拟现实真人实时合成系统。
【背景技术】
[0002]目前的虚拟现实技术(简称VR技术)领域中，存在诸多缺陷，例如:
[0003]1、实时抠像合成大量应用在虚拟演播室，电影实时特效合成等领域，局限于被动的观看，无法双向互动，无参与感和沉浸感O
[0004]2、观看方向是定向的，存在很大的局限性。
[0005]3、虚拟演播室通过电视播出，与观众是隔离的，电影实时特效合成局限于制作公司制作应用，使用范围比较窄。
[0006]4、目前的VR技术集中在全景视频和VR游戏的领域，全景视频互动性较差，VR游戏虚拟人物还难以达到最真实的效果而且制作成本高。
【实用新型内容】
[0007]本实用新型要解决的技术问题在于，提供一种改进的虚拟现实真人实时合成系统。
[0008]本实用新型解决其技术问题所采用的技术方案是:提供一种虚拟现实真人实时合成系统，包括
[0009]采集实时视频数据的视频采集设备；
[0010]通过AR和体感方式识别实时动作信号的动作识别组件；
[0011 ]输入控制指令的虚拟现实手势输入设备；
[0012]分别与视频采集设备、动作识别组件及虚拟现实手势输入设备相连接、并整合实时视频数据、实时动作信号和/或控制指令输出播放信号的数据整合装置;以及
[0013]与数据整合装置连接，并播放播放信号呈现出实时场景效果的VR眼镜、和/或外部屏幕输出模块、和/或输出录影模块。
[0014]优选地，系统还包括与数据整合装置连接、并采集实时音频数据输出至数据整合装置的音频采集设备。
[0015]优选地，数据整合装置包括:
[0016]与视频采集设备相连接、对实时视频数据进行抠图处理并得到抠图后视频数据的视频抠图模块；
[0017]与音频采集设备及视频抠图模块相连接、将实时音频数据加载到抠图后视频数据上的首频加载t旲块；
[0018]与动作识别组件、音频加载模块及虚拟现实手势输入设备相连接、将实时动作信号和/或控制指令的效果合成入抠图后视频数据并得到合成后视频数据的虚拟合成模块。
[0019]优选地，虚拟合成模块包括
[0020]与所述动作识别组件、所述音频加载模块及所述虚拟现实手势输入设备相连接、将所述实时动作信号和/或控制指令的效果合成入所述抠图后视频数据并得到合成后视频数据的效果合成模块；
[0021]与效果合成模块相连接、将合成后视频数据中加载立体主题并输出播放信号的主题加载模块；以及与主题加载模块相连接、对合成后视频数据加载立体特效的特效加载模块。
[0022]优选地，主题加载模块所加载的立体主题包括实时虚拟场景主题和手势道具AR识别主题。
[0023]优选地，主题加载模块内包括存储器，存储器内储存有一立体主题调用库。
[0024]优选地，动作识别组件包括通过AR方式进行道具跟踪的道具识别模块和识别使用者动作的动作识别模块。
[0025]优选地，动作识别模块包括一由使用者控制并追踪使用者动作的追踪设备以及一实时感应追踪设备的动态变化并识别出实时动作信号的体感感应设备。
[0026]优选地，虚拟现实手势输入设备和VR眼镜各包括至少一组。
[0027]优选地，系统还包括背景屏幕，背景屏幕为弧幕绿屏或360°环幕绿屏；和/或，系统还包括对使用者打光的照明组件。
[0028]实施本实用新型的有益效果是:本实用新型的虚拟现实真人实时合成系统中，数据整合装置整合实时视频数据、实时动作信号和/或控制指令输出播放信号供VR眼镜呈现出实时场景效果，结合了真人的生动性和虚拟现实技术中的沉浸感，交互性，具有增强互动性的优点。
[0029]另外，本系统具有结合了增强现实技术(简称AR技术)和VR技术、采用VR模式进行观看从而360度无死角并沉浸感强、利用AR技术可更换虚拟表演道具从而达到用户与表演者、用户与3d场景、表演者与3d场景、用户与用户之间的互动等优点。
【附图说明】
[0030]下面将结合附图及实施例对本实用新型作进一步说明，附图中:
[0031]图1是本实用新型一些实施例中虚拟现实真人实时合成系统的原理示意图；
[0032]图2是图1中动作识别组件的原理示意图。
【具体实施方式】
[0033]为了对本实用新型的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本实用新型的【具体实施方式】。
[0034]如图1示出了本实用新型一些实施例中的虚拟现实真人实时合成系统，包括视频采集设备10、音频采集设备20、动作识别组件30、虚拟现实手势输入设备40、数据整合装置60、VR眼镜50、背景屏幕70以及照明组件80，其中，数据整合装置60分别与视频采集设备10、音频采集设备20、动作识别组件30、虚拟现实手势输入设备40及VR眼镜50相连接，背景屏幕70用作使用者的背景，照明组件80用于对使用者进行照明，以获得更佳的场景效果。数据整合装置60整合视频采集设备10、音频采集设备20、动作识别组件30、虚拟现实手势输入设备40的实时视频数据、实时音频数据、实时动作信号和/或控制指令后输出一播放信号至VR眼镜50和/或外部屏幕输出模块51、和/或输出录影模块52，VR眼镜50和/或外部屏幕输出模块51、和/或输出录影模块52播放播放信号呈现出实时的场景效果。
[0035]其中，视频采集设备10用于采集实时视频数据，并将实时视频数据输出至数据整合装置60。作为选择，视频采集设备10可为摄像头或高端视频采集设备，并可以设置多个机位，从而可得到多个角度不同的视频资料，使得最终的场景效果更佳立体、逼真。优选地，视频采集设备10包括至少两个机位。
[0036]音频采集设备20与数据整合装置60连接，并采集实时音频数据输出至数据整合装置60。作为选择，音频采集设备20可以设置也可以不设置，在设置的情况下，可获取更多的现场数据，使得最终场景效果更佳。
[0037]动作识别组件30用于通过AR和体感方式识别实时动作信号。结合图2所示，优选地，动作识别组件30包括道具识别模块34和动作识别模块35，其中，道具识别模块34通过AR方式进行道具跟踪，动作识别模块35依靠体感设备识别使用者的动作。识别模块35包括追踪设备31和体感感应设备32，追踪设备31由使用者控制并追踪使用者动作，体感感应设备32可实时感应追踪设备31的动态变化并识别出实时动作信号。作为选择，动作识别组件30也可以为常见的体感装置。
[0038]再如图1所示，虚拟现实手势输入设备40用于输入控制指令，并将控制信号传输至数据整合装置60。其原理是，虚拟现实手势输入设备40是通过感应器件或者按键等装置实时判断出使用者的操作，从而根据使用者的操作得出该控制指令。作为选择，虚拟现实手势输入设备40可以为可穿戴的手套、控制棒、激光枪等，从而可能够传送控制指令到虚拟现实系统，实现对应的操作，例如射击、控制某些物体等。
[0039]VR眼镜50、和/或外部屏幕输出模块51、和/或输出录影模块52与数据整合装置60连接，并播放播放信号呈现出实时场景效果。VR眼镜50、外部屏幕输出模块51、输出录影模块52可以根据具体应用需求选择性地设置之一、或者之二、或者同时全部设置。虚拟现实手势输入设备40和VR眼镜50分别用来输入控制指令给数据整合装置60以及播放实时场景效果，因此，可通过增加虚拟现实手势输入设备40和VR眼镜50的方式增加使用者人数。可以理解地，虚拟现实手势输入设备40和VR眼镜50往往成对配置，即虚拟现实手势输入设备40和VR眼镜50各包括至少一组，每增加一组，可多供一人使用，从而实现本系统即可单人操作使用，也可多人互动使用。在多人互动使用的情况下，动作识别组件30针对表演者进行动作识另IJ，虚拟现实手势输入设备是针对VR眼镜50、和/或外部屏幕输出模块51、和/或输出录影模块52的用户进行手势识别。优选地，还可在虚拟现实技术中结合空间定位设备，让用户戴着VR眼镜在场地中行走，与表演者互动。
[0040]进一步地，还可通过同时配置多个本系统，且各个系统之间相互联网，实现多个使用者共享场景联网互动。
[0041]数据整合装置60分别与视频采集设备10、动作识别组件30及虚拟现实手势输入设备40相连接，并且数据整合装置60整合实时视频数据、实时动作信号和/或控制指令输出播放信号。数据整合装置60与其他组件之间的数据通过有线网络或者无线网络交互。数据整合装置60包括视频抠图模块61、音频加载模块62和虚拟合成模块69，其中，虚拟合成模块69包括效果合成模块63、主题加载模块64以及特效加载模块65。
[0042]其中，视频抠图模块61与视频采集设备10相连接，对实时视频数据进行抠图处理并得到抠图后视频数据。可以理解地，视频抠图模块61可以为常见的实现相关视频抠图功能的芯片，其可以通过软件方式或者硬件方式运行。或者，视频抠图模块61还可以为纯硬件方式实现。
[0043]音频加载模块62与音频采集设备20及视频抠图模块61相连接，将实时音频数据加载到抠图后视频数据上。在一些实施例中，音效加载模块可以设置也可以不设置，在设置的情况下，可根据音频采集设备20的设置而处理数据，或者，也可以在音频采集设备20不设置的情况下，加载系统中已经存储的音频数据。可以理解地，音频加载模块62可以为常见的实现相关音频加载功能的芯片，其可以通过软件方式或者硬件方式运行。或者，音频加载模块62还可以为纯硬件方式实现。
[0044]效果合成模块63与动作识别组件30、音频加载模块62及虚拟现实手势输入设备40相连接、将实时动作信号和/或控制指令的效果合成入抠图后视频数据并得到合成后视频数据。可以理解地，效果合成模块63可以为常见的实现相关效果合成功能的芯片，其可以通过软件方式或者硬件方式运行。或者，效果合成模块63还可以为纯硬件方式实现。
[0045]主题加载模块64与效果合成模块63相连接，将合成后视频数据中加载立体主题并输出播放信号。主题加载模块64所加载的立体主题包括实时虚拟场景主题和手势道具AR识别主题，即实现对实时虚拟场景主题和手势道具AR识别主题的更换，例如，在一些打斗场景中，可将打斗的实时虚拟场景主题在雪地、樱花、海边等主题中切换，并且，还可根据使用者的具体需求，将手势道具AR识别主题在刀、剑、枪等主题中切换。优选地，主题加载模块64内还可包括存储器，存储器内储存有一立体主题调用库，该主题调用库可根据使用者的具体需求进行新增主题及删除主题等操作。可以理解地，主题加载模块64可以为常见的实现相关主题加载功能的芯片，其可以通过软件方式或者硬件方式运行。或者，主题加载模块64还可以为纯硬件方式实现。
[0046]特效加载模块65与主题加载模块64相连接，对合成后视频数据加载立体特效。在一些实施例中，特效加载模块65可以设置，也可以不设置，在设置特效加载模块65时，可对合成后视频数据加载更多特技效果，从而带来更佳的用户体验。可以理解地，特效加载模块65可以为常见的实现相关特效加载功能的芯片，其可以通过软件方式或者硬件方式运行。或者，特效加载模块65还可以为纯硬件方式实现。
[0047]本系统中优选设置背景屏幕70，背景屏幕70用作使用者的背景，背景屏幕70可以为弧幕绿屏或360°环幕绿屏。优选地，对于360°环幕绿屏，需要用到的视频采集设备10为全景采集设备。本系统中还优选设置照明组件80，用于对使用者打光，以获得更佳的场景效果。可以理解地，背景屏幕70、照明组件80的设置，均有利于后续流程中视频采集设备10的实时视频数据的采集，以及视频抠图模块61的抠图，使得抠图得到的使用者人像清晰度更佳、最终的场景效果更佳。
[0048]以下结合图1和图2对本实用新型一些实施例中虚拟现实真人实时合成系统的工作原理进行举例说明。在一些实施例的打斗场景中，使用者在背景屏幕70以及照明组件80中进行表演，在其表演的过程中，视频采集设备10采集实时视频数据，音频采集设备20采集实时音频数据，动作识别组件30通过体感感应设备32识别使用者手中持有的追踪设备31识别实时动作信号，所有数据传输至数据整合装置60。使用者戴有VR眼镜50，实时观看呈现出的实时场景效果，并且使用者手部戴有虚拟现实手势输入设备40，虚拟现实手势输入设备40会虚拟出一把刀、一杆枪之类的“武器”，通过虚拟现实手势输入设备40来识别使用者人体的对应手势，来握持刀、枪，然后把人的实图通过抠图的方式加载到场景中，并控制对应的道具，最终得到的效果就是使用者可以看到自己在场景中实现各种动作，即把人“嵌入”到场景，实现类似电影效果。除了前述实施例以外，本系统还可应用于MV表演，话剧，舞台剧，教学演示，新闻解说等VR升级改造领域。
[0049]以上所述仅是本实用新型的优选实施方式，本实用新型的保护范围并不仅局限于上述实施例，凡属于本实用新型思路下的技术方案均属于本实用新型的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理前提下的若干个改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。
【主权项】
1.一种虚拟现实真人实时合成系统，其特征在于，包括 采集实时视频数据的视频采集设备(10); 通过AR和体感方式识别实时动作信号的动作识别组件(30); 输入控制指令的虚拟现实手势输入设备(40 )； 分别与所述视频采集设备(10)、所述动作识别组件(30)及所述虚拟现实手势输入设备(40)相连接、并整合所述实时视频数据、实时动作信号和/或控制指令输出播放信号的数据整合装置(60);以及 与所述数据整合装置(60)连接，并播放所述播放信号呈现出实时场景效果的VR眼镜(50),和/或外部屏幕输出模块(51)、和/或输出录影模块(52)。2.根据权利要求1所述的虚拟现实真人实时合成系统，其特征在于，所述系统还包括与所述数据整合装置(60)连接、并采集实时音频数据输出至所述数据整合装置(60)的音频采集设备(20)。3.根据权利要求2所述的虚拟现实真人实时合成系统，其特征在于，所述数据整合装置(60)包括: 与所述视频采集设备(10)相连接、对所述实时视频数据进行抠图处理并得到抠图后视频数据的视频抠图模块(61); 与所述音频采集设备(20)及所述视频抠图模块(61)相连接、将所述实时音频数据加载到所述抠图后视频数据上的音频加载模块(62); 与所述动作识别组件(30)、所述音频加载模块(62)及所述虚拟现实手势输入设备(40)相连接、将所述实时动作信号和/或控制指令的效果合成入所述抠图后视频数据并得到合成后视频数据的虚拟合成模块(69)。4.根据权利要求3所述的虚拟现实真人实时合成系统，其特征在于，所述虚拟合成模块(69)包括 与所述动作识别组件(30)、所述音频加载模块(62)及所述虚拟现实手势输入设备(40)相连接、将所述实时动作信号和/或控制指令的效果合成入所述抠图后视频数据并得到合成后视频数据的效果合成模块(63); 与所述效果合成模块(63)相连接、将所述合成后视频数据中加载立体主题并输出所述播放信号的主题加载模块(64);以及与所述主题加载模块(64)相连接、对所述合成后视频数据加载立体特效的特效加载模块(65)。5.根据权利要求4所述的虚拟现实真人实时合成系统，其特征在于，所述主题加载模块(64)所加载的所述立体主题包括实时虚拟场景主题和手势道具AR识别主题。6.根据权利要求5所述的虚拟现实真人实时合成系统，其特征在于，所述主题加载模块(64)内包括存储器，所述存储器内储存有一立体主题调用库。7.根据权利要求1至6任一项所述的虚拟现实真人实时合成系统，其特征在于，所述动作识别组件(30)包括通过AR方式进行道具跟踪的道具识别模块(34)和识别使用者动作的动作识别模块(35)。8.根据权利要求7所述的虚拟现实真人实时合成系统，其特征在于，所述动作识别模块(35)包括一由使用者控制并追踪所述使用者动作的追踪设备(31)以及一实时感应所述追踪设备(31)的动态变化并识别出所述实时动作信号的体感感应设备(32 )。9.根据权利要求1至6任一项所述的虚拟现实真人实时合成系统，其特征在于，所述虚拟现实手势输入设备(40)和所述VR眼镜(50)各包括至少一组。10.根据权利要求1至6任一项所述的虚拟现实真人实时合成系统，其特征在于，所述系统还包括背景屏幕(70)，所述背景屏幕(70)为弧幕绿屏或360°环幕绿屏;和/或，所述系统还包括对使用者打光的照明组件(80)。
【文档编号】H04N5/272GK205622745SQ201620418801
【公开日】2016年10月5日
【申请日】2016年5月10日
【发明人】倪宏伟
【申请人】倪宏伟