用于将虚拟模拟图像与来自演播室的真实镜头组合的系统的制作方法

技术领域

本发明总体上涉及特殊效果，并且更具体地涉及用于将真实物理世界道具(item)叠加到虚拟模拟世界中的系统和方法，世界之间的交互，以及用于在这些与第三方参与者之间有效通信的协议。

背景技术：

从现有技术应当提到绿色屏幕技术，其中通常具有绿色背景颜色(色度键)的演播室中的人和道具被叠加到背景上，该背景可以是合成的。问题是，演播室中的参与者与背景图像没有直接交互。同样，这样的解决方案意味着向第三方参与者或普通观众的数据压缩的范围有限。

从现有技术应当提到以下文献：

Lang，T，等，Massively Multiplayer Online Worlds as a Platform for Augmented Reality，虚拟现实会议，2008年，IEEE，第67-70面，ISBN 978-1-4244-1971-5。这涉及真实世界与虚拟世界的整合。

US2009271821涉及媒体展示中的实时参与。

WO002873涉及具有用于摄像机跟踪的部件的交互式TV制作系统。

WO2013034981涉及一种参与者处的游戏引擎。

US2002010734涉及一种联网的增强现实系统。

THOMAS，G.和GRAU，O.，Virtual Graphics For Broadcast Production I：计算机，IEEE，2009年，第6卷，第7期，第42-47面，ISSN 0018-9162涉及使用具有用于检测运动和位置的功能的摄像机系统以模拟使用键控器要被叠加演播室图像的图形。

技术实现要素：

发明要解决的问题

因此，本发明的主要目的是提供一种系统和方法，其克服现有技术中的局限性。克服演播室中的真实世界物理限制是本发明的目的。能够改善所传输的多媒体的数据压缩也是本发明的目的。使得第三方参与者能够交互也是本发明的目的。

解决问题的手段

根据本发明，通过如在独立权利要求的前序部分中定义的、具有所述独立权利要求的特征部分的特征的、用于将真实物理世界道具叠加到虚拟模拟世界和参与现场中的系统来实现该目的。

通过从属权利要求限定本发明的多个非穷尽的实施例、变型或替选。

本发明通过用于具有真实生活道具的演播室现场和用于模拟至少一些所述真实生活道具的主游戏引擎来达到上述目的，其中主游戏引擎从所述演播室接收运动和位置数据并且生成所述道具的可视化，其中可视化是使用键控器功能叠加的演播室图像。

在优选实施例中，系统还设有用于模拟参与单元的至少一个参与游戏引擎，其中参与游戏引擎从演播室接收运动和位置数据并且生成所述道具的可视化，其中，可视化是使用键控器功能叠加的演播室图像。

在更优选的实施例中，至少一个参与游戏引擎还可操作为从主游戏引擎接收数据。

在其他优选实施例中，主游戏引擎还可操作为以从至少一个参与游戏引擎接收数据。

发明效果

该技术与使用色度键的现有技术的差异在于，演播室中的道具和参与者可以与不再必须保持静态的背景交互。

这些效果又提供多个其他有利效果：

·使得能够利用现实物理以及非现实物理来模拟道具

·使得能够改变真实道具与模拟道具之间的比例

使用参与游戏引擎提供其他优点：

·使得参与者能够与演播室中的动作进行交互，例如在游戏表演中观众可以在模拟的竞技场中参加游戏

·使得能够有效地压缩数据，因为与模拟道具相关的所有图形都可以通过位置信息传输，并且然后在本地渲染

·使得能够不仅通过压缩而且通过在动作之前预加载参与游戏引擎来提高带宽

当参与游戏引擎从主游戏引擎接收数据时，参与者也将能够看到模拟道具并且可选地与模拟道具进行交互。

当主游戏引擎还可操作为从至少一个参与游戏引擎接收数据时，整个系统可以将来自参与者的交互带入演播室中并且使参与者动作彼此可见。

附图说明

本发明的上述以及其他特征在所附权利要求书中以细节阐述，并且根据对以下参考附图给出的本发明的示范性实施例的详细描述的考虑，本发明的上述以及其他特征与本发明的优点一起将变得更清楚。

下面将结合附图中示意性地示出的示范性实施例进一步描述本发明，附图中：

图1示出整个系统的实施例。

参考标号的说明

以下参考数字和标号指的是附图：

具体实施方式

在下文中参考附图更充分地描述本公开的各个方面。然而，本公开可以以许多不同形式来实施，并且不应被解释为受限于在整个本公开中提出的任何特定结构或功能。相反，提供这些方面以使得本公开将是彻底和完整的，并且将向本领域技术人员充分地传达本公开的范围。基于在此的教导，本领域技术人员应当理解，本公开的范围旨在覆盖在此公开的本公开的任何方面，无论是独立于本公开的任何其他方面实现还是与本公开的任何其他方面组合实现。例如，可以使用在此阐述的任何数量的方面来实现装置或者实践方法。此外，本公开的范围旨在覆盖这样的装置或方法，其使用其他结构、功能，或者除了在此阐述的本公开的各个方面之外的或不同于在此阐述的本公开的各个方面的其他结构、功能来实践。应当理解，在此公开的本公开的任何方面可以通过权利要求的一个或多个元素来实施。

术语

本描述使用整个文档中的某些术语和表达。

演播室：演播室现场和诸如主游戏引擎和键控器之类的相关器材。

演播室现场：具有用于记录的部件(诸如摄像机和声音记录系统)的用于使用物理道具的真实生活中的现场。优选地，具有照明和色度键器材。

游戏引擎：与图形引擎进行交互以使模拟现实中的模拟对象可视化的物理引擎。

键控器：将演播室中的物理道具的视觉表示与游戏引擎中的模拟道具的视觉表示相结合的设备。

形成发明基础的原理

将结合附图中示意性地示出的示范性实施例进一步描述本发明，其中图1示出了构成本发明的实施例的部件之间的相互作用。

本发明的核心是分离在展示之前整合的真实和模拟道具。

执行发明的最佳方式

图1中所示的根据本发明的装置的实施例包括系统1000，系统1000包括演播室2000，演播室2000包括具有真实生活道具的演播室现场2200，以及模拟至少一些所述真实生活道具的主游戏引擎2300，其中主游戏引擎从所述演播室现场接收运动和位置数据2110、2120，并且生成所述道具的可视化，其中可视化是使用键控器功能叠加的演播室图像。

演播室2000通常包括用于制作节目、表演或游戏的设施。在设施中的是制作现场2200以及用于制作图形效果的部件。

演播室现场2200是具有用于记录的部件(诸如摄像机和声音记录系统)的用于使用物理道具和对象的真实世界中的物理现场或场所。

其包括诸如布景、优选地是演播室布景的物理场所2210，但也可以是自然场所或者其他类型的现场场所。场所具有诸如位置、方向和缩放的几何参数。优选地，现场设有用于运动捕获的器材，并且因此优选地是用于为记录部件(诸如摄像机、视频和音频器材)记录位置和方向的设备。来自这些记录部件的数据被作为物理场所运动数据2110传输。

与场所相关的有物理道具和对象2220。这些可以是诸如人的主动对象以及诸如椅子和桌子的被动对象。对象优选地设有用于记录和定位对象的部件，通常类似于运动捕捉系统中所使用的。来自这些记录部件的数据被作为物理对象运动数据2120传输。

记录部件2230记录演播室场所2210中的对象2220的视觉和音频外观，并且生成图像数据2130。这样的记录部件可以是传统记录部件，诸如演播室摄像机和麦克风。优选地，所述记录部件设有用于记录其相对于演播室现场的位置的部件，以使得可以确定布景的适当3D表示。要注意，并非物理场所的所有对象或部分必须始终可见或者被记录。

图像数据被传输到通常位于演播室2000的键控器2170。键控器可操作为使用色度键控来叠加来自别处的图像。通常使用演播室现场中的绿色屏幕来进行这样的色度键控，并且这样的色度键控可以部分或全部地应用于现场和对象。

主游戏引擎2300向虚拟世界提供由模拟物理控制的模拟对象。

虚拟世界由具有场所的虚拟场所2310表示。所述场所不必与物理场所2210的场所相同。

游戏引擎接收物理场所运动数据2110，以使得可以建立真实世界的位置与虚拟世界的位置之间的关系。

与虚拟世界相关的有虚拟道具和对象2320。这些可以是完全虚拟的并且由游戏引擎模拟，或者可以基于来自物理对象2220的数据、基于物理对象运动数据2120来模拟。当使用诸如质量、重力和摩擦力的真实生活参数来模拟时，这样的模拟对象将表现类似于对应的物理对象。

游戏引擎包括处理虚拟世界以及相关的物理和模拟的物理引擎。具有虚拟场所和对象的虚拟世界的表示由也是游戏引擎的一部分的图形引擎2330来渲染。

通常位于演播室的键控器2170接收来自演播室现场2200的图像结果2240以及来自主游戏引擎2300的图像结果2340，并且将这些组合成可以传输给观众的组合结果2180。

在典型的使用中，首先是设置阶段，其中使用物理场所运动数据2110来使真实世界的位置和虚拟世界的位置对准。真实世界布景填充有使用物理对象运动数据2120将其参数传送到虚拟世界的对象。摄像机和其他记录器材也是对象，并且关于这些的数据也被传送，以使得当摄像机移动、摇拍和变焦时虚拟世界与真实世界保持同步。通常使用绿色屏幕为虚拟对象分配空间，以使得虚拟对象可以被叠加到该区域中。

此外，对象可以在绿色屏幕中被覆盖，以使得可以使用键控器来替换其视觉表示。

通常在记录阶段期间，人类演员围绕布景移动，并且在虚拟世界中使用数据2110、2120对应地更新其位置。当人类演员通过例如踢箱子来操纵对象时，示出本发明的技术效果。箱子设有绿色屏幕，并且通过键控器使其不可见。然而，数据被传送到模拟箱子的运动的游戏引擎，并且以虚拟箱子的渲染来替换真实世界行为，虚拟箱子以卡通般的效果来模拟，诸如使用适当的视觉和音频效果打碎箱子并以夸张的速度将其弹出。

在优选实施例中，系统还包括在参与者现场3000处的观众，参与者现场3000设有用于模拟参与虚拟单元以及对象3320的至少一个参与游戏引擎3300，其中参与游戏引擎从演播室2200现场接收运动和位置数据2110、2120，并且生成所述道具的可视化，其中可视化是使用键控器功能叠加的演播室图像。

在典型的使用中，首先是设置阶段，其中使用物理场所运动数据2110来使真实世界的位置和参与虚拟世界的位置对准。真实世界布景填充有使用物理对象运动数据2120将其参数传送到虚拟世界的对象。摄像机和其他记录器材也是对象，并且关于这些的数据也被传送，以使得当摄像机移动、摇拍和变焦时虚拟世界与真实世界保持同步。通常使用绿色屏幕为虚拟对象分配空间，以使得虚拟对象可以被叠加到该区域中。

通常在观看阶段期间，参与游戏引擎从演播室系统2000接收图像数据和位置数据，并且使用这些在位于参与现场的键控器3170中将图像数据与来自参与游戏引擎的图像结果相组合。这具有减小带宽的优点，因为可以从低带宽运动数据2110、2120中本地创建模拟对象的图像数据。这还允许对例如色彩的本地调整，以提高对视觉受损的观众的可见性。本地生成的图像数据比广播系统具有更多的可用带宽，并且可以因此以更高的质量和更精细的细节来渲染图像和声音。

在更优选的实施例中，至少一个参与游戏引擎还可操作为从主游戏引擎接收数据。

在更优选的实施例中，参与者现场3000设有输入设备3150，诸如按钮、操纵杆、键盘、麦克风以及用于将数据输入到游戏引擎3300中的其他部件。这使得观众本地参与游戏表演，而不依赖于需要用于传入用户数据流量的带宽的集中式系统。这又允许系统的扩展。

在其他优选实施例中，主游戏引擎还可操作为从至少一个参与游戏引擎接收数据。这可以是单独的运动数据，以便在仍然读取来自参与者的结果的同时节约带宽，这种解决方案不会提出与所有计算集中发生的系统一样的对低延迟的要求。

在一些实施例中，至少一些参与者数据可以被再广播给其他参与者。

在其他实施例中，例如通过演播室，参与者数据可以在不被集中式路由的情况下在参与者的群组之间共享。

优选地，通过将适当的数据引导到每个参与者的数据库系统4000来引导数据流。这样的数据流可以是来自演播室现场4010的数据流和来自主游戏引擎4020的数据流。

替选实施例

可以设想以上的多个变化。例如，演播室可以制作用于记录的数据而不是实况传输。

类似地，参与者现场可以使用记录的数据而不是接收到的实况数据。这将具有先前提到的改善的数据压缩的优点。

参与者现场可以以下列多个模式之一操作：

在线接收模式：其中参与者被动地观看在演播室中所发生的。

虚拟在线参与模式：其中参与者使用参与者游戏引擎、使用优选地来自演播室的预加载数据来与系统进行交互或比赛。这具有看起来在线的效果，而无需真实在线的带宽需求并且没有或有有限的滞后。交互的结果通常被返回到演播室。

完全在线参与模式：其中参与者实时连接到主游戏引擎，通常用于选择少数参与者。通常，对于那些做得特别好并且将具有更广泛的兴趣的参与者，系统从虚拟参与在线模式转换到完全在线参与模式。

回放模式：其中参与者操作完全预加载的数据。所述数据也可以是以上三种模式之一的结果。

工业适用性

根据本申请的发明可用于多媒体的记录、传输、分发和观看，以及用于观众参与。