一种现实与虚拟场景混合展现的方法及系统与流程

本发明涉及混合现实技术领域，特别是涉及一种现实与虚拟场景混合展现的方法及系统。

背景技术：

现实与虚拟场景混合展现，是混合现实技术（mixreality-mr）的一种应用，而mr是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。目前虚拟世界的展现，因为技术及方法的关系，一般是按录制传统视频的方式展示，观众并不能实时了解虚拟世界中的真实情景。

因此，提出一种现实与虚拟场景混合展现的方法及系统，能够让玩家更加真实的体验虚拟世界，并在显示设备上，实时的呈现玩家和虚拟世界的实时互动图像，成为亟待解决的问题。

技术实现要素：

为了解决现有技术存在的不足，本发明的目的在于提供一种现实与虚拟场景混合展现的方法及系统，能够让玩家更加真实的体验虚拟世界，并在显示设备上，实时的呈现玩家和虚拟世界的实时互动图像。

为实现上述目的，本发明提供的现实与虚拟场景混合展现的方法，包括以下步骤：

（1）将虚拟玩家与真实玩家的位置进行实时同步；（2）将真实摄像机的运动信息作为虚拟摄像机的运动信息；（3）虚拟背景主机实时接收真实摄像机的运动信息，驱动虚拟摄像机拍摄虚拟玩家在虚拟世界中的场景画面；（4）实时采集合成主机同时采集真实摄像机拍摄的真实玩家画面和虚拟摄像机拍摄的虚拟场景画面，合成现实与虚拟场景混合的实时画面。

所述步骤（1）进一步包括以下步骤：真实玩家通过vr设备与虚拟背景主机建立连接；将与真实玩家相对应的虚拟玩家在虚拟世界中的坐标信息实时上传给虚拟背景主机；将虚拟玩家与真实玩家的位置进行实时同步。

进一步地，步骤（2）所述将真实摄像机的运动信息作为虚拟摄像机的运动信息，是真实摄像机拍摄真实玩家的位移画面，同时通过定位装置定位真实摄像机的运动信息，用以作为虚拟摄像机的运动信息。

所述步骤（3）进一步包括步骤：运动捕捉设备实时收集虚拟摄像机的运动信息，并通过动捕数据中转设备发送给虚拟背景主机。

所述步骤（4）进一步包括步骤：实时采集合成主机在剔除真实玩家画面中的真实背景后，将真实玩家画面叠加到虚拟场景画面中，得到现实与虚拟场景混合的实时画面。

所述步骤（4）进一步还包括步骤：合成的现实与虚拟场景混合的实时画面做三屏同步，分别传送给画面合成监视器、摄影师监视器和电视机。

为实现上述目的，本发明提供的现实与虚拟场景混合展现的系统，包括：真实摄像机（201）、定位装置（202）、虚拟背景主机（205）、vr设备（206）、虚拟摄像机（207）及实时采集合成主机（208），其中，

所述vr设备（206），用于将与真实玩家相对应的虚拟玩家在虚拟世界中的坐标信息实时上传给所述虚拟背景主机（205）；所述真实摄像机（201），用于拍摄真实玩家的位移画面；所述定位装置（202），用于定位所述真实摄像机（201）的运动信息；所述虚拟背景主机（205），用于实时接收所述真实摄像机（201）的运动信息，并采用所述运动信息驱动所述虚拟摄像机（207）拍摄虚拟玩家在虚拟世界中的场景画面；所述实时采集合成主机（208），用于同时采集所述真实摄像机（201）拍摄的真实玩家画面和所述虚拟摄像机（207）拍摄的虚拟场景画面，合成现实与虚拟场景混合的实时画面。

进一步地，还包括：运动捕捉设备（203）及动捕数据中转设备（204），所述运动捕捉设备（203），用于实时收集虚拟摄像机的运动信息，并通过所述动捕数据中转设备（204）发送给所述虚拟背景主机（205）。

进一步地，还包括：画面合成监视器（209），所述画面合成监视器（209）用于通过合成的混合实时画面，监控实时采集合成主机合成现实与虚拟场景混合的实时画面。

进一步地，还包括：摄影师监视器（210），所述摄影师监视器（210）用于通过合成的混合实时画面，监控真实摄像机拍摄真实玩家的位移画面。

本发明的现实与虚拟场景混合展现的方法及系统，采用虚拟摄像机拍摄虚拟场景，真实摄像机拍摄绿幕环境中的真实玩家，两种实时视频信息通过实时采集抠像合成，然后回发给显示设备，在显示设备上呈现真实玩家和虚拟世界的实时互动图像。

本发明的现实与虚拟场景混合展现的方法及系统，结合了vr（virtualreality-虚拟现实）与ar（augmentedreality-增强现实）的优势，能够更好地将vr的虚拟世界展示出来，实现虚拟和现实的互动，并且不再局限于现实，使用户获得前所未有的体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的现实与虚拟场景混合展现的方法流程图；

图2为根据本发明的现实与虚拟场景混合展现的系统架构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为根据本发明的现实与虚拟场景混合展现的方法流程图，下面将参考图1，对本发明的现实与虚拟场景混合展现的方法进行详细描述。

在步骤101，真实玩家配带vr设备（例如vr演示机），在现实场景（绿幕背景）中正常体验虚拟世界；

该步骤中，真实玩家通过vr设备从虚拟背景主机中获取虚拟玩家在虚拟世界中的场景画面，从而体验虚拟世界。

在步骤102，真实玩家通过vr设备，将与其相对应的虚拟玩家在虚拟世界中的坐标信息实时上传给虚拟背景主机，实现虚拟世界中的虚拟玩家与真实玩家的位置信息之间的实时同步；

在步骤103，真实摄像机拍摄真实玩家的位移画面，同时通过定位装置定位真实摄像机的运动信息（运动数据），用以作为虚拟摄像机的运动信息；（真实摄像机拍摄真实玩家的位移画面，并将真实摄像机的运动信息作为虚拟摄像机的运动信息）

该步骤中，真实摄像机移动时，拍摄真实玩家的位移画面。而通过定位装置，将真实摄像机和虚拟摄像机物理上固定一起，实现真实摄像机运动信息与虚拟摄像机运动信息的一致，以及真实摄像机和虚拟摄像机两者与玩家空间位置关系的一致。

在步骤104，运动捕捉设备实时收集虚拟摄像机的运动信息，并通过动捕数据中转设备发送给虚拟背景主机（实时收集虚拟摄像机的运动信息，并发送给虚拟背景主机）；

在步骤105，虚拟背景主机实时接收虚拟摄像机的运动信息，驱动虚拟世界中的虚拟摄像机运动，呈现虚拟摄像机拍摄的虚拟玩家在虚拟世界中的场景画面；

该步骤中，虚拟摄像机在虚拟背景主机中拍摄的场景画面，与真实玩家通过vr设备获取的与其相对应的虚拟玩家在虚拟世界中的场景画面实时同步。

在步骤106，实时采集合成主机同时采集真实摄像机拍摄的真实玩家画面和虚拟摄像机拍摄的虚拟场景画面，合成现实与虚拟场景混合的实时画面；

该步骤中，实时采集合成主机在剔除真实玩家画面中的真实背景后，将真实玩家画面叠加到虚拟场景画面中，得到现实与虚拟场景混合的实时画面。

在步骤107，合成的现实与虚拟场景混合的实时画面做三屏同步，分别传送给画面合成监视器、摄影师监视器和电视机。

该步骤中，画面合成监视器通过合成的混合实时画面，监控实时采集合成主机合成现实与虚拟场景混合的实时画面；摄影师监视器通过合成的混合实时画面，监控真实摄像机拍摄真实玩家的位移画面；电视机则将合成的混合实时画面传送给外界。

图2为根据本发明的现实与虚拟场景混合展现的系统架构图，如图2所示，本发明的现实与虚拟场景混合展现的系统，包括：真实摄像机201、定位装置202、运动捕捉设备203、动捕数据中转设备204、虚拟背景主机205、vr设备206、虚拟摄像机207、实时采集合成主机208、画面合成监视器209、摄影师监视器210、电视机211及摄像设备架212，其中，

vr设备206，用于真实玩家从虚拟背景主机205中获取虚拟玩家在虚拟世界中的场景画面，还用于将与真实玩家相对应的虚拟玩家在虚拟世界中的坐标信息实时上传给虚拟背景主机205；

真实摄像机201、定位装置202及摄影师监视器210固定在摄像设备架212上，真实摄像机201用于拍摄真实玩家的位移画面；

定位装置202，用于定位真实摄像机201的运动信息（运动数据）；

运动捕捉设备203，用于实时收集真实摄像机201的运动信息，并通过动捕数据中转设备204发送给虚拟背景主机205；

虚拟背景主机205，用于实时接收真实摄像机201的运动信息，并采用该运动信息驱动虚拟摄像机207拍摄虚拟玩家在虚拟世界中的场景画面；

实时采集合成主机208，用于同时采集真实摄像机201拍摄的真实玩家画面和虚拟摄像机207拍摄的虚拟场景画面，合成现实与虚拟场景混合的实时画面，并将合成的现实与虚拟场景混合的实时画面做三屏同步，分别传送给画面合成监视器209、摄影师监视器210和电视机211；

画面合成监视器209，用于通过合成的混合实时画面，监控实时采集合成主机合成现实与虚拟场景混合的实时画面；

摄影师监视器210，用于通过合成的混合实时画面，监控真实摄像机拍摄真实玩家的位移画面；

电视机211，用于将合成的混合实时画面传送给外界。

本发明的现实与虚拟场景混合展现的方法及系统，采用虚拟摄像机拍摄虚拟场景，真实摄像机拍摄绿幕环境中的真实玩家，两种实时视频信息通过实时采集抠像合成，然后回发给显示设备，在显示设备上呈现真实玩家和虚拟世界的实时互动图像。

本发明的现实与虚拟场景混合展现的方法及系统，结合了vr（virtualreality-虚拟现实）与ar（augmentedreality-增强现实）的优势，能够更好地将vr的虚拟世界展示出来，实现虚拟和现实的互动，并且不再局限于现实，使用户获得前所未有的体验。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。