一种全景视频的分割投影方法以及应用其的系统与流程

本发明涉及全景视频处理领域，特别是涉及一种全景视频的分割投影方法以及应用其的系统。

背景技术：

目前观看全景视频(又称vr视频)的方法主要是使用vr眼镜观看。但此方法有很多不足之处：例如，需配戴笨重观看的设备，还要外加耳机等播放声音设备；佩戴vr眼镜的观看者目光完全被眼镜包裹，被孤立在自己的虚拟世界中，即使朋友家人坐在旁边，也无法互相观察沟通；vr眼镜采用透镜+屏幕对双眼分别成像，13岁以下儿童不宜使用，且很多人使用会头晕或双眼视力相差较大的患者使用则无法发挥最佳效果。因此需要一种能够解放观影者的观赏方法或系统，使观影者脱离vr眼镜的限制，加强观影者的临场感，能够多人共同观赏的同时还能自由互动沟通，提升观赏体验。

技术实现要素：

本发明的目的是提供一种全景视频的分割投影方法以及应用其的系统，能够使观影者脱离vr眼镜的限制，加强观影者的临场感，能够多人共同观赏的同时还能自由互动沟通，提升观赏体验。

为实现上述目的，本发明提供了如下方案：

一种全景视频的分割投影方法，所述分割投影方法，包括：

获取视频源；所述视频源包括全景视频；

获取房间内各个投影墙面的尺寸信息以及各个所述投影墙面在所述房间内的位置信息；

根据所述尺寸信息和所述位置信息，对所述全景视频进行分割、遮盖处理，得到处理后的多路视频；

将所述处理后的多路视频投放在相应的所述投影墙面上。

可选的，所述根据所述尺寸信息和所述位置信息，对所述全景视频进行分割、遮盖处理，得到处理后的多路视频，具体包括：

根据所述尺寸信息和所述位置信息，对应分割所述全景视频，得到分割后的多路视频；

采用alpha遮盖方法，对所述分割后的多路视频的重叠部分进行遮盖处理，得到处理后的多路视频。

可选的，所述根据所述尺寸信息和所述位置信息，对应分割所述全景视频，得到分割后的多路视频，具体包括：

根据所述尺寸信息和所述位置信息，采用虚拟摄像机直接取景法或者射线查询法，对应分割所述全景视频，得到分割后的多路视频。

可选的，所述根据所述尺寸信息和所述位置信息，采用虚拟摄像机直接取景法，对应分割所述全景视频，得到分割后的多路视频，具体包括：

在所述全景视频场景中建立一个虚拟球体，将所述全景视频逐帧按球形贴图坐标贴在所述虚拟球体上；

根据所述尺寸信息和所述位置信息，在所述虚拟球体的中心建立多个虚拟摄像机；所述虚拟摄像机的数量与所述投影墙面的数量一致；

获取所述虚拟摄像机朝向各个方向拍摄的图像信息；

根据所述图像信息，分割所述全景视频，得到分割后的多路视频。

可选的，所述根据所述尺寸信息和所述位置信息，采用射线查询法，对应分割所述全景视频，得到分割后的多路视频，具体包括：

在所述全景视频场景中建立一个虚拟球体，将所述全景视频逐帧按球形贴图坐标贴在所述虚拟球体上；

根据所述尺寸信息和所述位置信息，在所述视频源中建立一个等比例的虚拟立方体；所述虚拟立方体包括六个面；

以所述虚拟立方体的中心作为射线的发出点，向所述虚拟立方体的六个面发出所述射线，并将所述射线穿过所述视频源中场景的像素信息作为投影在对应面的的像素信息；

根据所述像素信息，分别输出六路视频缓存，得到分割后的所述多路视频。

本发明还提供了一种全景视频的分割投影应用系统，设置在房间内，所述分割投影应用系统包括：视频源存储器、处理器、视频投影端；所述房间包括六个投影墙面，分别为上投影墙面、下投影墙面、前投影墙面、后投影墙面、左投影墙面以及右投影墙面；

所述视频源存储器，用于存储视频源；所述视频源包括全景视频；

所述处理器，分别与所述视频源存储器、所述视频投影端连接，用于根据所述房间内各个所述投影墙面的尺寸信息以及各个所述投影墙面在所述房间内的位置信息，对所述全景视频进行分割、遮盖处理，得到处理后的多路视频；

所述视频投影端，设置在所述投影墙面上，用于向所述房间内的投影墙面对应投放所述处理后的多路视频。

可选的，所述视频投影端，包括一个投影仪组和四个单独的投影仪，分别为第一投影仪组、第二投影仪、第三投影仪、第四投影仪以及第五投影仪；其中，所述第一投影仪组由四架向前后左右四个方向投影的投影仪组合而成；所述第一投影仪组，设置在所述上投影墙面的中心位置，用于向所述前投影墙面、所述后投影墙面、所述左投影墙面以及所述右投影墙面投放相应的所述处理后的多路视频；所述第二投影仪，沉浸式设置在所述下投影墙面和所述左投影墙面相交线的中间位置，用于向所述上投影墙面投放相应的所述处理后的多路视频；所述第三投影仪，沉浸式设置在所述下投影墙面和所述右投影墙面相交线的中间位置，用于向所述上投影墙面投放相应的所述处理后的多路视频；所述第四投影仪，沉浸式设置在所述上投影墙面和所述左投影墙面相交线的中间位置，用于向所述下投影墙面投放相应的所述处理后的多路视频；所述第五投影仪，沉浸式设置在所述上投影墙面和所述右投影墙面相交线的中间位置，用于为所述下投影墙面投放相应的所述处理后的多路视频。

可选的，所述处理器，分别与所述视频源存储器、所述视频投影端连接，用于根据所述尺寸信息和所述位置信息，采用虚拟摄像机直接取景法或者射线查询法，对应分割所述全景视频，得到分割后的多路视频；采用alpha遮盖方法，对所述分割后的多路视频的重叠部分进行遮盖处理，得到处理后的多路视频；其中所述重叠部分包括第一重叠部分和第二重叠部分；所述第一重叠部分为所述第二投影仪投放在所述上投影墙面的多路视频，与所述第三投影仪投放在所述上投影墙面的多路视频的重叠部分；所述第二重叠部分为所述第四投影仪投放在所述下投影墙面的多路视频，与所述第五投影仪投放在所述下投影墙面的多路视频的重叠部分。

可选的，所述视频投影系统还包括hd多通道声卡以及5.1声道环绕音响；其中，

所述处理器，用于根据音频解码库，提取具有3d音效的音频；

所述hd多通道声卡，与所述处理器连接，用于获取所述具有3d音效的音频；

所述5.1声道环绕音响，与所述hd多通道声卡连接，用于播放所述具有3d音效的音频。

可选的，所述5.1声道环绕音响设置在所述投影墙面上；所述5.1声道环绕音响包括五个5.1声道环绕音响，分别为第一5.1声道环绕音响、第二5.1声道环绕音响、第三5.1声道环绕音响、第四5.1声道环绕音响以及第五5.1声道环绕音响；其中，所述第一5.1声道环绕音响沉浸式设置在所述上投影墙面、所述前投影墙面以及所述左投影墙面的交界处；所述第二5.1声道环绕音响沉浸式设置在所述上投影墙面、所述前投影墙面以及所述右投影墙面的交界处；所述第三5.1声道环绕音响沉浸式设置在所述上投影墙面、所述后投影墙面以及所述左投影墙面的交界处；所述第四5.1声道环绕音响沉浸式设置在所述上投影墙面、所述后投影墙面以及所述右投影墙面的交界处；所述第五5.1声道环绕音响设置在所述下投影墙面的中心处。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种全景视频的分割投影方法以及应用其的系统，该系统设置在房间内，包括：视频源存储器、处理器、视频投影端；其中，所述房间包括六个投影墙面；所述视频源存储器，用于存储全景视频；所述处理器，分别与所述视频源存储器、所述视频投影端连接，用于根据所述房间内各个所述投影墙面的尺寸信息以及各个所述投影墙面在所述房间内的位置信息，对所述全景视频进行分割、遮盖处理，得到处理后的多路视频；所述视频投影端，设置在房间的投影墙面上，包括一个投影仪组和四个单独的投影仪，分别为第一投影仪组、第二投影仪、第三投影仪、第四投影仪以及第五投影仪，用于向所述房间内的投影墙面对应投放所述处理后的多路视频。因此，采用本发明提供的方法或者系统，能够使观影者脱离vr眼镜的限制，加强观影者的临场感，能够多人共同观赏的同时还能自由互动沟通，提升观赏体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例全景视频的分割投影方法的流程示意图；

图2为本发明实施例视频投影系统的结构示意图；

图3为本发明实施例第一投影仪组投影的示意图一；

图4为本发明实施例第一投影仪组投影的示意图二；

图5为本发明实施例第一投影仪组投影的示意图三；

图6为本发明实施例第一投影仪组投影的示意图四；

图7为本发明实施例第二投影仪和第三投影仪投影的示意图；

图8为本发明实施例第四投影仪和第五投影仪投影的示意图；

图9为本发明实施例5.1声道环绕音响设置示意图；

图10为本发明实施例采用虚拟摄像机直接取景法分割视频的方法示意图；

图11为本发明实施例采用射线查询法分割视频的方法示意图；

图12为本发明实施例需要投影的视频样帧图；

图13为本发明实施例采用两个投影仪从两边往中间投影的示意图；

图14为本发明实施例未采用alpha遮盖处理的投影效果示意图；

图15为本发明实施例采用alpha遮盖处理样帧效果示意图；

图16为本发明实施例采用alpha遮盖处理后的投影效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种全景视频的分割投影方法以及应用其的系统，能够使观影者脱离vr眼镜的限制，加强观影者的临场感，能够多人共同观赏的同时还能自由互动沟通，提升观赏体验。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例全景视频的分割投影方法的流程示意图，如图1所示，本发明提供的一种全景视频的分割投影方法具体包括以下步骤：

步骤101：获取视频源；所述视频源包括全景视频；

步骤102：获取房间内各个投影墙面的尺寸信息以及各个所述投影墙面在所述房间内的位置信息；

步骤103：根据所述尺寸信息和所述位置信息，对所述全景视频进行分割、遮盖处理，得到处理后的多路视频；

所述步骤103具体包括：

根据所述尺寸信息和所述位置信息，采用虚拟摄像机直接取景法或者射线查询法，对应分割所述全景视频，得到分割后的多路视频；

采用alpha遮盖方法，对所述分割后的多路视频的重叠部分进行遮盖处理，得到处理后的多路视频。

其中，根据所述尺寸信息和所述位置信息，采用虚拟摄像机直接取景法，对应分割所述全景视频，得到分割后的多路视频，具体包括：

在所述全景视频场景中建立一个虚拟球体，将所述全景视频逐帧按球形贴图坐标贴在所述虚拟球体上；

根据所述尺寸信息和所述位置信息，在所述虚拟球体的中心建立多个虚拟摄像机；所述虚拟摄像机的数量与所述投影墙面的数量一致；

获取所述虚拟摄像机朝向各个方向拍摄的图像信息；

根据所述图像信息，分割所述全景视频，得到分割后的多路视频。

根据所述尺寸信息和所述位置信息，采用射线查询法，对应分割所述全景视频，得到分割后的全景视频，具体包括：

在所述全景视频场景中建立一个虚拟球体，将所述全景视频逐帧按球形贴图坐标贴在所述虚拟球体上；

根据所述尺寸信息和所述位置信息，在所述视频源中建立一个等比例的虚拟立方体；所述虚拟立方体包括六个面；

以所述虚拟立方体的中心作为射线的发出点，向所述虚拟立方体的六个面发出所述射线，并将所述射线穿过所述视频源中场景的像素信息作为投影在对应面的的像素信息；

根据所述像素信息，分别输出六路视频缓存，得到分割后的所述多路视频。

步骤104：将所述处理后的多路视频投放在相应的所述投影墙面上。

图2为本发明实施例视频投影系统的结构示意图。如图2所示，所述视频投影系统包括：视频源存储器1(图中未所示)、处理器2(图中未所示)、视频投影端3。本发明实施例提供的一种全景视频的分割投影应用系统，设置在房间4内。

所述房间4包括六个投影墙面，分别为上投影墙面401、下投影墙面402、前投影墙面403、后投影墙面404、左投影墙面405以及右投影墙面406。

所述视频源存储器1，用于存储视频源；所述视频源包括全景视频。

所述处理器2，分别与所述视频源存储器1、所述视频投影端3连接，用于根据所述房间内各个所述投影墙面的尺寸信息以及各个所述投影墙面在所述房间内的位置信息，采用虚拟摄像机直接取景法或者射线查询法，对应分割所述全景视频，得到分割后的多路视频；

所述处理器2还用于采用alpha遮盖方法，对所述分割后的多路视频的重叠部分进行遮盖处理，得到处理后的多路视频。

所述视频投影端3，设置在所述投影墙面上；所述视频投影端3，包括一个投影仪组和四个单独的投影仪，分别为第一投影仪组301、第二投影仪302、第三投影仪303、第四投影仪304以及第五投影仪305，用于向所述房间内的投影墙面对应投放所述处理后的多路视频。

其中，所述第一投影仪组301由四架向前后左右四个方向投影的投影仪组合而成；所述第一投影仪组301，设置在所述上投影墙面401的中心位置。所述第二投影仪302，沉浸式设置在所述下投影墙面402和所述左投影墙面405相交线的中间位置。所述第三投影仪303，沉浸式设置在所述下投影墙面402和所述右投影墙面406相交线的中间位置。所述第四投影仪304，沉浸式设置在所述上投影墙面401和所述左投影墙面405相交线的中间位置。所述第五投影仪305，沉浸式设置在所述上投影墙面401和所述右投影墙面406相交线的中间位置。

所述视频投影系统还包hd多通道声卡5以及5.1声道环绕音响6(图中未所示)。

所述处理器2，用于根据音频解码库，提取具有3d音效的音频；

所述hd多通道声卡5，与所述处理器2连接，用于获取所述具有3d音效的音频；

所述5.1声道环绕音响6，与所述hd多通道声卡5连接，用于播放所述具有3d音效的音频。

图3为本发明实施例第一投影仪组投影的示意图一。图4为本发明实施例第一投影仪组投影的示意图二。图5为本发明实施例第一投影仪组投影的示意图三。图6为本发明实施例第一投影仪组投影的示意图四。

如图3-6所示，所述第一投影仪组301由四架向前后左右四个方向投影的投影仪组合而成；所述第一投影仪组301，设置在所述上投影墙面401的中心位置，用于向所述前投影墙面403、所述后投影墙面404、所述左投影墙面405以及所述右投影墙面406投放相应的所述处理后的多路视频。

图7为本发明实施例第二投影仪和第三投影仪投影的示意图。如图7所示，所述第二投影仪302，沉浸式设置在所述下投影墙面402和所述左投影墙面405相交线的中间位置，用于向所述上投影墙面401投放相应的所述处理后的多路视频。所述第三投影仪303，沉浸式设置在所述下投影墙面402和所述右投影墙面406相交线的中间位置，用于向所述上投影墙面401投放相应的所述处理后的多路视频。

图8为本发明实施例第四投影仪和第五投影仪投影的示意图。如图8所示，所述第四投影仪304，沉浸式设置在所述上投影墙面401和所述左投影墙面405相交线的中间位置，用于向所述下投影墙面402投放相应的所述处理后的多路视频。所述第五投影仪305，沉浸式设置在所述上投影墙面401和所述右投影墙面406相交线的中间位置，用于向所述下投影墙面402投放相应的所述处理后的多路视频。

图9为本发明实施例5.1声道环绕音响设置示意图。如图9所示，所述5.1声道环绕音响6设置在所述投影墙面上；所述5.1声道环绕音响6包括五个5.1声道环绕音响，分别为第一5.1声道环绕音响601、第二5.1声道环绕音响602、第三5.1声道环绕音响603、第四5.1声道环绕音响604以及第五5.1声道环绕音响605。

所述第一5.1声道环绕音响601沉浸式设置在所述上投影墙面401、所述前投影墙面403以及所述左投影墙面405的交界处；所述第二5.1声道环绕音响602沉浸式设置在所述上投影墙面401、所述前投影墙面403以及所述右投影墙面406的交界处；所述第三5.1声道环绕音响603沉浸式设置在所述上投影墙面401、所述后投影墙面404以及所述左投影墙面405的交界处；所述第四5.1声道环绕音响604沉浸式设置在所述上投影墙面401、所述后投影墙面404以及所述右投影墙面406的交界处；所述第五5.1声道环绕音响605设置在所述下投影墙面402的中心处。

图10为本发明实施例采用虚拟摄像机直接取景法分割视频的方法示意图。如图10所示，所述处理器2，用于根据所述房间内各个所述投影墙面的尺寸信息以及各个所述投影墙面在所述房间内的位置信息，采用虚拟摄像机直接取景法，对应分割所述全景视频，得到分割后的多路视频。

其中，采用虚拟摄像机直接取景法分割全景视频，具体包括：在全景视频场景中建立一个虚拟球体，将全景视频逐帧按球形贴图坐标贴在所述球体上，在视频源虚拟场景中心建立6架摄像机，分别朝向前后左右上下六个方向，按照观影室墙面尺寸计算摄像机的视角角度，将6架摄像机从当前视频样帧“拍到的”图像分别传输至投影端，例如，朝向前方向的虚拟摄像机从当前视频样帧“拍到的”图像经过处理后传输至第一投影仪301，然后第一投影仪301将当前视频样帧投影到前投影墙面403上。同理，其他墙面的分割视频也是通过上述方法获得。

图11为本发明实施例采用射线查询法分割视频的方法示意图。如图11所示，所述处理器2，用于根据所述尺寸信息和所述位置信息，采用射线查询法，对应分割所述全景视频，得到分割后的多路视频。

其中，采用射线查询法分割全景视频，具体包括：

第一、在所述全景视频场景中建立一个虚拟球体，将所述全景视频逐帧按球形贴图坐标贴在所述球体上，按房间4的尺寸信息，在球体中心建立一个等比例的立方体；

第二、以立方体球心作为射线发出点向立方体六个面上的每一个点(点数按分辩率要求计算，如1920x1080，则单面水平方向1920个点，垂直方向1080个点)发出射线，得到射线经过视频源中场景的颜色投影中对应墙面的一点颜色信息；

第三、根据射线经过视频源中场景的颜色投影中对应墙面的一点颜色信息，汇成每个面的图像信息；

第四、根据每个面的图像信息，对应输出视频缓存，得到分割后的多路视频。

例如，采用射线查询法，得到射线经过视频源中场景的颜色投影中左墙面的一点颜色信息，然后根据投影在左墙面的所有点颜色信息，汇成左墙面的当前视频样帧的图像信息，并根据此图像信息，将对应投放在左墙面的当前视频样帧分割出来，同理，其他墙面的分割视频也是通过上述方法获得。

图12为本发明实施例需要投影的视频样帧图。图13为本发明实施例采用两个投影仪从两边往中间投影的示意图。图14为本发明实施例未采用alpha遮盖处理的投影效果示意图。图15为本发明实施例采用alpha遮盖处理样帧效果示意图。图16为本发明实施例采用alpha遮盖处理后的投影效果示意图。

在本发明实施例中前、后、左、右四个投影墙面可以直接由相应的投影仪输出，但是上、下两个投影墙面由于是正方形且投影仪投射图片大小比例的问题，所以在上、下两个投影墙面选择用两个投影机从两边往中间投影，即本发明实施例中采用所述第二投影仪302和所述第三投影仪303向所述上投影墙面401投放相应的所述处理后的多路视频，采用所述第四投影仪304和所述第五投影仪305向所述下投影墙面402投放相应的所述处理后的多路视频，其投放结果如图13所示。

在实际应用中，原本投放在上投影墙面或者下投影墙面的多路视频如图12所示，但是实际上采用所述第二投影仪302和所述第三投影仪303向所述上投影墙面401投放的结果如图14所示，投放的多路视频的中间会有一重叠形成高亮部分，且采用所述第四投影仪304和所述第五投影仪305向所述下投影墙面402投放的多路视频同样也在中间重叠部分形成高亮区域。

为了消除高亮部分，本发明实施例采用alpha遮盖方法，对所述分割后的多路视频的重叠部分进行遮盖处理，得到处理后的多路视频，具体为：

如图15所示，对重叠部分的两半图片分别作alpha遮盖处理，然后再用两台投影仪投射，得到如图16所示的图像，两台投影仪投射的图像可以很好地融合成一幅图像，接缝处不会有明显的边缘。其中，所述重叠部分包括第一重叠部分和第二重叠部分。所述第一重叠部分为所述第二投影仪投放在所述上投影墙面的多路视频，与所述第三投影仪投放在所述上投影墙面的多路视频的重叠部分。所述第二重叠部分为所述第四投影仪投放在所述下投影墙面的多路视频与所述第五投影仪投放在所述下投影墙面的多路视频的重叠部分。

通过本发明实施例提供的全景视频的分割投影方法以及应用其的系统，将分割投影系统设置在房间内，能够使观影者脱离vr眼镜的限制，加强观影者的临场感，能够多人共同观赏的同时还能自由互动沟通，提升观赏体验。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。