基于用户视角播放全景视频的方法及系统与流程

本发明涉及视频播放的技术领域，更具体地，涉及一种基于用户视角播放全景视频的方法及系统。

背景技术：

全景数据，包括全景视频，已成为当前的热门研究课题之一。全景视频，即720度或者360度全景视频，它是在720度或者360度全景的技术之上发展延伸而来，将静态的全景图片转化为动态的视频图像，全景视频可以在拍摄角度上下左右360度范围内任意观看动态视频，让用户有一种身临其境的感觉。在制作全景视频时使用一组摄像机在拍摄点周围同时拍摄360度(或720度)的画面，并经过后期的图像拼接缝合后使之能够在任意时刻无失真地展现拍摄点周围画面的视频。

目前还没有保存全景视频的特有格式，现有的全景视频还是采用与传统视频相同的保存格式：全景播放器播放的是经过拼接处理的以拍摄点为中心的球面投影面上的画面，目前对这种球面投影不方便存储，而是常常将球面投影变换存储为矩形图像，在全景播放器播放该全景视频时将存储的矩形图像重新映射贴合到球面上播放。

然而，在用户观看全景视频时，由于人体视角的原因不能同时看到整个全景视频的画面，因此，对于用户来说解码、贴图和渲染播放整个全景视频是一种极大的资源浪费，尤其是在用户通过移动终端流量观看时，下载全景视频数据本身就比较耗费流量；并且现有方案对全景视频进行渲染播放时也会增加用户终端的解码和渲染压力，不利于用户使用体验。

另一方面，由于移动网络带宽的限制，可能会造成用户观看全景视频过程不流畅的问题，影响用户的观看体验。

因此，提供一种降低播放全景视频压力并提升播放流畅度的方案是本领域亟待解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种基于用户视角播放全景视频的方法及系统，解决了现有技术中播放全景视频增加播放设备压力及播放不流畅的技术问题。

为了解决上述技术问题，本发明提出一种基于用户视角播放全景视频的方法，包括：

在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上；

在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系；

检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角；

根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频；

基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。

进一步地，其中，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。

进一步地，其中，基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并播放，为：

获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；

基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

进一步地，其中，该方法还包括：

接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；

根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；

基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

进一步地，其中，检测所述播放全景视频的设备的空间位置，为：

根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。

另一方面，本发明还提供一种基于用户视角播放全景视频的系统，包括：设置模块、全景视频获取模块、用户视角获取模块、用户视角范围内全景视频获取模块及全景视频播放模块；其中，

所述设置模块，用于在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上；

所述全景视频获取模块，用于在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系；

所述用户视角获取模块，用于检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角；

所述用户视角范围内全景视频获取模块，用于根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频；

所述全景视频播放模块，用于基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。

进一步地，其中，所述贴合模型，为：球体贴合模型或六面体贴合模型。

进一步地，其中，所述全景视频播放模块，用于：

获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；

基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

进一步地，其中，该系统包括：景深控制模块，所述景深控制模块用于：

接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；

根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；

基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

进一步地，其中，所述用户视角获取模块，用于：

根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。

与现有技术相比，本发明的基于用户视角播放全景视频的方法及系统，实现了如下的有益效果：

(1)本发明所述的基于用户视角播放全景视频的方法及系统，针对用户视角范围内的全景视频进行贴片后渲染播放，不需要对用户视觉范围外的全景视频进行渲染，降低了播放全景视频的渲染压力，提升了全景视频播放的流畅度。

(2)本发明所述的基于用户视角播放全景视频的方法及系统，基于用户视角范围获取对应空间三维内的全景视频，并转换为存储的全景视频范围，从而从全景视频中获取对应部分的视频内容贴合到全景视频的贴合模型相应位置进行渲染播放，提升了用户视角内全景视频贴合播放的准确性。

(3)本发明所述的基于用户视角播放全景视频的方法及系统，基于全景视频的景深控制，调节用户视角范围内的全景视频拉近或拉远，方便用户调节不同的全景视频画面的远近，提升了用户使用体验。

(4)本发明所述的基于用户视角播放全景视频的方法及系统，基于360度的全景视频，没有任何画面上的损耗，所有画面更逼近现实，画质清晰度更高，使得用户能够达到更好的使用体验。

当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例1中所述基于用户视角播放全景视频的方法的流程示意图；

图2为本发明实施例1中所述为本实施例中获取用户视角范围内全景视频贴合到贴合模型相应位置的示意图；

图3为本发明实施例2中所述基于用户视角播放全景视频的方法的流程示意图；

图4为本发明实施例3中所述基于用户视角播放全景视频的系统的结构示意图；

图5为本发明实施例2中基于播放全景视频的设备与用户的头部之间位置关系确定播放全景视频的设备空间位置的示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

如图1所示，为本实施例所述基于用户视角播放全景视频的方法的流程示意图，本实施例所述方法解决了现有技术中播放全景视频增加播放设备压力及播放不流畅的技术问题。本实施例所述基于用户视角播放全景视频的方法包括以下步骤：

步骤101、在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上。

优选地，在全景视频拍摄时，每个全景视频画面与空间三维的位置就是一一对应的，在拍摄好全景视频后，对全景视频的处理过程中就预先会将全景视频的画面与空间三维进行一一映射，并保存该全景视频与空间三维的映射关系，以便播放全景视频时的准确地确定全景视频的画面位置。

步骤102、用户在播放全景视频的设备中发送全景视频播放请求，在所述全景视频播放请求中带有所请求播放全景视频的标识。

步骤103、在播放全景视频的设备中，收到全景视频播放请求时，根据所请求播放全景视频的标识从全景视频数据库中获取对应的全景视频数据，包括：根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系。

步骤104、检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角。

用户通过头部穿戴播放全景视频的设备，才能观看该设备中播放的全景视频，故该播放全景视频的设备会跟随着用户头部的活动而改变空间位置，且播放全景视频的设备的空间位置改变也反应出了用户的全景视角变化范围，因此通过播放全景视频的设备的空间位置可以反应出用户观看全景视频的视角。

步骤105、根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频。

全景视频是将用户置身于视频所构建的空间中，使得用户有一种身临其境的沉浸感，但是用户的视觉范围有限，要是将整个全景视频都贴合到贴合模型上制造出整个全景视频的播放场景，对于不在用户视角范围内的全景视频也进行贴合，渲染播放，无疑是一种极大的浪费，同时，还会增加全景视频播放器的播放压力。

在本步骤中，获取用户的视觉范围内的空间三维区域，在根据全景视频与空间三维的映射关系，就能够反推出存储在数据库中相应区域的全景视频内容，这样，就能获取用户视角范围内的全景视频展现给用户。

步骤106、基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。

如图2所示，为本实施例中获取用户视角范围201内全景视频202贴合到贴合模型203的相应位置的示意图，其中图中阴影部分为用户视角204处观看到贴合在贴合模型203上的视角范围201所对应的视角内全景视频202。

优选地，在所述用户的空间视角发生移动时，检测所述播放全景视频的设备移动后到达的空间位置，并基于所述播放全景视频的设备移动后到达的空间位置，得到所述用户移动后的空间视角；

获取用户移动后的空间视角所对应移动后的全景视频内容，基于所述全景视频与空间三维的映射关系，将所述用户移动后视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。

本实施例所述基于用户视角播放全景视频的方法，针对用户视角范围内的全景视频进行贴片后渲染播放，不需要对用户视觉范围外的全景视频进行渲染，降低了播放全景视频的渲染压力，提升了全景视频播放的流畅度。

实施例2

如图3所示，为本实施例所述基于用户视角播放全景视频的方法的流程示意图，本实施例在实施例1的基础上，描述了获取用户视角范围、控制全景视频播放画面拉近或拉远的具体内容。本实施例所述基于用户视角播放全景视频的方法包括以下步骤：

步骤301、在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上。其中，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。

步骤302、在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系。

步骤303、根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。

如图5所示，为本实施例中基于播放全景视频的设备与用户的头部之间位置关系确定播放全景视频的设备空间位置的示意图。在图中，以用户头部501为原点建立x-y-z的空间三维坐标系，基于用户头部501与播放全景视频的设备502之间的距离503、用户头部501与播放全景视频的设备502连线到x轴之间的夹角A、用户头部501与播放全景视频的设备502连线到y轴之间的夹角B及用户头部501与播放全景视频的设备502连线到z轴之间的夹角C确定播放全景视频的设备相对于用户头部的空间位置。

步骤304、基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角。

步骤305、根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频。

步骤306、获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型。

步骤307、基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

步骤308、接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型。

步骤309、根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频。

由于贴合用户当前视角范围内的全景视频的载体(贴合模型)进行了拉远/拉近，全景视频贴合到贴合模型上也就变成拉远/拉近的全景视频画面，如此有利于用户通过对景深的控制调节全景视频的远近程度，进一步提升了用户的使用体验。

步骤310、基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

本实施例所述的基于用户视角播放全景视频的方法，基于全景视频的景深控制，调节用户视角范围内的全景视频拉近或拉远，方便用户调节不同的全景视频画面的远近，提升了用户使用体验。

实施例3

如图4所示，为本实施例所述基于用户视角播放全景视频的结构示意图。本实施例所述的系统用于实施上述实施例中所述基于用户视角播放全景视频的方法。本实施例所述的基于用户视角播放全景视频的系统，包括：设置模块401、全景视频获取模块402、用户视角获取模块403、用户视角范围内全景视频获取模块404及全景视频播放模块405。

其中，所述设置模块401与所述全景视频获取模块402相藕接，用于在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上。

所述全景视频获取模块402与所述设置模块401及用户视角获取模块403相藕接，用于在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系。

所述用户视角获取模块403与所述全景视频获取模块402及用户视角范围内全景视频获取模块404相藕接，用于检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角。

所述用户视角范围内全景视频获取模块404与所述用户视角获取模块403及全景视频播放模块405相藕接，用于根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频。

所述全景视频播放模块405与所述用户视角范围内全景视频获取模块404相藕接，用于基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。

优选地，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。

所述全景视频播放模块405，进一步用于：

获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；

基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

上述系统进一步包括：景深控制模块406与所述全景视频播放模块405相藕接，所述景深控制模块406用于：

接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；

根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；

基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。

所述用户视角获取模块403，进一步用于：

根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。

通过以上各个实施例可知，本发明的基于用户视角播放全景视频的方法及系统，存在的有益效果是：

(1)本发明所述的基于用户视角播放全景视频的方法及系统，针对用户视角范围内的全景视频进行贴片后渲染播放，不需要对用户视觉范围外的全景视频进行渲染，降低了播放全景视频的渲染压力，提升了全景视频播放的流畅度。

(2)本发明所述的基于用户视角播放全景视频的方法及系统，基于用户视角范围获取对应空间三维内的全景视频，并转换为存储的全景视频范围，从而从全景视频中获取对应部分的视频内容贴合到全景视频的贴合模型相应位置进行渲染播放，提升了用户视角内全景视频贴合播放的准确性。

(3)本发明所述的基于用户视角播放全景视频的方法及系统，基于全景视频的景深控制，调节用户视角范围内的全景视频拉近或拉远，方便用户调节不同的全景视频画面的远近，提升了用户使用体验。

(4)本发明所述的基于用户视角播放全景视频的方法及系统，基于360度的全景视频，没有任何画面上的损耗，所有画面更逼近现实，画质清晰度更高，使得用户能够达到更好的使用体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。