虚拟现实视频数据的传输方法、播放方法及装置和系统与流程

文档序号:14993703发布日期:2018-07-20 23:05阅读:189来源:国知局

本发明涉及虚拟现实技术领域,特别涉及一种虚拟现实视频数据的传输方法、播放方法及装置和系统。



背景技术:

虚拟现实技术(virtualreality,vr)是一种可以创建和体验虚拟世界的计算机仿真技术,它可以生成一种模拟环境,提供实时动态的三维立体逼真图像,可以使用户获得身临其境的感觉,沉浸于该模拟环境之中。

随着vr技术的发展和深入,已经逐步产生各种基于vr视频的应用,例如vr游戏,vr工业仿真,vr远程教育,vr视频直播等。在这些应用中,有些是基于网络的,例如vr远程教育,vr视频直播等,需要将vr视频通过网络传输到用户使用的播放终端,在播放终端播放,使用户通过远程的方式感受立体的、动感的vr视频内容,从而产生与以往传统的视频内容不一样的观看体验。

但是,由于基于网络的vr视频数据的应用中,立体的vr视频数据相对传统的视频数据数据量大很多,而在当前网络带宽和播放终端处理能力未大幅改进的情况下,传统的网络传输方法,显然已不再适合vr视频数据的传输,如何满足vr视频连续性、稳定性播放的需要,成为亟待解决的技术问题。



技术实现要素:

鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种虚拟现实视频数据的传输方法、播放方法及装置和系统。

第一方面,本发明实施例提供的一种虚拟现实视频数据的传输方法,包括:

从虚拟现实vr视频数据中,确定当前需要传送至播放终端的部分角度的视频数据;所述vr视频数据包含同一个时刻不同角度的多个视频数据;

将确定出的所述部分角度的视频数据传送到播放终端。

进一步地,从虚拟现实vr视频数据中,确定当前需要发送至播放终端的部分角度的视频数据,包括:

当接收到播放终端发送的vr视频数据的播放请求时,将vr视频数据中预设的初始角度范围内的视频数据确定为所述部分角度的视频数据。

进一步地,从虚拟现实vr视频数据中,确定当前需要发送至播放终端的部分角度的视频数据,包括:

当接收到播放终端发送的切换vr视频显示角度的控制指令时,将切换后的角度范围内的视频数据确定为所述部分角度的视频数据。

进一步地,本发明提供一种虚拟现实视频数据的传输方法,还包括:将所述切换后的角度范围相邻的一个或多个角度的视频数据也确定为所述部分角度的视频数据。

第二方面,本发明实施例提供了一种虚拟现实视频数据的播放方法,包括:

接收服务器传送的虚拟现实vr视频数据中部分角度的视频数据;所述vr视频数据包含同一个时刻不同角度的多个视频数据;

播放所述部分角度的视频数据。

进一步地,接收服务器传送的vr视频数据中部分角度的视频数据之前,还包括:

向所述服务器发送vr视频数据的播放请求;

所述接收服务器传送的部分角度的vr视频数据,包括:

接收服务器发送的vr视频数据中预设的初始角度范围的视频数据。

进一步地,接收服务器传送的vr视频数据中部分角度的视频数据之前,还包括:

向所述服务器发送切换vr视频显示角度的控制指令;

所述接收服务器传送的vr视频数据中部分角度的视频数据,包括:

接收服务器传送的切换后的角度范围内的视频数据。

进一步地,所述接收服务器传送的vr视频数据中部分角度的视频数据,还包括:

接收服务器发送的所述切换后的角度范围相邻的一个或多个角度的视频数据。

第三方面,本发明实施例提供的一种服务器,包括:

确定模块,用于从虚拟现实vr视频数据中,确定当前需要发送至播放终端的部分角度的视频数据;所述vr视频数据包含同一个时刻不同角度的多个视频数据;

传送模块,用于将所述确定模块确定出的所述部分角度的视频数据传送到播放终端。

进一步地,所述确定模块,具体当接收到播放终端发送的vr视频数据的播放请求时,将vr视频数据中预设的初始角度范围内的视频数据确定为所述部分角度的视频数据。

进一步地,所述确定模块,具体用于当接收到播放终端发送的切换vr视频显示角度的控制指令时,将切换后的角度范围内的视频数据确定为所述部分角度的视频数据。

进一步地,所述确定模块,还用于将所述切换后的角度范围相邻的一个或多个角度的视频数据也确定为所述部分角度的视频数据。

第四方面,本发明实施例提供的一种播放终端,包括:

接收模块,用于接收服务器传送的虚拟现实vr视频数据中部分角度的视频数据;所述vr视频数据包含同一个时刻不同角度的多个视频数据;

播放模块,用于播放所述部分角度的视频数据。

进一步地,所述确定模块,还可以包括:

发送模块,用于向所述服务器发送vr视频数据的播放请求;

所述接收模块,具体用于接收服务器发送的vr视频数据中预设的初始角度范围的视频数据。

进一步地,所述确定模块,还可以包括:

发送模块,用于向所述服务器发送切换vr视频显示角度的控制指令;

所述接收模块,具体用于接收服务器传送的切换后的角度范围内的视频数据。

进一步地,所述接收模块,还用于接收服务器发送的所述切换后的角度范围相邻的一个或多个角度的视频数据。

第四方面,本发明实施例提供的一种虚拟现实视频数据的播放系统,所述系统包括至少一个上述服务器和至少一个上述播放终端。

本发明实施例提供的上述技术方案至少包括下述有益效果:

本发明实施例提供的上述虚拟现实视频数据的传输方法、播放方法及装置和系统中,服务器侧从vr视频数据中,确定当前需要传送给播放终端的部分角度的视频数据,vr视频数据中包含同一个时刻不同角度的多个视频数据,然后将确定出的该部分角度的视频数据传送到播放终端,以便播放终端呈现给用户当前用户需要观看的那部分视角的内容,这种采用部分视频数据传输的方式,不必将vr视频数据整体一次性地都传送给播放终端,在保证用户观看体验的前提下,从一定程度上节约了带宽资源和播放终端的播放资源,从而大大减轻了网络传输的压力以及对播放终端处理能力的要求。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:

图1为本发明实施例中虚拟现实视频数据的传输方法的流程图;

图2为本发明实施例提供的视角场坐标示意图;

图3为本发明实施例中虚拟现实视频数据的播放方法的流程图;

图4为本发明实施例提供的服务器的结构示意图;

图5为本发明实施例提供的播放终端的结构示意图;

图6为本发明实施例提供的虚拟现实视频数据的播放系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

首先对本发明实施例提供的虚拟现实的传输方法进行详细的说明。

本发明实施例提供的虚拟现实视频数据的传输方法,如图1所示,包括:

步骤s11、从虚拟现实(vr)视频数据中,确定当前需要传送至播放终端的部分角度的视频数据;vr视频数据包含同一个时刻不同角度的多个视频数据;

步骤s12、将确定出的部分角度的视频数据传送到播放终端。

由于整个vr视频数据是立体的、全视角的视频数据,而人眼的观看视角有限,在某一时刻,只需要观看其中部分视角的视频数据即可,因此,在本发明实施例提供的上述虚拟现实视频数据的传输方法中,在包含有同一个时刻不同角度的多个视频数据的vr视频数据中,确定当前需要传送给播放终端的那部分视频数据,然后将确定出的部分角度的视频数据传送到播放终端,以便播放终端呈现给用户当前用户需要观看的那部分视角的内容,这种采用部分视频 数据传输的方式,不必将vr视频数据整体一次性地都传送给播放终端,在保证用户观看体验的前提下,从一定程度上节约了带宽资源和播放终端的播放资源,从而大大减轻了网络传输的压力以及对播放终端处理能力的要求。

在本发明实施例中,vr视频数据包括:直播的vr视频数据、各种非直播的vr视频数据例如vr游戏视频、vr教育视频等等。但本发明实施例并不限于上述列举的各种vr视频。

在本发明实施例提供的上述虚拟现实视频数据的传输方法的各步骤,在具体实施时,执行主体在可以是网络侧的服务器,例如各种集群式服务器、云服务器或者普通服务器等,本发明实施例对此不做限定。

采用云服务器进行云存储的方式,就是将相同的直播vr视频冗余地备份于多个云存储位置中,例如存储于不同的云存储服务器之中,当用户请求播放vr视频数据时,可以有效提高vr视频数据的传播效率,尤其在用户访问量较大且比较分散的情况下,云存储的方式可以有效地分散单个服务器的访问压力,使vr视频数据得以快速地传输至请求访问的播放终端之中。

进一步地,上述步骤s11从vr视频数据中,确定当前需要发送至播放终端的部分角度的视频数据,包括两种情况,第一种是在初始请求播放vr视频时将部分vr视频发送给播放终端的情况,第二种是在vr视频播放过程中,根据播放终端的需求,将部分vr视频发送给播放终端的情况,下面分别进行说明。

第一种情况,上述步骤s11中确定当前需要发送至播放终端的部分角度的视频数据,包括:

当接收到播放终端发送的vr视频数据的播放请求时,将vr视频数据中预设的初始角度范围内的视频数据确定为部分角度的视频数据。

vr视频数据中包含了同一个时刻不同角度的多个视频数据,举例来说,如果vr视频数据整体包含了360°视角范围的影像信息,其中具体包含了10个不同角度范围的视频数据(每36°为一个角度范围),在初始时,按照缺省 或预设的角度,将缺省或预设的角度对应的那部分视频数据发送给播放终端进行播放,例如当接收到播放终端发送的vr视频数据的播放请求时,首先将0度到120度视角的那部分视频数据发送给播放终端。

第二种情况,上述步骤s11中确定当前需要发送至播放终端的部分角度的视频数据,包括:

当接收到播放终端发送的切换vr视频显示角度的控制指令时,将切换后的角度范围内的视频数据确定为部分角度的视频数据。

当初始的那部分视角的视频数据传送到播放终端进行播放之后,播放终端会向用户展示预设的或者默认的视角内的视频数据,随后,用户可以通过对播放终端本身直接发出调整观看视角的控制指令,或者通过其他控制设备来间接地向播放终端发出调整观看视角的控制指令。播放终端根据该控制指令,向服务器端发送对应的切换vr视频显示角度的控制指令,该控制指令用以指示服务器端将那些视角的视频数据发送给播放终端。

举例来说,上述用户发出的控制指令通过下述一项或多项方式获得:

通过感知对播放终端的屏幕、键盘或操控按钮的触控而获得;(例如用户触控智能手机的屏幕向左、右、上和下移动的情况)

通过感知播放终端的遥控设备发出的指令获得;(例如用户点击遥控器的上下左右的方向键的情况)

通过感知播放终端的控制手柄发出的指令获得;(例如用户根据需要操控手柄的情况)

通过感知vr可穿戴设备运动所产生的角度变化而获得。(例如用户佩戴vr可穿戴设备,随着用户头部的运动,vr可穿戴设备通过自身的传感器感知其角度的变化)

在上述例子中,用户可以直接在智能手机的屏幕上,通过向上、向下、向左或向右的滑动指令,发出向上、向下、向左和向右的移动方位的指令,当播放终端接收到控制指令后,会根据用户的需求,向服务器侧发出相应的切换 vr视频显示角度的控制指令。

向服务器侧发出的切换vr视频显示角度的控制指令之中,携带有切换后的角度的信息,例如初始是0°~120°的视角,用户通过遥控器请求切换至120°~180°,那么播放终端将向服务器侧发出请求切换至120°~180°的控制指令,服务器收到该控制指令后,将120°~180°视角范围内的视频数据确定为需要发送给播放终端的那部分视频数据。

举个例子来说,用户通过智能电视请求播放某个vr视频,服务器将初始默认视角的视频数据发送给智能电视,比如初始显示的是海平线附近的景色,然后,用户按动遥控器的方向键,例如按下向左移动的方向键时,智能电视向网络侧的服务器请求向左移动一定视角的控制指令,服务器侧收到该控制指令后,立即将对应视角的那部分视频数据发送给播放终端,以便播放终端对用户的控制指令进行响应。

这样,从用户的角度来说,智能电视初始显示的是海平面的视频数据,则随着用户发出的向左移动的控制指令(用户按动遥控器的左方向键),智能电视机将继续播放当前视角的左侧一定视角的视频,例如海岸上的相关景色等。

较佳地,为了保证播放终端vr视频的连续性,为用户提供良好的观看体验,在初始请求播放vr视频时,预设的初始角度范围的视频数据相对后续请求角度切换时发送给播放终端的视角范围大一些。例如初始确定发送给播放终端的视频数据对应的角度为120°,此后每当用户请求切换角度,每次发送给播放终端的视频数据对应的角度可以是60°等。

如图2所示的视角场坐标示意图,初始时,将视角30°~150°内的那部分视频数据发送给播放终端。随着用户对于视角的切换需求,当逐步将初始视角左侧60°范围(对应视角-30°~30°)内的视频数据发送给播放终端,以便播放终端逐步展示给用户。

由于vr视频是通过vr摄像机来拍摄的,vr摄像机可以包含至少2个摄像头,每个摄像头对应拍摄的视角度范围均不同,每个摄像头拍摄的角度范 围可部分重叠或者不重叠。每个摄像头拍摄的视角范围的大小可以均等,比如10个摄像头,每个摄像头的视角范围的大小为36°等,这样,初始发送给播放终端的视频数据,可以将几个摄像头拍摄的不同角度的视频数据先合并(拼接),然后作为一个整体发送给播放终端。后续用户请求切换视角时,再根据切换后的角度,将一个或多个的摄像头拍摄的视频数据发送给播放终端。

在发送预设的初始角度范围内的视频数据和后续发送切换后的视频数据之间,需要有较短的时延,即对服务器响应速度和网络传输速度都有较高的要求,一旦出现较大的时延,用户会发现请求变换视角时,会出现视频展示不连贯的情形,等待服务器侧的视频数据到达后,才会展示切换后角度的视频数据,为了避免过大的时延,除了提高服务器处理速度和网络传输带宽的方式之外,还可以通过较好的编码方式对视频数据进行编码,例如采用可以采用h.265格式对vr视频进行编码。h.265标准对现有的视频编码标准h.264一些相关的技术加以了改进。h.265标准使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系,达到最优化设置。改进的方面包括:提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。h264由于算法优化,可以低于1mbps的速度实现标清数字图像传送;h265则可以实现利用1~2mbps的传输速度传送720p(分辨率1280*720)普通高清音视频。采用h.265格式进行编码的好处在于,在使用相同带宽情况下,可以传输更高质量的视频,或者传输视频质量不变的情况下,尽可能少地占用带宽,可以有效减少vr视频传输的时延,vr视频播放的效果。

更进一步地,为了减少服务器响应速度、网络传输对视频观看连续性的影响,在上述步骤s11中,除了将切换后的角度范围内的视频数据确定为部分角度的视频数据之外,还可以将切换后的角度范围相邻的一个或多个角度的视频数据也确定为需要传输给播放终端的那部分角度的视频数据,即:发送给播放终端的信息中包含了切换后的角度范围内的视频数据和切换后的角度范围相 邻的一个或多个角度的视频数据,增加了冗余的视频数据的目的在于,由于人眼观看视角的连贯性,可以在少量增加视频数据传输量的基础上,将需要切换的视角的相邻部分视角对应的视频数据也一并发过去,可以在持续切换角度的过程中,为服务器响应和网络传输赢得时间,使得播放终端的播放更为流畅。

上述步骤s12中,将确定出的部分角度的视频数据传送到播放终端,可以通过多种方式传送给播放终端,例如通过无线电广播(publicair)的方式或者通过数据流的方式传送给播放终端。

本发明实施例还了一种虚拟现实视频数据的播放方法,如图3所示,包括:

s31、接收服务器传送的虚拟现实vr视频数据中部分角度的视频数据;所述vr视频数据包含同一个时刻不同角度的多个视频数据;

s32、播放部分角度的视频数据。

上述虚拟现实视频数据的播放方法,适用于播放终端,播放终端包括各种具备vr视频播放能力的终端例如:智能电视、智能手机、平板电脑、vr可穿戴设备(vr头盔和vr眼镜)等。

进一步地,在上述步骤s31之前,还可以执行下述步骤:向所述服务器发送vr视频数据的播放请求。

相应地,上述s31中接收服务器传送的部分角度的vr视频数据,具体包括:接收服务器发送的vr视频数据中预设的初始角度范围的视频数据。

进一步地,在上述步骤s31之前,还可以执行下述步骤:向服务器发送切换vr视频显示角度的控制指令。

如前述,播放终端可以根据用户的操控,向服务器侧发送相应的切换vr视频显示角度的控制指令。

例如用户通过向上、向下、向左或向右的滑动智能手机的屏幕,发出向上、向下、向左和向右的移动方位的指令,当播放终端接收到控制指令后,会根据用户的滑动幅度的大小,向服务器侧发出相应的切换vr视频显示角度的控制指令。

相应地,上述s31中接收服务器传送的部分角度的vr视频数据,具体包括:

接收服务器传送的切换后的角度范围内的视频数据。

进一步地,为了避免服务器处理和网络传输时延对vr视频播放的连续性造成影响,在上述接收服务器的部分视频数据中,除了包括切换后的角度范围内的视频数据,还包括切换后的角度范围相邻的一个或多个角度的视频数据。

基于同一发明构思,本发明实施例还提供了一种服务器、播放终端和虚拟现实视频数据的播放系统,由于这些服务器、播放终端和系统所解决问题的原理与前述虚拟现实视频数据的传输方法、虚拟现实视频数据的播放方法相似,因此该服务器、播放终端和系统的实施可以参见前述方法的实施,重复之处不再赘述。

本发明实施例提供的服务器,如图4所示,包括:

确定模块401,用于从虚拟现实vr视频数据中,确定当前需要发送至播放终端的部分角度的视频数据;所述vr视频数据包含同一个时刻不同角度的多个视频数据;

传送模块402,用于将所述确定模块确定出的所述部分角度的视频数据传送到播放终端。

进一步地,上述确定模块401,具体当接收到播放终端发送的vr视频数据的播放请求时,将vr视频数据中预设的初始角度范围内的视频数据确定为所述部分角度的视频数据。

进一步地,上述确定模块401,具体用于当接收到播放终端发送的切换vr视频显示角度的控制指令时,将切换后的角度范围内的视频数据确定为所述部分角度的视频数据。

进一步地,上述确定模块401,还用于将切换后的角度范围相邻的一个或多个角度的视频数据也确定为部分角度的视频数据。

本发明实施例提供的播放终端,如图5所示,包括:

接收模块501,用于接收服务器传送的虚拟现实vr视频数据中部分角度的视频数据;所述vr视频数据包含同一个时刻不同角度的多个视频数据;

播放模块502,用于播放所述部分角度的视频数据。

进一步地,上述播放终端,如图5所示,还可以包括:

发送模块503,用于向所述服务器发送vr视频数据的播放请求;

相应地,上述接收模块501,具体用于接收服务器发送的vr视频数据中预设的初始角度范围的视频数据。

或者进一步地,上述播放终端,如图5所示,还可以包括:

发送模块503,用于向所述服务器发送切换vr视频显示角度的控制指令;

相应地,上述接收模块501,具体用于接收服务器传送的切换后的角度范围内的视频数据。

进一步地,上述接收模块501,还用于接收服务器发送的所述切换后的角度范围相邻的一个或多个角度的视频数据。

本发明实施例还提供了一种虚拟现实视频数据的播放系统,如图6所示,该系统可以包括:至少一个前述服务器601和至少一个前述播放终端602。

本发明实施例提供的上述虚拟现实视频数据的传输方法、播放方法及装置和系统中,服务器侧从vr视频数据中,确定当前需要传送给播放终端的部分角度的视频数据,vr视频数据中包含同一个时刻不同角度的多个视频数据,然后将确定出的该部分角度的视频数据传送到播放终端,以便播放终端呈现给用户当前用户需要观看的那部分视角的内容,这种采用部分视频数据传输的方式,不必将vr视频数据整体一次性地都传送给播放终端,在保证用户观看体验的前提下,从一定程度上节约了带宽资源和播放终端的播放资源,从而大大减轻了网络传输的压力以及对播放终端处理能力的要求。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1