全景视频的实时播放方法及装置的制造方法
【专利摘要】本发明实施例提供一种全景视频的实时播放方法和装置，应用于移动终端，所述方法包括：接收来自全景录制设备的实时全景视频流；对所述实时全景视频流进行数据处理得到全景视频文件；获取终端的重力感应参数，根据所述重力感应参数确定重力感应方向；按照所述重力感应方向实时播放所述全景视频文件。本发明实施例实现在移动终端上制作全景视频文件。获取移动终端的重力感应参数，根据重力感应参数确定重力感应方向，并按照重力感应方向实时播放全景视频文件，还实现了在移动终端上实时播放全景视频文件，并且全景视频文件的播放方向与移动终端的重力感应方向一致，提高了用户的使用体验。
【专利说明】
全景视频的实时播放方法及装置
技术领域
[0001]本发明实施例涉及全景视频技术领域，尤其涉及一种全景视频的实时播放方法及
目.0
【背景技术】
[0002]目前，若要播放全景视频文件，全景视频播放器需要先获取到可直接播放的全景视频文件，其中，可直接播放的全景视频文件的制作通常需要在服务器完成，且要花费较多的时间。因此，不能实现全景视频文件的录制与播放实时同步。也就是说，目前的全景视频播放实际上是一种全景视频文件点播的过程。
[0003]同时，在移动终端上播放全景视频文件时，如果用户原地旋转移动终端，令移动终端的屏幕与水平面存在一定角度，全景视频的观看画面或视角会发生变化，影响用户体验。
【发明内容】
[0004]本发明实施例提供一种全景视频的实时播放方法及装置，用以解决不能实时播放全景视频，以及在播放全景视频时，播放画面随着移动终端的旋转而旋转，影响用户体验的问题。
[0005]本发明实施例提供一种全景视频的实时播放方法，应用于移动终端，所述方法包括:
[0006]接收来自全景录制设备的实时全景视频流；
[0007]对所述实时全景视频流进行数据处理得到全景视频文件；
[0008]获取终端的重力感应参数，根据所述重力感应参数确定重力感应方向；
[0009]按照所述重力感应方向实时播放所述全景视频文件。
[0010]相应地，本发明实施例还提供了一种全景视频的实时播放装置，应用于移动终端，所述装置包括:
[0011 ]接收模块，用于接收来自全景录制设备的实时全景视频流；
[0012]处理模块，用于对所述实时全景视频流进行数据处理得到全景视频文件；
[0013]确定模块，用于获取所述移动终端的重力感应参数，根据所述重力感应参数确定重力感应方向；
[0014]播放模块，用于按照所述重力感应方向实时播放所述全景视频文件。
[0015]本发明实施例提供的一种全景视频的实时播放方法及装置，通过全景录制设备录制全景视频流，在移动终端上接收到全景视频流，并对全景视频流进行数据处理得到全景视频文件，实现在移动终端上制作全景视频文件。获取移动终端的重力感应参数，根据重力感应参数确定重力感应方向，并按照重力感应方向实时播放全景视频文件，还实现了在移动终端上实时播放全景视频文件，并且全景视频文件的播放方向与移动终端的重力感应方向一致，提高了用户的使用体验。
【附图说明】
[0016]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本发明实施例一中的一种全景视频的实时播放方法的步骤流程图；
[0018]图2为本发明实施例一中的一种全景视频的实时播放方法中的左右滑动示意图；
[0019]图3为本发明实施例一中的一种全景视频的实时播放方法中的上下滑动示意图；
[0020]图4为本发明实施例一中的一种全景视频的实时播放方法中水平方向滑动不设置阈值以及上下方向滑动设置阈值的滑动示意图；
[0021]图5为本发明实施例一中的一种全景视频的实时播放方法中播放画面始终保持水平的示意图；
[0022]图6为本发明实施例二中的一种全景视频的实时播放装置的结构示意图。
【具体实施方式】
[0023]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]实施例一
[0025]详细介绍本发明实施例一提出的一种全景视频的实时播放方法。应用在移动终端，所述移动终端可以为智能手机、平板电脑等等。
[0026]参照图1，示出了本发明实施例一中的一种全景视频的实时播放方法的步骤流程图。
[0027 ]步骤100，接收来自全景录制设备的实时全景视频流。
[0028]本发明实施例中的全景录制设备可以通过多个摄像机录制并实时将每个摄像机捕捉到的画面拼接成一个完整的全景画面，得到实时全景视频流。全景录制设备可以为基于iBeacon技术的监控设备，iBeacon是移动终端操作系统上配备的新功能。其工作方式是，配备有低功耗蓝牙通信功能的终端使用低功耗蓝牙技术向周围发送自己特有的识别信息，接收到该识别信息的应用程序会根据该识别信息采取一些行动。因此，在所述步骤100之前，还可以包括:判断所述全景录制设备的识别信息是否属于预设信息，若属于，则执行步骤100;若不属于，则流程结束。其中，所述预设信息可以为预设的可信任的全景录制设备的识别信息。
[0029]若接收到的识别信息属于预设信息，则可以确定接收到的识别信息来源于全景录制设备，进一步可以接收来自该全景录制设备的实时全景视频流。
[0030]步骤102，对所述实时全景视频流进行数据处理得到全景视频文件。
[0031]全景录制设备通过多个摄像头捕捉到三维空间中所有角度的图像，图像的每个像素点对应三维空间中的唯一坐标。所述步骤102具体可以为:按照所述图像的每个像素点对应的三维空间中的唯一坐标，将所述实时全景视频流中的所有角度的图像拼接为一个球面图像，将所述球面图像拉伸为平面图像。
[0032]实时全景视频流的转码和传输与普通视频流的技术相同，只是实时全景视频流的传输对移动终端的网络带宽要求较高。移动终端接收到实时全景视频流后，对实时全景视频流做解码处理，与对普通视频流的解码处理不同，首先基于移动终端所在的空间坐标创建一个三维模型，然后将拉伸后得到的平面图像转换为球面图像。具体可以在所述三维模型中，依据移动终端所在的空间的坐标与每个像素点对应的唯一坐标的一致性，将球面图像转换为全景视频文件。
[0033]在移动终端上播放的全景视频文件的画面始终是一个屏幕画面，随着移动终端的位置变化和角度变化，播放的全景视频文件的画面也随之改变。在生成得到全景视频文件的过程中，基于移动终端所在空间的坐标创建三维模型，按照移动终端所在空间的坐标与实时全景视频流中的每个角度的图像的每个像素点的唯一坐标相对应的关系，得到全景视频文件。
[0034]步骤104，获取所述移动终端的重力感应参数，根据所述重力感应参数确定重力感应方向。
[0035]所述重力感应参数可以为移动终端的陀螺仪返回的重力加速度，根据重力加速度确定水平方向和竖直方向，其中，竖直方向包括正竖直方向和负竖直方向。
[0036]步骤106，按照所述重力感应方向实时播放所述全景视频文件。
[0037]根据所述图像的每个像素点对应的三维空间中的唯一坐标，调整所述全景视频文件的播放画面的水平方向与所述水平方向保持一致，且所述播放画面的竖直方向与所述竖直方向保持一致。
[0038]由于全景视频文件是由在真实重力空间下被录制和拼接成的空间球面图像，所以全景视频文件的播放画面中的每个像素点的真实空间坐标是唯一的，且不会被改变的。在播放全景视频文件时，将空间球面图像投射到三维模型上，若移动终端所在空间的坐标改变，相应地改变播放全景视频文件的图面，实现实时播放全景视频文件，只要确定了移动终端所在的空间坐标，就可以保证全景视频文件的播放画面的方向与移动终端所在的方向的一致性。
[0039]在本发明的另一实施例中，可以通过手势滑动和/或重力感应来改变全景视频的观看视角或画面。
[0040]手势滑动可以分为左右滑动和上下滑动，左右滑动的示意图如图2所示，手指向右(左)滑动，当前画面向右(左)转动，左(右)侧画面出现，手指滑动的位移等于屏幕宽度(从左到右的距离)时，画面旋转120°。上下滑动的示意图如图3所示，手指向上(下)滑动，当前画面向上(下)转动，下(上)侧画面出现，手指滑动的位移等于屏幕高度(从上到下的距离)时，画面旋转90°。
[0041]由于手势滑动是在移动终端上被普遍采用的一种操作方式，因此，在本发明实施例中，播放全景视频文件时，也可以对播放画面执行手势滑动，通过在画面上的手势滑动，可以实现在移动终端的位置不变的情况下，播放全景视频文件中的任意画面，不需要大范围、多角度地改变移动终端的位置即可观看全景视频文件的任意画面，提高了使用体验。
[0042]而且，由于全景视频产生的初衷，即通过观看全景视频文件模拟出一种用户身临其境的效果，在实际的观看体验中，由于身体结构的原因，不会无限量地持续向一个方向改变播放画面，例如抬头和低头具有一定的角度限制，因此，还可以设置手势滑动的阀值，具体地，在水平方向不设置阀值，可以无限滑动;在竖直方向，需要定义水平面，且设水平面为0°，向上最大可以转动90°，向下最大可以转动90°。如图4所示，垂直于水平线的4个面A、B、C、D(四周四个面)，在手指向同一侧滑动时，可以无限旋转，例如从A面出发旋转360°还可以回到A面。平行于水平线的2个面E、F(上下两个面)，画面沿着垂直于水平线的方向滑动时，最大只能旋转90°，例如从B面出发最大旋转90°到E面或F面。
[0043]重力感应方面，当移动终端自身垂直于水平面进行旋转时，全景视频文件的播放画面的水平线始终与水平面平行，如图5所示。当移动终端在三维空间中，沿水平方向旋转360°，全景视频文件的播放画面也旋转360° ;当移动终端在三维空间中，沿竖直方向旋转360°，全景视频文件的播放画面也旋转360°。
[0044]综上所述，本发明实施例中的技术方案，通过全景录制设备录制全景视频流，在移动终端上接收到全景视频流，并对全景视频流进行数据处理得到全景视频文件，实现在移动终端上制作并实时全景视频文件。通过获取移动终端的重力感应参数，根据重力感应参数确定重力感应方向，并按照重力感应方向实时播放全景视频文件，，能够实现全景视频文件的播放方向与移动终端的重力感应方向一致，全景视频的播放画面不会跟着移动终端的旋转而旋转，提高了用户的使用体验。
[0045]实施例二
[0046]详细介绍本发明实施例二提出的一种全景视频的实时播放装置，应用于移动终端，所述移动终端可以包括智能手机、平板电脑等等。
[0047]参照图6，示出了本发明实施例二中的一种全景视频的实时播放装置的结构示意图。
[0048]所述装置可以包括:接收模块60、处理模块62、确定模块64和播放模块66。
[0049]下面分别详细介绍各模块的功能以及各模块之间的关系。
[0050]接收模块60，用于接收来自全景录制设备的实时全景视频流。
[0051]处理模块62，用于对所述实时全景视频流进行数据处理得到全景视频文件。
[0052]确定模块64，用于获取所述移动终端的重力感应参数，根据所述重力感应参数确定重力感应方向。
[0053]播放模块66，用于按照所述重力感应方向实时播放所述全景视频文件。
[0054]优选地，所述装置还可以包括判断模块，用于在所述接收模块60接收来自全景录制设备的实时全景视频流之前，判断所述全景录制设备的识别信息是否属于预设信息;若属于，则所述接收模块60接收来自全景录制设备的实时全景视频流的操作。
[0055]所述实时全景视频流包含三维空间中所有角度的图像，所述图像的每个像素点对应三维空间中的唯一坐标。优选地，所述处理模块62，可以包括:拼接模块，用于按照所述图像的每个像素点对应的三维空间中的唯一坐标，将所述实时全景视频流中的所有角度的图像拼接为一个球面图像;拉伸模块，用于将所述球面图像拉伸为平面图像;转换模块，用于创建三维模型，根据所述三维模型将所述平面图像转换为全景视频文件。
[0056]优选地，所述确定模块64，可以包括:重力加速度获取模块，用于获取所述移动终端的陀螺仪返回的重力加速度;方向确定模块，用于根据所述重力加速度确定水平方向和竖直方向，其中，所述竖直方向包括正竖直方向和负竖直方向。
[0057]优选地，所述播放模块66根据所述图像的每个像素点对应的三维空间中的唯一坐标，调整所述全景视频文件的播放画面的水平方向与所述水平方向保持一致，且所述播放画面的竖直方向与所述竖直方向保持一致。
[0058]综上所述，本发明实施例中的技术方案，通过全景录制设备录制全景视频流，在移动终端上接收到全景视频流，并对全景视频流进行数据处理得到全景视频文件，实现在移动终端上制作全景视频文件。获取移动终端的重力感应参数，根据重力感应参数确定重力感应方向，并按照重力感应方向实时播放全景视频文件，还实现了在移动终端上实时播放全景视频文件，并且全景视频文件的播放方向与移动终端的重力感应方向一致，提高了用户的使用体验。
[0059]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0060]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0061]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种全景视频的实时播放方法，其特征在于，应用于移动终端，所述方法包括: 接收来自全景录制设备的实时全景视频流； 对所述实时全景视频流进行数据处理得到全景视频文件； 获取终端的重力感应参数，根据所述重力感应参数确定重力感应方向； 按照所述重力感应方向实时播放所述全景视频文件。2.根据权利要求1所述的方法，其特征在于，在所述接收来自全景录制设备的实时全景视频流之前，所述方法还包括: 判断所述全景录制设备的识别信息是否属于预设信息； 若属于预设信息，则执行所述接收来自全景录制设备的实时全景视频流的操作。3.根据权利要求1所述的方法，其特征在于，所述实时全景视频流包含三维空间中所有角度的图像，所述图像的每个像素点对应三维空间中的唯一坐标； 所述对所述实时全景视频流进行数据处理得到全景视频文件，包括: 按照所述图像的每个像素点对应的三维空间中的唯一坐标，将所述实时全景视频流中的所有角度的图像拼接为一个球面图像； 将所述球面图像拉伸为平面图像； 创建三维模型，根据所述三维模型将所述平面图像转换为全景视频文件。4.根据权利要求1所述的方法，其特征在于，所述获取终端的重力感应参数，根据所述重力感应参数确定重力感应方向，包括: 获取所述移动终端的陀螺仪返回的重力加速度； 根据所述重力加速度确定水平方向和竖直方向，其中，所述竖直方向包括正竖直方向和负竖直方向。5.根据权利要求4所述的方法，其特征在于，所述按照所述重力感应方向实时播放所述全景视频文件，包括: 根据所述图像的每个像素点对应的三维空间中的唯一坐标，调整所述全景视频文件的播放画面的水平方向与所述水平方向保持一致，且所述播放画面的竖直方向与所述竖直方向保持一致。6.一种全景视频的实时播放装置，其特征在于，应用于移动终端，所述装置包括: 接收模块，用于接收来自全景录制设备的实时全景视频流； 处理模块，用于对所述实时全景视频流进行数据处理得到全景视频文件； 确定模块，用于获取所述移动终端的重力感应参数，根据所述重力感应参数确定重力感应方向； 播放模块，用于按照所述重力感应方向实时播放所述全景视频文件。7.根据权利要求6所述的装置，其特征在于，还包括: 判断模块，用于在所述接收模块接收来自全景录制设备的实时全景视频流之前，判断所述全景录制设备的识别信息是否属于预设信息； 若属于，则所述接收模块接收来自全景录制设备的实时全景视频流的操作。8.根据权利要求6所述的装置，其特征在于，所述实时全景视频流包含三维空间中所有角度的图像，所述图像的每个像素点对应三维空间中的唯一坐标； 所述处理模块，包括: 拼接模块，用于按照所述图像的每个像素点对应的三维空间中的唯一坐标，将所述实时全景视频流中的所有角度的图像拼接为一个球面图像； 拉伸模块，用于将所述球面图像拉伸为平面图像； 转换模块，用于创建三维模型，根据所述三维模型将所述平面图像转换为全景视频文件。9.根据权利要求8所述的装置，其特征在于，所述确定模块，包括: 重力加速度获取模块，用于获取所述移动终端的陀螺仪返回的重力加速度； 方向确定模块，用于根据所述重力加速度确定水平方向和竖直方向，其中，所述竖直方向包括正竖直方向和负竖直方向。10.根据权利要求9所述的装置，其特征在于，所述播放模块根据所述图像的每个像素点对应的三维空间中的唯一坐标，调整所述全景视频文件的播放画面的水平方向与所述水平方向保持一致，且所述播放画面的竖直方向与所述竖直方向保持一致。
【文档编号】H04N21/472GK105847850SQ201610183526
【公开日】2016年8月10日
【申请日】2016年3月28日
【发明人】白雪松
【申请人】乐视控股（北京）有限公司, 乐视网信息技术（北京）股份有限公司