全景视频播放方法、播放器与头戴式虚拟现实设备与流程

本发明涉及全景视频播放技术，尤其涉及一种全景视频播放方法、播放器与头戴式虚拟现实设备。

背景技术：

目前，随着拍摄技术的不断发展，全景照片、全景视频已慢慢走近大众视野。播放全景照片时，通过将90度至360度(柱形全景)的场景全部展现在一个二维平面，从而将一个场景的前后左右一览无余的呈现在观看者的眼前。甚至，可以将场景制作成球面全景，从而将场景的顶部和脚部都呈现在观看者的眼前，方便观看者上下左右的看。该播放方法仅适用于对画面静止的全景照片的播放，而无法完成对具有连续成像延时特点的全景视频进行播放。

随着计算机图像处理能力的不断升级，为实现对全景视频的播放，在传统的2D视频播放器的基础上，开发出360度虚拟现实交互播放器。该播放器通过播放以数字信号形式存储的360度全方位实景视频，创建出一种兼具私密性和人性化的沉浸式虚拟体验。一般来说，按照360度虚拟现实交互播放器部署的终端，将现有的播放器产品分为移动端播放以及PC端播放。在移动端领域内，由于移动端各式各样，现有的360度虚拟现实交互播放器难以兼容各种移动终端，兼容性差，导致有些移动终端根本无法播放全景视频。而PC端领域，现有的360度虚拟现实交互播放器仅仅作为视频处理人员的工具，无法作为PC端的播放器，无法实现全景视频的播放。因此，如何播放全景视频，实为业界亟待解决的问题。

技术实现要素：

本发明实施例提供一种全景视频播放方法、播放器与头戴式虚拟现实设备，实现对具有连续成像延时特点的全景视频进行播放的目的。

第一方面，本发明实施例提供一种全景视频播放方法，包括：

全景视频播放器获取球面全景视频，所述球面全景视频由拍摄设备对现实图景拍摄得到；

所述全景视频播放器将所述球面全景视频转换为球面投影视频；

所述全景视频播放器调节拟合精度，以将所述球面投影视频还原为所述球面全景视频。

在一种可能的实现方式中，所述全景视频播放器调节拟合精度，以将所述球面投影视频还原为所述球面全景视频之前，还包括：

所述全景视频播放器根据屏幕分辨率，确定所述拟合精度，所述屏幕为所述全景视频播放器所在设备的屏幕。

在一种可能的实现方式中，所述全景视频播放器将所述球面全景视频转换为球面投影视频，包括：

所述全景视频播放器将所述球面全景视频转换为鱼眼视角的球面投影视频或小行星视角的球面投影视频。

在一种可能的实现方式中，所述全景视频播放器调节拟合精度，以将所述球面投影视频还原为所述球面全景视频，包括：

所述全景视频播放器确定播放所述球面全景视频的目标帧率，以及所述全景视频播放器的满载帧率；

所述全景视频播放器将所述满载帧率逐渐衰减至所述目标帧率；

所述全景视频播放器调节拟合精度，根据所述目标帧率将所述球面投影视频还原为所述球面全景视频。

第二方面，本发明实施例提供一种全景视频播放方法，包括：

头戴式VR设备观测显示屏获取球面全景视频，所述球面全景视频为全景视频播放器通过调节拟合精度从而对球面投影视频进行还原得到的，所述球面投影视频为通过所述显示屏所在的电子设备播放的视频；

所述头戴式VR设备根据瞳孔间距调节第一屏幕与第二屏幕的间距；

所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

在一种可能的实现方式中，所述球面全景视频为两个，该两个球面全景视频若为所述固定间距的两组拍摄设备对同一现实图景拍摄得到，则为双目3d全景视频，若为一组拍摄设备拍摄则为双目全景视频。

在一种可能的实现方式中，所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频之前，还包括：

对于第一图像点，根据第一透镜的透镜焦距，确定所述第一图像点的径向畸变，所述第一图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第一透镜为与所述第一屏幕对应的透镜；

对于第二图像点，根据第二透镜的透镜焦距，确定所述第二图像点的径向畸变，所述第二图像点为显示在所述第二屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第二透镜为与所述第二屏幕对应的透镜；

所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，包括：

所述头戴式VR设备根据所述第一图像点的径向畸变，矫正所述第一图像点并显示，根据所述第二图像点的径向畸变，矫正所述第二图像点并显示。

在一种可能的实现方式中，所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频之前，还包括：

对于第一图像点，确定所述第一图像点发出的光通过第一透镜后发生色散的偏移角；根据所述偏移角，设置所述第一图像点的负色散，所述第一图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第一透镜为与所述第一屏幕对应的透镜；

对于第二图像点，确定所述第二图像点发出的光通过第二透镜后发生色散的偏移角；根据所述偏移角，设置所述第二图像点的负色散，所述第二图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第二透镜为与所述第二屏幕对应的透镜；

所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，包括：

所述头戴式VR设备根据所述第一图像点的负色散，矫正所述第一图像点并显示，根据所述第二图像点的负色散，矫正所述第二图像点并显示。

在一种可能的实现方式中，所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，包括：

所述头戴式VR设备以介于0～20倍的播放速率，通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

在一种可能的实现方式中，方法还包括：

所述头戴式VR设备根据所述头戴式VR设备内置的陀螺仪，控制光标，所述光标为所述第一屏幕与所述第二屏幕形成的视野中的光标。

在一种可能的实现方式中，所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，包括：

所述头戴式VR设备以40度～120度之间的任一视角，通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

第三方面，本发明实施例提供一种全景视频播放器，包括：

获取模块，用于获取球面全景视频，所述球面全景视频由拍摄设备对现实图景拍摄得到；

转换模块，用于将所述球面全景视频转换为球面投影视频；

还原模块，用于调节拟合精度，以将所述球面投影视频还原为所述球面全景视频。

在一种可能的实现方式中，所述播放器还包括：

处理模块，用于在所述还原模块调节拟合精度，以将所述球面投影视频还原为所述球面全景视频之前，根据屏幕分辨率，确定所述拟合精度，所述屏幕为所述全景视频播放器所在设备的屏幕。

在一种可能的实现方式中，所述转换模块，具体用于将所述球面全景视频转换为鱼眼视角的球面投影视频或小行星视角的球面投影视频。

在一种可能的实现方式中，所述还原模块，具体用于确定播放所述球面全景视频的目标帧率，以及所述全景视频播放器的满载帧率，将所述满载帧率逐渐衰减至所述目标帧率；调节拟合精度，根据所述目标帧率将所述球面投影视频还原为所述球面全景视频。

第四方面，本发明实施例提供一种头戴式VR设备，包括：

观测模块，用于观测显示屏获取球面全景视频，所述球面全景视频为全景视频播放器通过调节拟合精度从而对球面投影视频进行还原得到的，所述球面投影视频为通过所述显示屏所在的电子设备播放的视频；

调节模块，用于根据瞳孔间距调节第一屏幕与第二屏幕的间距；

显示模块，用于通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

在一种可能的实现方式中，所述球面全景视频为两个，该两个球面全景视频若为所述固定间距的两组拍摄设备对同一现实图景拍摄得到，则为双目3d全景视频，若为一组拍摄设备拍摄则为双目全景视频。

在一种可能的实现方式中，头戴式VR设备还包括：

处理模块，用于在所述显示模块通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频之前，对于第一图像点，根据第一透镜的透镜焦距，确定所述第一图像点的径向畸变，所述第一图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第一透镜为与所述第一屏幕对应的透镜；

对于第二图像点，根据第二透镜的透镜焦距，确定所述第二图像点的径向畸变，所述第二图像点为显示在所述第二屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第二透镜为与所述第二屏幕对应的透镜；

所述显示模块，具体用于根据所述第一图像点的径向畸变，矫正所述第一图像点并显示，根据所述第二图像点的径向畸变，矫正所述第二图像点并显示。

在一种可能的实现方式中，头戴式VR设备还包括：

处理模块，用于在所述显示模块通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频之前，对于第一图像点，确定所述第一图像点发出的光通过第一透镜后发生色散的偏移角；根据所述偏移角，设置所述第一图像点的负色散，所述第一图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第一透镜为与所述第一屏幕对应的透镜；对于第二图像点，确定所述第二图像点发出的光通过第二透镜后发生色散的偏移角；根据所述偏移角，设置所述第二图像点的负色散，所述第二图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第二透镜为与所述第二屏幕对应的透镜；

所述显示模块，具体用于根据所述第一图像点的负色散，矫正所述第一图像点并显示，根据所述第二图像点的负色散，矫正所述第二图像点并显示。

在一种可能的实现方式中，所述显示模块，具体以介于0～20倍的播放速率，通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

在一种可能的实现方式中，头戴式VR设备还包括：

处理模块，用于所述头戴式VR设备内置的陀螺仪，控制光标，所述光标为所述第一屏幕与所述第二屏幕形成的视野中的光标。

在一种可能的实现方式中，所述显示模块，具体用于以40度～120度之间的任一视角，通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

本发明实施例提供的全景视频播放方法及播放器，通过获取由拍摄设备对现实图景拍摄得到的球面全景视频，将球面全景视频转换为球面投影视频；并调节拟合精度，以将球面投影视频还原为球面全景视频。该过程中，拟合精度与全景视频播放器所在的电子设备的参数有关，全景视频播放器提前设置矩形平面拟合球面的精细程度，即拟合精度，自动调节拟合精度来适配球面投影视频与电子设备，实现对全景视频的播放。

附图说明

为了更清楚地说明本发明方法实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明方法的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明全景视频播放方法实施例一的流程图；

图2为本发明全景视频播放方法中功耗控制的流程图；

图3A为本发明全景视频播放方法中鱼眼视角的球面投影视频的举例示意图；

图3B为本发明全景视频播放方法中小行星视角从上往下看的球面投影视频的举例示意图；

图3C为本发明全景视频播放方法中小行星视角从下往上看的球面投影视频的举例示意图；

图4为本发明全景视频播放方法中鱼眼视角和小行星视角的示意图；

图5A为本发明全景视频播放方法中在平面电子显示器上播放球面全景视频时播放器的显示界面；

图5B为本发明全景视频播放方法中在头戴式VR设备观看到的播放器的显示界面；

图6为本发明全景视频播放方法实施例二的流程图；

图7为本发明全景视频播放方法中反畸变的图像示意图；

图8为本发明全景视频播放方法中光的色散示意图；

图9为本发明全景视频播放方法中光的折射示意图；

图10为本发明全景视频播放方法中两次折射的示意图；

图11为本发明全景视频播放方法中在负径向畸变的基础上设置了负色散畸变的示意图；

图12为本发明全景视频播放方法中的全景视频播放的界面示意图；

图13为本发明全景视频播放方法实施例二的流程图；

图14为本发明全景视频播放器实施例一的结构示意图；

图15为本发明全景视频播放器实施例二的结构示意图；

图16为本发明头戴式VR设备实施例一的结构示意图；

图17为本发明头戴式VR设备实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明全景视频播放方法实施例一的流程图。本发明实施例的执行主体为全景视频播放器，该全景视频播放器可以设置在移动端、PC端或者虚拟现实(Virtual Reality，VR)头戴式设备或一体机上。具体的，本实施例包括如下步骤：

101、全景视频播放器获取球面全景视频，所述球面全景视频由拍摄设备对现实图景拍摄得到。

本步骤中，全景视频播放器获取多面拍摄设备，如全方位拍摄设备：GoPro系列拍摄设备对现实图景摄制拼融的球面全景视频。

102、所述全景视频播放器将所述球面全景视频转换为球面投影视频。

一般来说，球面全景视频由多面拍摄设备拍摄拼接而成，人的肉眼是看不到该球面全景视频的，将该球面全景视频投影到全景视频播放器所在的电子设备的屏幕上，得到球面投影视频。

103、所述全景视频播放器调节拟合精度，以将所述球面投影视频还原为所述球面全景视频。

在得到球面投影视频后，全景视频播放器调节拟合精度，将球面投影视频还原为球面全景视频，这相当于播放球面全景视频的过程。其中，拟合精度与全景视频播放器所在的电子设备的参数有关。具体的，全景视频播放器提前设置矩形平面拟合球面的精细程度，即拟合精度，自动调节拟合精度来适配球面投影视频与电子设备，达到功耗和播放效果的平衡。例如，全景视频播放器根据屏幕的分辨率，确定拟合精度，该屏幕为全景视频播放器所在设备的屏幕。在根据屏幕的分辨率确定出拟合精度后，调节拟合精度，以将球面投影视频还原为球面全景视频。

本发明实施例提供的全景视频播放方法，通过获取由拍摄设备对现实图景拍摄得到的球面全景视频，将球面全景视频转换为球面投影视频；并调节拟合精度，以将球面投影视频还原为球面全景视频。该过程中，拟合精度与全景视频播放器所在的电子设备的参数有关，全景视频播放器提前设置矩形平面拟合球面的精细程度，即拟合精度，自动调节拟合精度来适配球面投影视频与电子设备，实现对全景视频的播放。

一般来说，现有的播放器并未对加载该播放器的电子设备，如移动设备的功耗做适配，通常采用策略是竭尽全力提供更高的画面刷新率和画质，导致移动终端的耗电量急剧增加，同时使得移动终端发热，占用过多CPU资源使得移动终端对用户的其他操作响应变慢。为实现最大力度的提供更高的画面刷新率和画质，会发生掉帧现象。本发明实施例中，对移动终端的功耗进行控制。具体的，全景视频播放器确定播放球面全景视频的目标帧率，以及全景视频播放器的满载帧率；全景视频播放器将满载帧率逐渐衰减至目标帧率；全景视频播放器调节拟合精度，根据目标帧率将球面投影视频还原为球面全景视频。

图2为本发明全景视频播放方法中功耗控制的流程图。请参照图2，根据功耗控制进行跳帧，将跳帧后的球面全景视频输入移动终端，由移动终端进行播放，得到输出帧率，根据目标帧率与输出帧率之差继续跳帧，再输入移动终端，如此循环，直到将输出帧率降低为目标帧率，达到功耗和播放效果的平衡。举例来说，假设移动终端的最大帧率能够到达140帧，而人眼最多需要60帧就可以实现无延迟流畅观看了，因此，不断的调整输出帧率，直到输出帧率与目标帧率相同。其中，目标帧率例如为70帧，是一个预设的值。

推导公式如下：

其中，K为比例参数，例如K＝0.7。F为目标帧率，为避免偶尔的掉帧，设定为70：

当达到稳态时，Y(t₀)＝F。

X(t)＝X₀。

注：移动终端满载运行时的帧率为Y(t)，实际帧率为S(M)，实际帧率表示设定了跳帧后之后实际的帧率，其定义域和值域均为[0，X₀]，隐含满足S(X₀)＝X₀。

上述实施例中，全景视频播放器可以支持各类移动终端，如iOS8.0至最新版本的苹果手机的操作系统，支持从安卓4.4至最新版本的安卓手机操作系统，支持WP8.0至最新版本的微软手机操作系统。

上述实施例中，全景视频播放器可以支持各种头戴式VR设备，如Cardboard一代和二代纸板镜、OculusRift、大朋Deepoon眼镜、暴风魔影和HTC Vive等设备。

上述实施例中，全景视频播放器将球面全景视频转换为球面投影视频，包括：全景视频播放器将球面全景视频转换为鱼眼视角的球面投影视频或小行星视角的球面投影视频。

具体的，本发明实施例中，球面投影视频的视角可调节，即全景视频播放器将球面全景视频转换为鱼眼视角的球面投影视频，支持可调节的鱼眼视角；或者，将球面全景视频转换为小行星视角的球面投影视频，支持可调节的小行星视角。其中，视角调节，是指通过设置球面全景视频中的观测点空间位置的相对坐标，可以转换球面全景视频中人们的视角。鱼眼视角是一种特殊的超广角视角，它的视角超过了人眼视角的范围。因此，鱼眼视角与人们眼中的真实世界的映像存在很大的差别。本发明实施例中，通过计算机图形学变换软件将更远距离的图像以更大的比例压缩，使更大范围视野内的像映射到人眼视野范围内，在接近被摄物拍摄时能造成非常强烈的透视效果，凸显被摄物近小远大的对比，使拍摄画面具有一种震撼人心的感染力。另外，通过鱼眼视角，使得球面投影视频具有相当长的景深，更加有利于球面投影视频中每帧图像的长景深效果。具体的，可参见图3A，图3A为本发明全景视频播放方法中鱼眼视角的球面投影视频的举例示意图。

相较于鱼眼视角，小行星的视角更为宽广，其兼具极远和极近两个观测点之间的多重变化。具体的，可参见图3B与图3C，图3B为本发明全景视频播放方法中小行星视角从上往下看的球面投影视频的举例示意图，图3C为本发明全景视频播放方法中小行星视角从下往上看的球面投影视频的举例示意图。

接下来，对鱼眼视角和小行星视角进行详细说明。具体的，可参见图4。图4为本发明全景视频播放方法中鱼眼视角和小行星视角的示意图。

请参照图4，正常视角下，拍摄设备在中心，小行星视角的拍摄设备的位置在正常视角的基础上，垂直向上移动到一个固定位置，朝下看时，视距最长，朝上看时，视距最短。鱼眼视角的拍摄设备的位置也是离开中心位置，其位置的移动轨迹恰为以中心位置为球心的一个球面。

上述各实施例中，完成了球面全景视频不借助VR观测设备，如头戴式VR设备的情况下，在全景视频播放器所在的电子设备上播放的过程，具体的，如图5A所示，图5A为本发明全景视频播放方法中在平面电子显示器上播放球面全景视频时播放器的显示界面。相应的，通过头戴式VR设备对球面全景视频进行观测的播放器的显示界面可参见图5B，图5B为本发明全景视频播放方法中在头戴式VR设备观看到的播放器的显示界面。下面，在图5B的基础上，对本发明借助头戴式VR设备观看球面全景视频进行详细说明，具体的，可参见图6。图6为本发明全景视频播放方法实施例二的流程图，包括：

201、头戴式VR设备观测显示屏获取球面全景视频，所述球面全景视频为全景视频播放器通过调节拟合精度从而对球面投影视频进行还原得到的，所述球面投影视频为通过所述显示屏所在的电子设备播放的视频。

具体的，可参见上述图1实施例的各个步骤，此处不再赘述。

202、所述头戴式VR设备根据瞳孔间距调节第一屏幕与第二屏幕的间距。

203、所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

步骤202与203中，根据左右眼视野的不同将球面全景视频分屏显示，使用者依据自己的瞳距自主调节双屏间距，使的球面全景视频适配头戴式VR设备。

本发明实施例提供的全景视频播放方法，头戴式VR设备根据瞳孔间距调节第一屏幕与第二屏幕的间距通过所述第一屏幕与所述第二屏幕分屏显示正在观测的球面全景视频。该过程中，根据左右眼视野的不同将球面全景视频分屏显示，使用者依据自己的瞳距自主调节双屏间距，使得球面全景视频适配头戴式VR设备，实现对球面全景视频的顺利播放。

上述实施例中，球面全景视频为两个，该两个球面全景视频若为固定间距的两组拍摄设备对同一现实图景拍摄得到，则为双目3d全景视频，若为一组拍摄设备拍摄则为双目全景视频。

具体的，若拍摄球面全景视频时在同一空间内放置两组拍摄设备进行拍摄，拍摄两组视角左右眼分别投射出两组球面投影视频来产生立体空间感，从而支持双目3D全景视频的播放。否则，若仅为一组拍摄设备拍摄的球面全景视频，则支持双目全景视频。

上述实施例中，第一屏幕对应一个第一透镜，第二屏幕对应一个第二透镜，由于透镜的焦距、物距和像距的不同，最终图像被人眼所捕获时，会产生径向畸变。因此，头戴式VR设备通过第一屏幕与第二屏幕分屏显示球面全景视频之前，还需要消除径向畸变。此时，对于显示在第一屏幕上的球面全景视频包含的图像帧中的任意一个第一图像点，头戴式VR设备根据第一透镜的透镜焦距，确定第一图像点的径向畸变，根据第一图像点的径向畸变，矫正第一图像点并显示；同理，对于显示在第二屏幕上的球面全景视频包含的图像帧中的任意一个第二图像点，头戴式VR设备根据第二透镜的透镜焦距，确定第二图像点的径向畸变，根据第二图像点的径向畸变，矫正第二图像点并显示。

在实际情况下，径向畸变较小，可用主点(principle point)周围的泰勒级数展开的前几项进行描述。本发明实施例中，借鉴张氏标定法，利用前两项来确定径向畸变的畸变系数。具体的，数学表达式如下：

其中，(u，v)代表理想无畸变的像素坐标，代表实际径向畸变的情况下的像素坐标，(u₀，v₀)代表主点，(x，y)代表理想无畸变时的连续图像坐标，代表实际径向畸变情况下的连续图像坐标，k₁、k₂代表前两阶的畸变参数。

对于图像上的任意一点，根据上述两个公式得到矩阵：

本发明实施例中，通过对透镜建模，根据透镜焦距计算对应的折射角，解出(x，y)；(u₀，v₀)，与是否畸变无关，直接在内参阵中得到；以及，相当于直接读取的畸变了的像素坐标；(u，v)，由建模模型通过物体的实际坐标点解出。两个方程两个未知数，因此，用主点就可以求得径向畸变。一般来说，单帧图像上有m个点，有n帧图像，因此，有2×m×n个等式。运用最小二乘法对结果优化，用下述公式解出径向畸变k＝[k₁，k₂]。

其中，D是等式左边的方程的系数矩阵，d是等式右边的有畸变的像素坐标与无像素坐标之差构成的矩阵。根据透镜参数调节反畸变程度，经过径向畸变矫正后还原的双目全景视频能够适配绝大多数的VR设备、手机终端。该过程中，反畸变的图像可参见图7，图7为本发明全景视频播放方法中反畸变的图像示意图。如图7所示，设置了负径向畸变以后，原本工整的井子格发生了“枕形畸变”。

上述实施例中，第一屏幕对应一个第一透镜，第二屏幕对应一个第二透镜，由于透镜的折射率与入射光的波长有关，不同波长的入射光在透镜内部走过的路径一定不会相同，当非单一波长的光源倾斜入射至透镜时，不同波长的光会被散开，产生色散。本发明实施例中，事先设置负色散，利用负色散，抵消透镜造成的色散。下面，对本发明设置负色散的原理进行详细说明。

首先，光的色散。

一般来说，由于棱镜的折射率n(λ)与入射光的波长λ有关，不同波长的入射光，在棱镜内部走过的路径一定不会相同。当非单一波长的光源倾斜入射至棱镜时，不同波长的光会被色散，产生光的色散(chromatic dispersion)。具体的，可参见图8，图8为本发明全景视频播放方法中光的色散示意图。

请参照图8，一束非单一播放的白光打在棱镜上，发生色散，从棱镜出射的光，由上至下依次为红橙黄绿蓝靛紫。图中示意出了黄光的偏差和离差的量度。

其次，光的折射。

具体的，可参见图9，图9为本发明全景视频播放方法中光的折射示意图。光的折射定律：n₂sinθ₂＝n₁sinθ₁。n₁、n₂分别代表不同介质的折射率，θ₁和θ₂分别代表入射角与折射角。基于光的折射定律，计算三棱镜与入射光线所产生的偏离角度(deviation angle)。也就是说，只要利用两次折射定律及几何角的关系，就可以得到图10，图10为本发明全景视频播放方法中两次折射的示意图。

请参照图10，δ为偏离角，θ_i1、θ_i2为入射角，θ_t1、θ_t2为折射角。δ＝(θ_i1-θ_t1)+(θ_t2-θ_i2)。由四边形ABCD可知：顶角α＝θ_t1+θ_i2。因此，δ＝θ_i1+θ_t2-α。带入光的折射定律可得：

θ_t2＝sin^-1(nsinθ_i2)＝sin^-1[nsin(α-θ_t1)]

进一步的可得：

δ＝θ_i1+sin^-1[(sinα)(n²-sin²θ_i1)^1/2-sinθ_i1cosα]-α

计算机图像RGB是离散的三个波长不同的点。波长不同，导致焦距不同，造成成像整体放大或缩小。如果要抵消色散，只需要固定RGB中的G，放大或者缩小RB的大小即可，放大或缩小的幅度对应的偏移角根据实验方式得出。

本发明实施例中，根据上述公式计算出光线通过头戴式VR设备的透镜后色散的偏移角，预先设置好负色散。具体的，对于显示在第一屏幕上的球面全景视频包含的图像帧中的任意一个第一图像点，头戴式VR设备确定第一图像点发出的光经过第一透镜后发生色散的偏移角，根据偏移角设置第一图像点的负色散，根据第一图像点的负色散，矫正第一图像点并显示；同理，对于显示在第二屏幕上的球面全景视频包含的图像帧中的任意一个第二图像点，头戴式VR设备确定第二图像点发出的光经过第二透镜后发生色散的偏移角，根据偏移角设置第二图像点的负色散，根据第二图像点的负色散，矫正第二图像点并显示，使得图像还原的更加真实。该过程中，负色散的举例可参见图11，图11为本发明全景视频播放方法中在负径向畸变的基础上设置了负色散畸变的示意图。相较于图7，图11中，井字格的每条边不再是单独的一条线，而是由离散的RGB三条线构成。

图12为本发明全景视频播放方法中的全景视频播放的界面示意图。如图12所示，通过头戴式VR设备，在用户的左右眼视野中呈现出图像。经过预处理呈现负径向畸变和负色散畸变的图像，图像变形明显，色散也很明显。在图像边缘可以看到做了抵消图像畸变的修正后矩形图像的棱发生了弯曲，而在图像色块上可以看到做了抵消图像色散的修正后图像边缘颜色发生了红移，在页面中间可以看到转换鱼眼镜头和小行星镜头的交互按钮，校正后的多摄像机图像能够几何对齐，并且在亮度/色度上保持接近一致，给使用者极富真实感的虚拟现实体验。

可选的，在本发明一实施例中，头戴式VR设备通过第一屏幕与第二屏幕分屏显示球面全景视频，第一屏幕与第二屏幕为VR设备的屏幕，具体为：头戴式VR设备以介于0～20倍的播放速率，通过第一屏幕与第二屏幕分屏显示球面全景视频，第一屏幕与第二屏幕为VR设备的屏幕。也就是说，在播放球面全景视频时，可以平滑改变播放速度，播放速度介于0～20之间。

可选的，所述头戴式VR设备通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，具体为：所述头戴式VR设备以40度～120度之间的任一视角，通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。如此一来，本发明实施例提供的全景视频播放方法，可以支持从40度到120度的改变。另外，对于近视人群，播放时可以根据使用者眼睛的近视程度进行调整。

上述实施例中，全景视频播放器可以支持各类移动终端，如iOS8.0至最新版本的苹果手机的操作系统，支持从安卓4.4至最新版本的安卓手机操作系统，支持WP8.0至最新版本的微软手机操作系统。

上述实施例中，全景视频播放器可以支持各种头戴式VR设备，如Cardboard一代和二代纸板镜、OculusRift、大朋Deepoon眼镜、暴风魔影和HTC Vive等设备。

当设置全景视频播放器的设备，如上述的移动终端或VR设备，为配置陀螺仪的设备时，可定位人眼正面视线方位。此时，全景视频播放器对光标位置进行控制，所述光标为所述VR视频中的光标；根据所述光标，与所述VR视频中的模块进行交互。

具体的，在虚拟现实状态下，因为使用者无法看到传统的键盘、鼠标、触摸屏等，因此，传统的交互设备已不适用虚拟现实交互。本发明实施例中，提出轻松高效的用户交互工具和自然的人机交互方式，即通过使用者的头部的水平转动和仰角变化来控制视野中的光标的位置，以类似鼠标点选的方式，例如，点击动作以目视持续一段时间来代替，实现使用者与视野内，VR视频的模块进行交互，从而模拟现实中人“注目”的行为方式，得到更好的沉浸感和交互性。

可选的，在本发明一实施例中，还可以接收体感设备采集的人体运动数据；根据所述人体运动数据，模拟所述体感设备对应的体育运动场景。

具体的，当全景视频播放器设置在VR设备上时，VR设备上设置有接收各类外部体感设备数据的接口，通过该接口，接收各类体感设备的数据，如接收自行车骑行台Kinect的数据。相较于单纯的视频播放，可以模拟体育运动场景，从而拓宽各类VR设备在体育运动中的应用场景。

另外，本发明实施例中，当全景视频播放器设置在VR设备上时，可以向使用者提供多种多样的通知，并为第三方程序提供了接入接口，方便多任务的并行和切换管理。

下面，用一个流程图概括说明本发明的全景视频播放方法，具体的，可参见图13，图13为本发明全景视频播放方法实施例二的流程图，包括：

301、获取球面全景视频。

302、将全景视频转换为球面投影视频。

以下步骤302～306中，全景视频播放器设置在移动终端上。本步骤中，将全景视频转换为球面投影视频，并且通过第一屏幕与第二屏幕播放VR视频，第一屏幕与第二屏幕处于同一水平线，且具有间距。

303、调节间距，以将球面投影视频还原为球面全景视频。

304、消除还原出的球面全景视频的径向畸变与色散畸变，得到适配各种VR设备的矫正后的视频。

本步骤中，对还原出的球面全景视频进行径向畸变矫正和色散畸变矫正，得到适配各种VR设备的矫正后的视频。

305、根据矫正后的视频得到双目全景视频。

306、根据矫正后的视频得到双目3D全景视频。

307、以鱼眼视角或小行星视角播放球面投影视频。

本步骤中，全景视频播放器设置在PC端上，以鱼眼视角或小行星视角播放球面投影视频。

308、执行全景视频播放器的其他功能。

本步骤中，执行全景视频播放器的其他功能模块，如调节、自定义、交互等。

图14为本发明全景视频播放器实施例一的结构示意图。本实施例提供的全景视频播放器，其可实现本发明任意实施例提供的应用于全景视频播放器的方法的各个步骤。具体的，本实施例提供的全景视频播放器包括：

获取模块11，用于获取球面全景视频，所述球面全景视频由拍摄设备对现实图景拍摄得到；

转换模块12，用于将所述球面全景视频转换为球面投影视频；

还原模块13，用于调节拟合精度，以将所述球面投影视频还原为所述球面全景视频。

本发明实施例提供的全景视频播放器，通过获取由拍摄设备对现实图景拍摄得到的球面全景视频，将球面全景视频转换为球面投影视频；并调节拟合精度，以将球面投影视频还原为球面全景视频。该过程中，拟合精度与全景视频播放器所在的电子设备的参数有关，全景视频播放器提前设置矩形平面拟合球面的精细程度，即拟合精度，自动调节拟合精度来适配球面投影视频与电子设备，实现对全景视频的播放。

图15为本发明全景视频播放器实施例二的结构示意图。请参照图15，本发明实施例所述的全景视频播放器，在上述图14的基础上，还包括：

处理模块14，用于在所述还原模块13调节拟合精度，以将所述球面投影视频还原为所述球面全景视频之前，根据屏幕分辨率，确定所述拟合精度，所述屏幕为所述全景视频播放器所在设备的屏幕。

可选的，在本发明一实施例中，所述转换模块12，具体用于将所述球面全景视频转换为鱼眼视角的球面投影视频或小行星视角的球面投影视频。

可选的，在本发明一实施例中，所述还原模块13，具体用于确定播放所述球面全景视频的目标帧率，以及所述全景视频播放器的满载帧率，将所述满载帧率逐渐衰减至所述目标帧率；调节拟合精度，根据所述目标帧率将所述球面投影视频还原为所述球面全景视频。

图16为本发明头戴式VR设备实施例一的结构示意图。本实施例提供的头戴式VR设备，其可实现本发明任意实施例提供的应用于头戴式VR设备的方法的各个步骤。具体的，本实施例提供的头戴式VR设备包括：

观测模块21，用于观测显示屏获取球面全景视频，所述球面全景视频为全景视频播放器通过调节拟合精度从而对球面投影视频进行还原得到的，所述球面投影视频为通过所述显示屏所在的电子设备播放的视频；

调节模块22，用于根据瞳孔间距调节第一屏幕与第二屏幕的间距；

显示模块23，用于通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

本发明实施例提供的头戴式VR设备，根据瞳孔间距调节第一屏幕与第二屏幕的间距通过所述第一屏幕与所述第二屏幕分屏显示正在观测的球面全景视频。该过程中，根据左右眼视野的不同将球面全景视频分屏显示，使用者依据自己的瞳距自主调节双屏间距，使得球面全景视频适配头戴式VR设备，实现对球面全景视频的顺利播放。

可选的，在本发明一实施例中，所述球面全景视频为两个，该两个球面全景视频若为所述固定间距的两组拍摄设备对同一现实图景拍摄得到，则为双目3d全景视频，若为一组拍摄设备拍摄则为双目全景视频。

图17为本发明头戴式VR设备实施例二的结构示意图。请参照图17，本发明实施例所述的头戴式VR设备，在上述图16的基础上，还包括：

处理模块24，用于在所述显示模块23通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频之前，对于第一图像点，根据第一透镜的透镜焦距，确定所述第一图像点的径向畸变，所述第一图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第一透镜为与所述第一屏幕对应的透镜；

对于第二图像点，根据第二透镜的透镜焦距，确定所述第二图像点的径向畸变，所述第二图像点为显示在所述第二屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第二透镜为与所述第二屏幕对应的透镜；

所述显示模块23，具体用于根据所述第一图像点的径向畸变，矫正所述第一图像点并显示，根据所述第二图像点的径向畸变，矫正所述第二图像点并显示。

可选的，在本发明一实施例中，处理模块24，用于在所述显示模块23通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频之前，对于第一图像点，确定所述第一图像点发出的光通过第一透镜后发生色散的偏移角；根据所述偏移角，设置所述第一图像点的负色散，所述第一图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第一透镜为与所述第一屏幕对应的透镜；对于第二图像点，确定所述第二图像点发出的光通过第二透镜后发生色散的偏移角；根据所述偏移角，设置所述第二图像点的负色散，所述第二图像点为显示在所述第一屏幕上的所述球面全景视频包含的图像帧中的任意一个图像点，所述第二透镜为与所述第二屏幕对应的透镜；

所述显示模块23，具体用于根据所述第一图像点的负色散，矫正所述第一图像点并显示，根据所述第二图像点的负色散，矫正所述第二图像点并显示。

可选的，在本发明一实施例中，所述显示模块23，具体以介于0～20倍的播放速率，通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

可选的，在本发明一实施例中，处理模块24，用于所述头戴式VR设备内置的陀螺仪，控制光标，所述光标为所述第一屏幕与所述第二屏幕形成的视野中的光标。

可选的，在本发明一实施例中，所述显示模块23，具体用于以40度～120度之间的任一视角，通过所述第一屏幕与所述第二屏幕分屏显示所述球面全景视频，所述第一屏幕与所述第二屏幕为所述VR设备的屏幕。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。