球面赤道区域双C型全景视频投影方法与流程

本发明属于数字视频技术领域，具体涉及一种球面双c型投影方法。

背景技术：

随着电子多媒体技术的长足发展，人们对于全景视频的需求也越来越旺盛。不管是看电影、玩游戏还是视频会议，人们都在追求更加沉浸式的体验。人们能够更为身临其境地感受视频的氛围并获得比传统多媒体形式更多的信息。全景视频作为虚拟现实技术中的一种重要分支，近年来受到了越来越多的关注。

现阶段制约全景视频普及的难点主要是球面投影方法的均匀性和传输带宽限制。由于全景视频一般由多个摄像头采集水平方向360度和垂直方向180度范围内的图像内容后拼接成完整球面得到，而目前常用的编解码工具都是基于平面的，因此为了适应现有的编解码和传输工具引入了投影技术来实现像素在球面和平面之间的相互转换。

投影方式的复杂度和均匀性都是需要重点解决的问题，目前被广泛应用的投影方式主要是等距柱体投影(erp)，其特点是直观简便。但erp的简便性带来的是图片两极区域像素点的极大畸变。

本发明可以有效消除球面投影两极区域的像素畸变提高投影质量。并且能够在保留同等像素信息的情况下相对于传统等距柱状投影(erp)格式节约25％的平面像素面积。

技术实现要素：

本发明的目的在于提出一种可以克服现有等距柱状投影(erp)格式全景视频图像中存在的畸变问题和像素冗余导致的图像质量下降问题的新型投影方法。

本发明使用了一种球面双c型条带投影方式替代传统erp投影。使用两个法线方向相互垂直的条带实现对球面的包裹，并在两个条带内分别进行等距柱状投影实现从球面和平面之间的相互转换，命名为“球面双c型投影”。在该方法中，以等距柱状投影为基础，使用两个法线方向相互垂直的条带实现对球面的包裹，并对两个区域都进行传统erp投影方法中赤道附近区域的投影计算。所述两个法线方向相互垂直的条带划分规则为：条带a为球面赤道区域经度方向270°、纬度方向90°的c型区域，如图2(a)所示，条带b为通过球面两极的c型区域，可以通过将a条带绕x轴逆时针旋转90°并绕z轴顺时针旋转180°得到，如图2(b)所示。本发明方法具有很好的对称性，使用该方法投影到平面上后的图片更接近人眼常见视觉。该种投影方式能在保持和erp具有相同球面像素信息的情况下节约25％平面图像面积。

设为按照图1(a)中规定方式描述的投影点的球面坐标，(u,v)为按照图1(b)中规定方式描述的投影点的平面坐标。从半径为1的单位球面到长宽为w*h的平面的投影，即的步骤如下：

首先判断是否落在范围[-3π/4,3π/4]内，θ是否落在范围[-π/4,π/4]内，若上述两个条件同时为是，则该点落在图2(a)所划定的条带a内；否则该点落在图2(b)所划定的条带b内。

当点落在条带a内时，使用图2(a)中的xyz坐标轴规定，并进行等距柱状投影得到相应的平面坐标(u,v)。条带a对应的平面区域为[0,w]*[0,h/2]。

当点落在条带b内时，使用图2(b)中的x′y′z′坐标轴规定，需要对坐标轴描述方式进行修改来计算得到新的坐标轴描述下相应的球面坐标然后根据它计算得到相应的平面坐标(u,v)。条带b对应的平面区域为[0,w]*[h/2,h]。

从长宽为w*h的平面到半径为1的单位球面的投影，即具体步骤如下：

判断平面上点所处位置。首先判断v是否落在范围[0,h/2]内，若是，则该点投影后将落在条带a内；否则该点投影后将落在条带b内。

当点投影后将落在条带a内时，使用图2(a)中的xyz坐标轴规定，然后对其进行反向等距柱状投影得到图1(a)规定下的球面坐标

当点落在图2(b)所划定的条带b内时，使用图2(b)中的x′y′z′坐标轴规定，需要对坐标轴描述方式进行修改来计算得到新的坐标轴描述下相应的球面坐标并利用其来计算得到图1(a)规定下的球面坐标

本发明提出的球面全景视频的投影方法，克服了现有等距柱状投影(erp)格式全景视频图像中存在的畸变和像素冗余导致的图像质量下降问题，并节约平面图像存储空间。

附图说明

图1为球面坐标与平面坐标规定。其中，(a)为球面坐标规定，(b)为平面坐标规定。

图2为不同投影条带内的坐标轴规定。其中，(a)为条带a内的坐标轴规定，(b)为条带b内的坐标轴规定。

图3为球面与平面投影后图像放置规定。其中，(a)为球面上两种条带的分割情形，(b)为两个条带在平面图上的排放形式。

图4为一个实际的使用球面双c型投影的结果。其中，(a)为球面全景图，(b)为经过球面双c型投影后的平面全景图，(c)为经过erp投影后的平面全景图。

具体实施方式

下面通过实例结合附图进一步具体描述本发明方法。

本发明提出一种新型作用于球面全景视频的投影方式，改善了等距柱状投影(erp)格式全景视频图像中存在的畸变和像素冗余问题。

本发明分为从球面到平面的投影和从平面到球面的投影两个部分。

从球面到大小为w*h的平面的投影，其中为图1(a)中所描述的球面坐标，(u,v)为图1(b)中所描述的平面坐标,具体步骤为：

首先判断球面上点所处位置，以球面坐标来描述点的位置，如图1所示。首先判断是否落在范围[-3π/4，3π/4]内，θ是否落在范围[-π/4,π/4]内，若上述两个条件同时为是，则该点落在条带a内；否则该点落在条带b内。

当点落在条带a内时，使用图2(a)中的坐标轴描述方式，然后对其进行等距柱状投影。其中球面坐标与三维笛卡尔坐标系转换公式如下：

条带a对应的平面区域为[0,w]*[0,h/2]，该点从球面转换到平面上的计算公式如下：

当点落在条带b内时，需要对坐标轴描述方式进行修改，使用图2(b)中的坐标轴规定来计算得到新的坐标轴描述下的球面坐标计算公式如下：

条带b对应的平面区域为[0,w]*[h/2,h]，该点从球面转换到平面上的计算公式如下：

从大小为w*h的平面到球面的投影，其中为图1(a)中所描述的球面坐标，(u,v)为图1(b)中所描述的平面坐标,(u,v)→(φ,θ)具体步骤为：

判断平面上点所处位置，以平面坐标(u,v)来描述点的位置。首先判断v是否落在范围[0，h/2]内，若上述条件同时满足，则该点落在条带a内；否则该点落在条带b内。

当点落在条带a内时，使用图2(a)中的坐标轴描述方式，然后对其进行反向等距柱状投影。其中球面坐标与三维笛卡尔坐标系转换公式如下：

当点落在条带b内时，需要对坐标轴描述方式进行修改,使用图2(b)中的坐标轴规定来计算得到新的坐标轴描述下的球面坐标(φ′,θ′)。其中球面坐标与三维笛卡尔坐标系转换公式如下：

下面给出一个进行全景视频投影的例子。如图4，其中图4(a)为一个投影在球面上的全景图片，其上有根据条带a和条带b的划分规则划定的分界线；图4(b)为其相应的球面双c型投影后的平面图片；图4(c)为其相应的erp投影后的平面图片。

首先考虑图4(a)中点与图4(b)中点(u1,v1)。它们分别对应了球面上条带a内的一个点与其相应的平面上的点，遵守公式(1)，(2)所描述的球面到平面的转换关系和公式(6)，(7)所描述的平面到球面的转换关系。可以看到位于球面上条带a内的点将被投影到平面上半区域内。

然后考虑图4(a)中点与图4(b)中点(u2,v2)。它们分别对应了球面上条带b内的一个点与其相应的平面上的点，遵守公式(3)，(4)，(5)所描述的球面到平面的转换关系和公式(8)，(9)，(10)，(11)所描述的平面到球面的转换关系。可以看到位于球面上条带b内的点将被投影到平面下半区域内。

将图4(a)的球面上的点都按照上述具体实现方式内的投影规则投影到平面上就得到了图4(b)的平面全景图像，同理将图4(b)的平面全景图像按照上述具体实现方式内的投影规则投影到球面上就得到了图4(a)的球面全景图片。

在该方法中，以等距柱状投影为基础，使用两个法线方向相互垂直的条带实现对球面的包裹，并对两个区域都进行传统erp投影方法中赤道附近区域的投影计算。通过比较图4(b)图4(c)的结果可知，球面双c型投影方法解决了erp投影中两极区域像素被无限拉伸的问题。该方法具有很好的对称性，两个包裹球面的投影条带均为相应坐标轴下球面上经度方向[-3π/4，3π/4]和纬度方向[-π/4,π/4]的区域，投影到平面上后的图片更接近人眼视角；同时也能够通过比较图4(b)图4(c)的平面图像面积得知，在保持和erp具有相同球面像素信息的情况下球面双c型投影的平面全景图能节约25％图像面积。