一种全景视频基于斜率分段采样方法及装置与流程

本发明涉及视频编码技术，特别是涉及一种全景视频基于斜率分段采样方法及装置。

背景技术

全景视频是指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成。全景视频可以抽象成一个以观察点为中心的球面。

在用计算机处理全景视频的时候，不可避免地要对全景视频进行离散化空间采样。在对全景视频进行离散化空间采样的时候，需要保证一定的空间采样密度，以达到所需的清晰度。同时，又要考虑到计算机的存储器不适合存储球面结构的数据，需要以某种方式把采样点排列到平面上。

现有的球面采样方法，通常将球面采样过程分为三步：第一步，映射，把球面映射为平面上的一个区域；第二步，平面采样，以映射后的平面区域为基础设计采样点的分布方式；第三步，排列，把采样点排列为一个矩形。

在第一步映射的过程中，球面的不同区域在映射前后面积的比例是不同的。第二步平面采样的过程中，经常是把采样点设计成在映射后的平面区域中均匀分布。第一步和第二步结合起来，就会造成采样点在球面上的分布不均匀。有些区域采样点比较密，有些区域采样点比较稀。最终采样达到的空间清晰度，是以球面上采样点最稀疏的区域为准。因此，在给定空间清晰度的条件下，采样点在球面上的不均匀分布，会带来冗余。而在第三步中，为了排列成矩形，采样点的位置分布情况发生了改变，这就丢失了采样点在球面上的相邻关系，不利于后续的预测编码。

目前，有三种常用的球面采样方法：经纬图采样，六面体采样以及棱锥采样。

经纬图采样如图2所示，球面上任意一个点可以用所处的经度θ和纬度描述，θ∈[0,2π)，于是可以将球面映射到θ坐标系下一个宽高比为2:1的矩形。对这个矩形进行均匀采样。经纬图采样方法在球面的两极附近采样密度过高，会产生很大的冗余。

六面体采样如图3所示，首先将球面映射为其外切正六面体的六个面，从而得到六个平面正方形，再对六个平面正方形进行均匀采样，最终用某种方式把六个正方形拼成一个矩形。六面体采样的采样点在球面上的分布也是不均匀的，依然存在较大的冗余。

棱锥采样如图4所示，首先将球面映射为一个外切正四棱锥，再将该正四棱锥的每个侧面(等腰三角形)沿底边垂线的方向进行压缩，直到顶角变成直角。这样底面和四个经过二次映射的侧面正好可以拼成一个正方形。最后对这个正方形进行均匀采样。棱锥采样的采样点在球面上的分布也是不均匀的，其不均匀程度介于经纬图采样和六面体采样之间，冗余程度也介于经纬图采样和六面体采样之间。

综上所述，已有的全景视频采样方法的主要缺点是存在较大的采样结构冗余。采样点在球面上不均匀分布，不仅会带来采样冗余，还给视频质量评价带来不便，因为最终的采样点对应的球面面积是不同的，因此每个采样点的失真对视频质量的影响也是不同的，在计算全景视频经过某种处理，例如压缩解压缩后的质量损失时，必须考虑到每个采样点的重要性是不同的。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种全景视频基于斜率分段采样方法及装置，其可以使采样点在球面上的分布满足赤道附近采样点数较多，两极附近采样点数较少，从而避免了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数减少，而且，拼成的矩形具有较高的内容相邻性，能提高编码压缩效率。

为达上述及其它目的，本发明提出一种全景视频基于斜率分段采样方法，包括如下步骤：

步骤一，如图5所示，将球面沿纬线平铺展开，可以看到球面上不同纬度处的展开宽度随纬度变化而变化，赤道处最宽，两极处最窄。以球面展开后的中心为原点生成二维直角坐标系；以球面展开后最左边的点到最右边的点的连线为横坐标轴，从左到右的取值范围是[-π，π］，与球面上的经度对应；以球面展开后最下边的点到最上边的点的连线为纵坐标轴，从下到上的取值范围是与球面上的纬度对应；同时，可以得到球面展开后边缘曲线l的斜率k。

步骤二，如图6所示，用纬线w1、w2、w3、w4将展开的球面分割为5个区域，按从上到下依次为oi，i＝0,1,2,3,4。

步骤三，根据分割后的各个区域的边缘曲线斜率k的取值范围，为每个区域都设置固定的斜率。其中区域o0的左边缘斜率设为右边缘斜率为o1左边缘斜率设为1，右边缘斜率为-1；o2左边缘斜率设为∞，右边缘斜率为∞；o3左边缘斜率设为-1，右边缘斜率为1；o4左边缘斜率设为右边缘斜率为然后根据该斜率得到各个区域经过采样后的形状，如图7所示。

步骤四，根据空间清晰度要求，对包括oi，i＝0,1,2,3,4的每个区域进行采样，采样后的形状如步骤三中所示。

步骤五，将采样后的图像排列为矩形，排列方法如图8所示。

进一步地，在上述方法中，于步骤一中，边缘曲线l处于第二、第三象限的部分的斜率其中y为纬度；而边缘曲线l处于第一、第四象限的部分的斜率其中y为纬度。

进一步地，在上述方法中，于步骤二中，纬线w1,w2所处的纬度大于零，w1在w2之上；纬线w3,w4所处的纬度小于零，w3在w4之上。且纬线w1,w2,w3,w4所处纬度yw1,yw2,yw3,yw4满足以下条件：

进一步地，在上述方法中，于步骤三中，各区域都经过采样后，o0的下边界和o1的上边界的长度不一定相同，o1的下边界和o2的上边界的长度一定相同，o2的下边界和o3的上边界的长度一定相同，o3的下边界和o4的上边界的长度不一定相同。

进一步地，在上述方法中，于步骤四中，处于球面赤道附近的区域o2横向采样点之和为m；o1与o2、o3共3个区域纵向采样点之和为n。

进一步地，在上述方法中，于步骤五中，在拼接后的矩形中，原区域o0处于矩形的右上位置，且其边缘处的像素点与周围区域不相邻；原区域o4处于矩形的右下位置，且其边缘处的像素点与周围区域不相邻；原区域o1处于矩形的左上位置；原区域o3处于矩形的左下位置；原区域o2处于矩形的中央位置。拼接后的矩形的宽度为m，高度为n。

进一步地，在上述方法中，该方法还包括：根据空间清晰度要求，在存储时，首先记录n和m，m为区域o2横向采样点之和；n为o1与o2、o3共3个区域纵向采样点之和；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,m-1),(1,0),(1,1),...,(1,m-1),...,(n-1,0),(n-1,1),...,(n-1,m-1)。

进一步地，在上述方法中，该方法还包括：在平面显示器上显示时，将所得的采样点数据排列在一个n行、m列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列。

为达到上述目的，本发明还提供一种全景视频基于斜率分段采样装置，应用于上述方法操作使用，包括：

球面展开单元，如图5所示，将球面沿纬线平铺展开，可以看到球面上不同纬度处的展开宽度随纬度变化而变化，赤道处最宽，两极处最窄。以球面展开后的中心为原点生成二维直角坐标系；以球面展开后最左边的点到最右边的点的连线为横坐标轴，从左到右的取值范围是[-π，π]，与球面上的经度对应；以球面展开后最下边的点到最上边的点的连线为纵坐标轴，从下到上的取值范围是与球面上的纬度对应；同时，可以得到球面展开后边缘曲线l的斜率k；

球面分割单元，如图6所示，用纬线w1、w2、w3、w4将展开的球面分割为5个区域，按从上到下依次为oi，i＝0,1,2,3,4；

斜率分配单元，根据分割后的各个区域的边缘曲线斜率k的取值范围，为每个区域都设置固定的斜率。其中区域o0的左边缘斜率设为右边缘斜率为o1左边缘斜率设为1，右边缘斜率为-1；o2左边缘斜率设为∞，右边缘斜率为∞；o3左边缘斜率设为-1，右边缘斜率为1；o4左边缘斜率设为右边缘斜率为然后根据该斜率得到各个区域经过采样后的形状，如图7所示；

采样值计算单元，根据空间清晰度要求，对包括oi，i＝0,1,2,3,4的每个区域进行采样，采样后的形状如步骤三中所示；

重排列单元，将采样后的图像排列为矩形，排列方法如图8所示。

进一步的，在上述装置中，所述球面展开单元，边缘曲线l处于第二、第三象限的部分的斜率其中y为纬度；而边缘曲线l处于第一、第四象限的部分的斜率其中y为纬度；

进一步的，在上述装置中，所述球面分割单元，纬线w1,w2所处的纬度大于零，w1在w2之上；纬线w3,w4所处的纬度小于零，w3在w4之上。且纬线w1,w2,w3,w4所处纬度yw1,yw2,yw3,yw4满足以下条件：

进一步的，在上述装置中，所述斜率分配单元，各区域都经过采样后，o0的下边界和o1的上边界的长度不一定相同，o1的下边界和o2的上边界的长度一定相同，o2的下边界和o3的上边界的长度一定相同，o3的下边界和o4的上边界的长度不一定相同；

进一步的，在上述装置中，所述采样值计算单元，处于球面赤道附近的区域o2横向采样点之和为m；o1与o2、o3共3个区域纵向采样点之和为n；

进一步的，在上述装置中，所述重排列单元，在拼接后的矩形中，原区域o0处于矩形的右上位置，且其边缘处的像素点与周围区域不相邻；原区域o4处于矩形的右下位置，且其边缘处的像素点与周围区域不相邻；原区域o1处于矩形的左上位置；原区域o3处于矩形的左下位置；原区域o2处于矩形的中央位置。拼接后的矩形的宽度为m，高度为n；

进一步的，在上述装置中，还包括存储模块，用于根据空间清晰度要求，在存储时，首先记录n和m，m为区域o2横向采样点之和；n为o1与o2、o3共3个区域纵向采样点之和；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,m-1),(1,0),(1,1),...,(1,m-1),...,(n-1,0),(n-1,1),...,(n-1,m-1)。

进一步的，在上述装置中，还包括显示模块，用于在平面显示器上显示时，将所得的采样点数据排列在一个n行、m列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列。

与现有技术相比，本发明具有显而易见的突出实质性特点和显著技术进步：本发明全景视频基于斜率分段采样方法及装置，减少了采样结构冗余，使得在达到相同的空间清晰度的条件下，采样点数少，采样后的数据量小，压缩效率高。

附图说明

图1为本发明的采样方法程序框图。

图2为现有技术球面采样方法中经纬图采样的示意图。

图3为现有技术球面采样方法中六面体采样的示意图。

图4为现有技术球面采样方法中棱锥采样的实验图。

图5为本发明一种全景视频基于斜率分段采样方法球面展开的示意图。

图6为本发明一种全景视频基于斜率分段采样方法球面展开后被纬线分割的示意图。

图7为本发明一种全景视频基于斜率分段采样方法球面分割后各区域确定斜率和采样后形状的示意图。

图8为本发明一种全景视频基于斜率分段采样方法的采样后图像重排列示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，以下通过本发明的优选实施例并结合附图说明本发明。

实施例一：参见图5～图8，本全景视频基于斜率分段采样方法，其特征在于，操作步骤如下：

步骤一，将球面沿纬线平铺展开，可以看到球面上不同纬度处的展开宽度随纬度变化而变化，赤道处最宽，两极处最窄。以球面展开后的中心为原点生成二维直角坐标系；以球面展开后最左边的点到最右边的点的连线为横坐标轴，从左到右的取值范围是[-π,π]，与球面上的经度对应；以球面展开后最下边的点到最上边的点的连线为纵坐标轴，从下到上的取值范围是[-π/2,π/2]，与球面上的纬度对应；同时，可以得到球面展开后边缘曲线l的斜率k；

步骤二，用纬线w1、w2、w3、w4将展开的球面分割为5个区域，按从上到下依次为oi，i＝0,1,2,3,4；

步骤三，根据分割后的各个区域的边缘曲线斜率k的取值范围，为每个区域都设置固定的斜率；其中区域o0的左边缘斜率设为1/4，右边缘斜率为-1/4；o1左边缘斜率设为1，右边缘斜率为-1；o2左边缘斜率设为∞，右边缘斜率为∞；o3左边缘斜率设为-1，右边缘斜率为1；o4左边缘斜率设为-1/4，右边缘斜率为1/4；然后根据该斜率得到各个区域经过采样后的形状。

步骤四，根据空间清晰度要求，对包括oi，i＝0,1,2,3,4的每个区域进行采样，采样后的形状如步骤三中所示；

步骤五，将采样后的图像排列为矩形。

实施例二：本全景视频基于斜率分段采样装置，应用于上述方法操作使用，其特征在于，包括：

球面展开单元：将球面沿纬线平铺展开，可以看到球面上不同纬度处的展开宽度随纬度变化而变化，赤道处最宽，两极处最窄。以球面展开后的中心为原点生成二维直角坐标系；以球面展开后最左边的点到最右边的点的连线为横坐标轴，从左到右的取值范围是[-π,π]，与球面上的经度对应；以球面展开后最下边的点到最上边的点的连线为纵坐标轴，从下到上的取值范围是[-π/2,π/2]，与球面上的纬度对应；同时，可以得到球面展开后边缘曲线l的斜率k；

球面分割单元：用纬线w1、w2、w3、w4将展开的球面分割为5个区域，按从上到下依次为oi，i＝0,1,2,3,4；

斜率分配单元：根据分割后的各个区域的边缘曲线斜率k的取值范围，为每个区域都设置固定的斜率。其中区域o0的左边缘斜率设为1/4，右边缘斜率为-1/4；o1左边缘斜率设为1，右边缘斜率为-1；o2左边缘斜率设为∞，右边缘斜率为∞；o3左边缘斜率设为-1，右边缘斜率为1；o4左边缘斜率设为-1/4，右边缘斜率为1/4。然后根据该斜率得到各个区域经过采样后的形状；

采样值计算单元：根据空间清晰度要求，对包括oi，i＝0,1,2,3,4的每个区域进行采样，采样后的形状如步骤三中所示；

重排列单元：将采样后的图像排列为矩形。

实施例三：本全景视频基于斜率分段采样方法如下：

用一个用分辨率为4096×2048的经纬图表示全景视频的其中一幅图像，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是rgb，采样后仍然用rgb表示每个采样点的颜色。假设空间清晰度的要求对三个分量是相同的，都是n＝1368，m＝3456，量化精度要求对每个分量也是相同的，都是量化为256级。则对每个分量，重复如下步骤一到步骤五：

步骤一，如图5所示，将球面沿纬线平铺展开，可以看到球面上不同纬度处的展开宽度随纬度变化而变化，赤道处最宽，两极处最窄。以球面展开后的中心为原点生成二维直角坐标系；以球面展开后最左边的点到最右边的点的连线为横坐标轴，从左到右的取值范围是[-π,π]，与球面上的经度对应；以球面展开后最下边的点到最上边的点的连线为纵坐标轴，从下到上的取值范围是[-π/2,π/2]，与球面上的纬度对应；同时，可以得到球面展开后边缘曲线l处于第二、第三象限的部分的斜率其中y为纬度；而边缘曲线l处于第一、第四象限的部分的斜率其中y为纬度。

步骤二，如图6所示，用纬度依次分别为和的纬线w1、w2、w3、w4将展开的球面分割为5个区域，按从上到下依次为oi，i＝0,1,2,3,4。

步骤三，根据分割后的各个区域的边缘曲线斜率k的取值范围，为每个区域都设置固定的斜率。其中区域o0的左边缘斜率设为1/4，右边缘斜率为-1/4；o1左边缘斜率设为1，右边缘斜率为-1；o2左边缘斜率设为∞，右边缘斜率为∞；o3左边缘斜率设为-1，右边缘斜率为1；o4左边缘斜率设为-1/4，右边缘斜率为1/4。然后根据该斜率得到各个区域经过采样后的形状，如图7所示。

步骤四，根据空间清晰度要求，对包括oi，i＝0,1,2,3,4的每个区域进行采样，采样后的形状如步骤三中图7所示。其中，处于球面赤道附近的区域o2横向采样点之和为3456；o1与o2、o3共3个区域纵向采样点之和为1368。

步骤五，将采样后的图像排列为矩形，排列方法如图8所示。在拼接后的矩形中，原区域o0处于矩形的右上位置，且其边缘处的像素点与周围区域不相邻；原区域o4处于矩形的右下位置，且其边缘处的像素点与周围区域不相邻；原区域o1处于矩形的左上位置；原区域o3处于矩形的左下位置；原区域o2处于矩形的中央位置。拼接后的矩形的宽度为3456，高度为1368。

在存储时，首先记录每个分量采样的行数1368和每行的采样点数3456；然后将所得的所有采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,3455),(1,0),(1,1),...,(1,3455),...,(1367,0),(1367,1),...,(1367,3455)。同一个采样点的三个分量按照b,g,r的顺序排列。

在平面显示器上显示时，将所得的采样点数据排列在一个1368行、3456列的矩形区域内，并将每一行编号为(i,0)的数据对齐，其他数据依次排列。

实施例四：本全景视频基于斜率分段采样方法如下：

用一个用分辨率为4096×2048的经纬图表示全景视频的其中一幅图像，在本发明具体实施例中，该全景视频为彩色视频，具有三个分量。假设所采用的颜色分量是ycbcr，采样比例是4:4:4，采样后仍然用ycbcr表示每个采样点的颜色。假设空间清晰度的要求对y分量是n＝1368，m＝3456，对cb和cr分量是n＝684，m＝1728，量化精度要求对每个分量是相同的，都是量化为256级。

则对y分量，进行如下步骤：

步骤一，如图5所示，将球面沿纬线平铺展开，可以看到球面上不同纬度处的展开宽度随纬度变化而变化，赤道处最宽，两极处最窄。以球面展开后的中心为原点生成二维直角坐标系；以球面展开后最左边的点到最右边的点的连线为横坐标轴，从左到右的取值范围是[-π,π]，与球面上的经度对应；以球面展开后最下边的点到最上边的点的连线为纵坐标轴，从下到上的取值范围是[-π/2,π/2]，与球面上的纬度对应；同时，可以得到球面展开后边缘曲线l处于第二、第三象限的部分的斜率其中y为纬度；而边缘曲线l处于第一、第四象限的部分的斜率其中y为纬度。

步骤二，如图6所示，用纬度依次分别为和的纬线w1、w2、w3、w4将展开的球面分割为5个区域，按从上到下依次为oi，i＝0,1,2,3,4。

步骤三，根据分割后的各个区域的边缘曲线斜率k的取值范围，为每个区域都设置固定的斜率。其中区域o0的左边缘斜率设为1/4，右边缘斜率为-1/4；o1左边缘斜率设为1，右边缘斜率为-1；o2左边缘斜率设为∞，右边缘斜率为∞；o3左边缘斜率设为-1，右边缘斜率为1；o4左边缘斜率设为-1/4，右边缘斜率为1/4。然后根据该斜率得到各个区域经过采样后的形状，如图7所示。

步骤四，根据空间清晰度要求，对包括oi，i＝0,1,2,3,4的每个区域进行采样，采样后的形状如步骤三中图7所示。其中，处于球面赤道附近的区域o2横向采样点之和为3456；o1与o2、o3共3个区域纵向采样点之和为1368。

步骤五，将采样后的图像排列为矩形，排列方法如图8所示。在拼接后的矩形中，原区域o0处于矩形的右上位置，且其边缘处的像素点与周围区域不相邻；原区域o4处于矩形的右下位置，且其边缘处的像素点与周围区域不相邻；原区域o1处于矩形的左上位置；原区域o3处于矩形的左下位置；原区域o2处于矩形的中央位置。拼接后的矩形的宽度为3456，高度为1368。

则对cb和cr分量，分别进行如下步骤：

步骤一，如图5所示，将球面沿纬线平铺展开，可以看到球面上不同纬度处的展开宽度随纬度变化而变化，赤道处最宽，两极处最窄。以球面展开后的中心为原点生成二维直角坐标系；以球面展开后最左边的点到最右边的点的连线为横坐标轴，从左到右的取值范围是[-π,π]，与球面上的经度对应；以球面展开后最下边的点到最上边的点的连线为纵坐标轴，从下到上的取值范围是[-π/2,π/2]，与球面上的纬度对应；同时，可以得到球面展开后边缘曲线l处于第二、第三象限的部分的斜率其中y为纬度；而边缘曲线l处于第一、第四象限的部分的斜率其中y为纬度。

步骤二，如图6所示，用纬度依次分别为和的纬线w1、w2、w3、w4将展开的球面分割为5个区域，按从上到下依次为oi，i＝0,1,2,3,4。

步骤三，根据分割后的各个区域的边缘曲线斜率k的取值范围，为每个区域都设置固定的斜率。其中区域o0的左边缘斜率设为1/4，右边缘斜率为-1/4；o1左边缘斜率设为1，右边缘斜率为-1；o2左边缘斜率设为∞，右边缘斜率为∞；o3左边缘斜率设为-1，右边缘斜率为1；o4左边缘斜率设为-1/4，右边缘斜率为1/4。然后根据该斜率得到各个区域经过采样后的形状，如图7所示。

步骤四，根据空间清晰度要求，对包括oi，i＝0,1,2,3,4的每个区域进行采样，采样后的形状如步骤三中图7所示。其中，处于球面赤道附近的区域o2横向采样点之和为1728；o1与o2、o3共3个区域纵向采样点之和为684。

步骤五，将采样后的图像排列为矩形，排列方法如图8所示。在拼接后的矩形中，原区域o0处于矩形的右上位置，且其边缘处的像素点与周围区域不相邻；原区域o4处于矩形的右下位置，且其边缘处的像素点与周围区域不相邻；原区域o1处于矩形的左上位置；原区域o3处于矩形的左下位置；原区域o2处于矩形的中央位置。拼接后的矩形的宽度为1728，高度为684。

在存储时，首先记录y分量采样的行数1368和每行的采样点数3456，cb分量采样的行数684和每行的采样点数1728，cr分量采样的行数684和每行的采样点数1728。然后将所得的y分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,3455),(1,0),(1,1),...,(1,3455),...,(1367,0),(1367,1),...,(1367,3455)。在y分量采样点的数据后面将所得的cb分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,1727),(1,0),(1,1),...,(1,1727),...,(683,0),(683,1),...,(683,1727)。在cb分量采样点的数据后面将所得的cr分量采样点的数据按照以下顺序排成一列：(0,0),(0,1),...,(0,1727),(1,0),(1,1),...,(1,1727),...,(683,0),(683,1),...,(683,1727)。

综上所述，本发明一种全景视频基于斜率分段采样方法及装置减少了采样结构冗余，保持了采样点在球面上的相邻关系，使得在达到相同的空间清晰度的条件下，采样点数少，采样后的数据量小，压缩效率高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。