一种全景视频编码方法及装置与流程

本发明涉及视频编码技术领域，特别是涉及一种全景视频编码方法及装置。

背景技术：

全景视频是指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成。全景视频可以抽象成一个以观察点为中心的球面。

在用计算机处理全景视频的时候，不可避免地要对全景视频进行离散化空间采样。在对全景视频进行离散化空间采样的时候，需要保证一定的空间采样密度，以达到所需的清晰度。同时，又要考虑到计算机的存储器不适合存储球面结构的数据，需要以某种方式把采样点排列到平面上。

常用的全景视频采样方法中，有经纬图采样、正六面体采样、正四棱锥采样等。其中，经纬图采样如图1所示，分别对球面的经度和纬度进行均匀采样，得到一个宽高比为2:1的矩形视频，这正是传统视频编解码处理的视频格式，非常便于后续的压缩、解压缩处理。

正六面体采样如图2所示，做球面的外切正六面体，将球面映射到正六面体的各个面上，然后分别对每个面进行均匀采样，得到六个正方形的视频。将这六个正方形视频按照某种方式排列，最终形成一个矩形视频。

正四棱锥采样如图3所示，首先做球面的外切正四棱锥，将球面映射到正四棱锥的底面和四个侧面，然后将正四棱锥的各个面展开在平面上，最后将4个侧面沿垂直于各自底边的方向缩小，直到每个侧面的顶角都变成90度。这样就形成了一个正方形。在形成的正方形上进行均匀采样，得到一个正方形的视频。

传统的压缩全景视频的方式是把采样后的全景视频当成普通的平面视频，用传统的压缩方法进行压缩编码。在传统的压缩编码方法中，会利用帧间预测方法消除视频数据中的时间冗余。即在压缩编码当前图像时，会参考若干已经编码的图像，被参考的已编码的图像被称为参考图像。

在H.264、AVS、H.265等传统视频编码标准中，允许当前图像的帧间预测单元的运动向量指向参考图像的边界以外。当某个帧间预测单元B的运动向量指向参考图像的边界以外时，为了获取B的预测值，需要对参考图像边界以外的部分进行扩充，这一过程简称‘扩边’。

目前，传统的扩边方法一般都是拷贝参考图像边界处的像素进行扩边，然而这种方法存在如下缺点：边界处的帧间预测的准确度不高，且视频编码的压缩效率也不高。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种全景视频编码方法及装置，其可以按照全景视频的相邻关系对参考图像进行扩边，提高在边界处的帧间预测的准确程度，从而提高压缩效率。

为达上述及其它目的，本发明提出一种全景视频编码方法，包括如下步骤：

步骤一，对全景视频进行采样；

步骤二，利用视频压缩编码方法对采样后的视频编码，得到视频序列中的一副图像；

步骤三，对编码后的图像进行相应解码，得到重建图像；

步骤四，若得到的重建图像将会被后续的图像参考，则进入步骤五；否则进入步骤六；

步骤五，按照全景视频的相邻关系对重建图像进行扩边；

步骤六，若该视频序列中所有的图像都已完成编码，则结束；否则返回步骤二。

进一步地，于步骤五中，对于那些能够找到相邻区域的边界，采取拷贝相邻区域的像素值到扩充区域的方式进行扩边；对于那些找不到相邻区域的边界，采取拷贝距离边界最近的像素值到扩充区域的方式进行扩边。

进一步地，于步骤五中，对各重建图像按照左、右、上、下的顺序进行扩边。

进一步地，于步骤一中，利用经纬图采样或正六面体采样或棱锥采样方法对该全景视频进行采样。

进一步地，若步骤一中利用经纬图采样方法进行采样，假设该a区为重建图像内部最右侧的一个区域，b区为重建图像内部最左侧的一个区域，A、B、C、D分别为该重建图像左边、右边、上边、下边需扩边的区域，步骤五的扩边过程如下：

将a区内的像素平移拷贝到A区；

将b区内的像素平移拷贝到B区；

拷贝扩充了A区和B区的图像的最上面一行像素的值，到C区的每一行；

拷贝扩充了A区和B区的图像的最下面一行像素的值，到D区的每一行。

进一步地，若步骤一中利用棱锥采样方法进行采样，假设A、B、C、D分别为该重建图像左边、右边、上边、下边需扩边的区域，a、b、c、d分别为该重建图像内部左侧与A等宽等高的区域、该重建图像右侧与B等宽等高的区域、扩充了A和B以后的图像内部上侧与C等宽等高的区域、扩充了A和B以后的图像内部下侧与D等宽等高的区域，步骤五的扩边过程如下：

将a绕视频左侧边界的中点旋转180°复制到A；

将b绕视频右侧边界的中点旋转180°复制到B；

将c绕视频上侧边界的中点旋转180°复制到C；

将d绕视频下侧边界的中点旋转180°复制到D。

进一步地，若步骤一中利用正六面体采样方法进行采样，步骤五的扩边过程如下：

按照六面体各个面之间的相邻关系对重建图像进行扩展，在其周围扩展出14个面；

删除扩边区域以外的数据。

为达到上述目的，本发明还提供一种全景视频编码装置，包括：

采样单元，用于对全景视频进行采样；

编码单元，利用视频压缩编码方法对采样后的视频编码，得到编码后的视频图像；

解码单元，用于对编码后的图像进行相应解码，得到重建图像；

判断单元，依次判断视频序列中各图像对应的重建图像是否会被后续的图像参考，若判断结果为是，则启动扩边单元，否则编码结束；

扩边单元，用于按照全景视频的相邻关系对重建图像进行扩边。

进一步地，对于那些能够找到相邻区域的边界，所述扩边单元采取拷贝相邻区域的像素值到扩充区域的方式进行扩边；对于那些找不到相邻区域的边界，所述扩边单元采取拷贝距离边界最近的像素值到扩充区域的方式进行扩边。

进一步地，所述扩边单元对重建图像按照左、右、上、下的顺序进行扩边。

与现有技术相比，本发明一种全景视频编码方法及装置通过按照全景视频的相邻关系对参考图像进行扩边，提高了在边界处的帧间预测的准确程度，从而提高了视频压缩编码的压缩效率。

附图说明

图1为现有技术中经纬图采样的示意图；

图2为现有技术中正六面体采样的示意图；

图3为现有技术中正四棱锥采样的示意图；

图4为本发明一种全景视频编码方法的步骤流程图；

图5为本发明一种全景视频编码装置的系统架构图；

图6为本发明实施例1中对经纬图采样的扩边示意图；

图7为本发明实施例2中对正四棱锥采样的扩边示意图；

图8为本发明实施例3中对正六面体采样的扩边示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图4为本发明一种全景视频编码方法的步骤流程图。如图4所示，本发明一种全景视频编码方法，包括如下步骤：

步骤401，对全景视频进行采样。在本发明中，可利用某种采样方法对全景视频进行采样，该采样方法可包括经纬图采样、正六面体采样、棱锥采样等传统的全景视频采样方法，也可以是未来更好的采样方法。

步骤402，利用视频压缩编码方法对采样后的视频编码，得到视频中的一副图像。这里采用的视频压缩编码方法可包括H.264、AVS、H.265等传统的视频压缩方法，也可以是未来更好的平面视频压缩方法。

步骤403，对编码后的图像进行相应解码，得到重建图像。

步骤404，若得到的重建图像将会被后续的图像参考，则执行步骤405，否则执行步骤406。

步骤405，按照全景视频的相邻关系对重建图像进行扩边。具体地说，本步骤对重建图像会按照左边、右边、上边、下边的顺序进行扩边，对于那些能够找到相邻区域的边界，采取拷贝相邻区域的像素值到扩充区域的方式进行扩边；对于那些找不到相邻区域的边界，采取拷贝距离边界最近的像素值到扩充区域的方式进行扩边。

步骤406，若视频序列中所有的图像都已完成编码，则结束；否则返回步骤402。

图5为本发明一种全景视频编码装置的系统架构图。如图5所示，本发明一种全景视频编码装置，包括：采样单元501、编码单元502、解码单元503、判断单元504以及扩边单元505。

采样单元501，用于对全景视频进行采样。在本发明中，采样单元201可利用某种采样方法对全景视频进行采样，该采样方法可为经纬图采样、正六面体采样、棱锥采样等传统的全景视频采样方法，也可以是未来更好的采样方法。

编码单元502，利用视频压缩编码方法对采样后的视频编码，得到编码后的视频图像。这里采用的视频压缩编码方法可包括H.264、AVS、H.265等传统的视频压缩方法，也可以是未来更好的平面视频压缩方法。

解码单元503，用于对编码后的图像进行相应解码，得到重建图像。

判断单元504，依次判断视频序列中各图像对应的重建图像是否会被后续的图像参考，若判断结果为是，则启动扩边单元，否则编码结束。

扩边单元505，用于按照全景视频的相邻关系对重建图像进行扩边。具体地说，扩边单元505对重建图像按照左边、右边、上边、下边的顺序进行扩边，对于那些能够找到相邻区域的边界，采取拷贝相邻区域的像素值到扩充区域的方式进行扩边；对于那些找不到相邻区域的边界，采取拷贝距离边界最近的像素值到扩充区域的方式进行扩边。

以下以目前主流的三种不同的采样方式为例，具体介绍其对应的扩边方法，但需说明的是，本发明并不局限于这三种采样方式。

实施例1

经纬图采样时的扩边方法，如图6所示，需要扩充出来的区域是A,B,C,D，a区是图像内部最右侧的一个区域，其大小与A区相同；b区是图像内部最左侧的一个区域，其大小与B区相同。扩边过程如下：

(1)将a区内的像素平移拷贝到A区。

(2)将b区内的像素平移拷贝到B区。

(3)拷贝扩充了A区和B区的图像的最上面一行像素的值，到C区的每一行。

(4)拷贝扩充了A区和B区的图像的最下面一行像素的值，到D区的每一行。

实施例2

棱锥采样时的扩边方法，如图7所示，粗实线围成的正方形是棱锥采样得到的视频，视频左侧由细实线和粗实线围成的区域记为A，A是视频左侧需要扩充出来的区域，类似地，视频右侧由细实线和粗实线围成的区域记为B，B是视频右侧需要扩充出来的区域。视频上侧由虚线和实线围成的区域记为C，C是视频上侧需要扩充出来的区域，视频下侧由虚线和实线围成的区域记为D，D是视频下侧需要扩充出来的区域。a是实线围成的位于视频内部左侧与A等宽等高的区域。b是实线围成的位于视频内部右侧与B等宽等高的区域。c是虚线和实线围成的位于扩充了A和B以后的视频内部上侧与C等宽等高的区域。d是虚线与实线围成的位于扩充了A和B以后的视频内部下侧与D等宽等高的区域。

扩边过程如下：

(1)将a绕视频左侧边界的中点旋转180°复制到A。

(2)将b绕视频右侧边界的中点旋转180°复制到B。

(3)将c绕视频上侧边界的中点旋转180°复制到C。

(4)将d绕视频下侧边界的中点旋转180°复制到D。

实施例3

正六面体采样时的扩边方法，如图8所示，实线构成的两行三列小正方形构成的矩形是经过六面体采样后得到的平面视频及其中每个面的摆放方式。其中‘下’沿逆时针方向旋转了90°，‘后’沿顺时针方向旋转了90°，‘上’沿逆时针方向旋转了90°。实线构成的大矩形是扩边后的视频。扩边方法如下：

(1)按照六面体各个面之间的相邻关系对图8所示的平面视频进行扩展，在周围扩展出14个面。例如‘左’的左边应该是‘后’，就把‘后’的数据拷贝到‘左’的左边。

(2)删除实线构成的大矩形以外的数据，剩下的就是扩边后的视频。

综上所述，本发明一种全景视频编码方法及装置通过按照全景视频的相邻关系对参考图像进行扩边，提高了在边界处的帧间预测的准确程度，从而提高了视频压缩编码的压缩效率。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。