基于多方式边界填充的全景视频编码、解码方法和装置的制造方法
【技术领域】
[0001]本申请涉及数字视频编解码技术领域，具体涉及一种基于多方式边界填充的全景视频编码、解码方法和装置。
【背景技术】
[0002]目前，虚拟现实技术和相关应用正在快速发展。在虚拟现实技术中，全景图像和全景视频是一个重要的组成部分。由于全景视频记录了360度视角的全部画面，具有极高的数据量，因此全景视频的压缩是虚拟现实应用中的一个关键技术。全景视频作为一种新兴的媒体，和传统的视频相比，具有视野大，分辨率高，数据量大等特点。利用全景视频，观察者视点不变，改变观察方向能够观察到周围的全部场景，而普通的二维视频只反应了全景视频的某个局部。
[0003]柱面全景视频是一种常见的全景视频，它相当于一个虚拟的摄像机，把空间中的三维物体投影到柱面上。柱面全景视频的生成可以利用多摄像头或者单摄像头采集系统采集而成。
[0004]由于全景视频的视野范围是普通视频的5?6倍，在给用户提供相同的视觉质量的情况下，全景视频的数据量是普通视频的5?6倍。如果按照传统的视频传输方案，全景视频在网络环境下的使用变得困难重重。但是，由于在同一时刻，用户所需要看到的内容只是全景视频的某一部分，所以分块编码与传输成为了全景视频网络传输的常见方案。
[0005]请参考图1，柱面全景视频的传输方法主要包括下面步骤:
[0006]对全景图像进行分块，并对每个图像块的序列独立进行编码。
[0007]之后选择所需要的编码后的数据进行传输。在此可以根据用户当前的视角选择数据。传输媒介可以是因特网、无线网络、局域网、光学网络、其它合适的传输媒介、或者这些传输媒介的适当组合。
[0008]最后解码端接收到数据之后，对这些块序列进行独立的解码和投影变换，得到所需图像。
[0009]在全景视频的分块编码中，分块的尺寸对于全景视频的编码效率以及传输区域有着重要的影响，而这两项因素直接决定着需要传输的数据量。如果编码块尺寸小，则传输区域较小，但是编码效率会较低;如果编码块尺寸大，则编码效率较高，但是传输区域也较大。所以在相同的视觉质量下，不同的编码块尺寸，需要传输的数据量是不一样的。
[0010]由于全景视频相对普通视频具有一定的特殊性，例如全景视频具有循环性，画面存在较大畸变等，需要使用一个特殊的编码技术以提高全景视频的压缩效率，而如何提高全景视频的压缩效率是本领域常年研究的一个问题。
【发明内容】
[0011]本申请提供一种基于多方式边界填充的全景视频编码、解码方法和装置，可以提高全景视频的压缩效率。
[0012]根据本申请的第一方面，本申请提供了一种基于多方式边界填充的全景视频编码方法包括:
[0013]将当前图像划分为若干图像块；
[0014]通过帧间预测得到当前图像块的预测图像块;所述帧间预测包括边界填充步骤，所述边界填充步骤为:当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值；
[0015]将当前图像块与预测图像块相减，得到残差块；
[0016]对残差块进行变换、量化和熵编码，以得到编码码流;所述编码码流的序列头或图像头中写入有边界填充步骤中所选择的边界填充方式。
[0017]优选的，当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式步骤，包括:当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值;当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。
[0018]在一实施例中，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。
[0019]在另一实施例中，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。
[0020]根据本申请的第二方面，本申请还提供了一种基于多方式边界填充的全景视频编码装置，包括:
[0021]图像划分模块，用于将当前图像划分为若干图像块；
[0022]帧间预测模块，用于通过帧间预测得到当前图像块的预测图像块;所述帧间预测模块包括边界填充单元，用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值；
[0023]计算模块，用于将当前图像块与预测图像块相减，得到残差块；
[0024]码流生成模块，用于对残差块进行变换、量化和熵编码，以得到编码码流;所述编码码流的序列头或图像头中写入有边界填充单元所选择的边界填充方式。
[0025]优选的，边界填充单元用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值，具体为:边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值;在当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。
[0026]在一实施例中，边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。
[0027]在另一实施例中，边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式;在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。
[0028]根据本申请的第三方面，本申请还提供了一种基于多方式边界填充的全景视频解码方法，包括:
[0029]对编码码流进行熵解码、反量化和反变换，以得到重建的残差块；
[0030]通过帧间预测得到当前图像块的预测图像块;所述帧间预测包括边界填充步骤，所述边界填充步骤为:采用编码码流的序列头或图像头中记录的边界填充方式，以求得参考样本的样本值；
[0031]将预测图像块和重建的残差块相加，得到重建的图像块。
[0032]在一实施例中，当所述边界填充方式记录在编码码流的序列头中时，编码码流的所有序