视频编码、解码方法及其帧间预测方法和装置的制造方法
【技术领域】
[0001] 本申请涉及数字视频编解码技术领域，具体涉及一种视频编码、解码方法及其帧 间预测方法和装置。
【背景技术】
[0002] 目前，虚拟现实技术和相关应用正在快速发展。在虚拟现实技术中，全景图像和全 景视频是一个重要的组成部分。由于全景视频记录了360度视角的全部画面，具有极高的数 据量，因此全景视频的压缩是虚拟现实应用中的一个关键技术。全景视频作为一种新兴的 媒体，和传统的视频相比，具有视野大，分辨率高，数据量大等特点。利用全景视频，观察者 视点不变，改变观察方向能够观察到周围的全部场景，而普通的二维视频只反应了全景视 频的某个局部。
[0003] 柱面全景视频是一种常见的全景视频，它相当于一个虚拟的摄像机，把空间中的 三维物体投影到柱面上。柱面全景视频的生成可以利用多摄像头或者单摄像头采集系统采 集而成。
[0004] 由于全景视频的视野范围是普通视频的5~6倍，在给用户提供相同的视觉质量的 情况下，全景视频的数据量是普通视频的5~6倍。如果按照传统的视频传输方案，全景视频 在网络环境下的使用变得困难重重。但是，由于在同一时刻，用户所需要看到的内容只是全 景视频的某一部分，所以分块编码与传输成为了全景视频网络传输的常见方案。
[0005] 请参考图1，柱面全景视频的传输方法主要包括下面步骤：
[0006] 对全景图像进行分块，并对每个图像块的序列独立进行编码。
[0007] 之后选择所需要的编码后的数据进行传输。在此可以根据用户当前的视角选择数 据。传输媒介可以是因特网、无线网络、局域网、光学网络、其它合适的传输媒介、或者这些 传输媒介的适当组合。
[0008] 最后解码端接收到数据之后，对这些块序列进行独立的解码和投影变换，得到所 需图像。
[0009] 在全景视频的分块编码中，分块的尺寸对于全景视频的编码效率以及传输区域有 着重要的影响，而这两项因素直接决定着需要传输的数据量。如果编码块尺寸小，则传输区 域较小，但是编码效率会较低;如果编码块尺寸大，则编码效率较高，但是传输区域也较大。 所以在相同的视觉质量下，不同的编码块尺寸，需要传输的数据量是不一样的。
[0010] 另外，由于全景视频相对普通视频具有一定的特殊性，例如全景视频具有循环性， 画面存在较大畸变等，需要使用一个特殊的编码技术以提高全景视频的压缩效率。
[0011]传统的视频编解码标准中，采用帧间预测的方法，帧间预测方法以图像块为单位， 在参考图像上选取一个相同大小的块作为当前图像块的预测块。而在全景视频中，画面存 在较大的畸变，当物体在画面中运动时，物体的大小会伴随着运动出现放大或缩小的现象， 从而影响编码的预测性能以及压缩效率。
【发明内容】
[0012] 本申请提供一种视频编码、解码方法及其帧间预测方法和装置，解决了部分镜头 畸变严重的视频编解码过程中帧间预测性能差、压缩效率差的问题。
[0013] 根据本申请的第一方面，本申请提供了一种用于视频编解码的帧间预测方法，包 括：
[0014] 获取当前图像块的运动矢量以及当前像素的相关空间位置信息；
[0015] 根据当前图像块的运动矢量以及当前像素的相关空间位置信息得到当前像素的 运动矢量；
[0016] 根据得到的当前像素的运动矢量得到当前像素的预测值。
[0017] 根据本申请的第二方面，本申请还提供了一种用于视频编解码的帧间预测装置， 包括：
[0018] 信息获取模块，用于获取当前图像块的运动矢量以及当前像素的相关空间位置信 息；
[0019] 计算模块，用于根据当前图像块的运动矢量以及当前像素的相关空间位置信息得 到当前像素的运动矢量；
[0020] 预测模块，用于根据得到的当前像素的运动矢量得到当前像素的预测值。
[0021 ]根据本申请的第三方面，本申请还提供了一种视频编码方法，包括：
[0022]将当前图像划分为若干图像块；
[0023] 采用上述帧间预测方法得到当前图像块的预测图像块；
[0024] 将当前图像块与预测图像块相减，得到残差块；
[0025] 对残差块进行变换、量化和熵编码，以得到编码码流。
[0026] 根据本申请的第四方面，本申请还提供了一种视频解码方法，包括：
[0027] 对编码码流进行熵解码、反量化和反变换，以得到重建的残差块；
[0028] 采用上述帧间预测方法得到当前图像块的预测图像块；
[0029] 将预测图像块和重建的残差块相加，得到重建的图像块。
[0030] 根据本申请的第五方面，本申请还提供了一种视频编码系统，包括：
[0031] 图像块划分装置，用于将当前图像划分为若干图像块；
[0032] 上述帧间预测装置，用于得到当前图像块的预测图像块；
[0033]残差计算装置，用于将当前图像块与预测图像块相减，得到残差块；
[0034] 码流生成装置，用于对残差块进行变换、量化和熵编码，以得到编码码流。
[0035] 根据本申请的第六方面，本申请还提供了一种视频解码系统，包括：
[0036] 残差块重建装置，用于对编码码流进行熵解码、反量化和反变换，以得到重建的残 差块；
[0037] 上述帧间预测装置，用于得到当前图像块的预测图像块；
[0038]图像块重建装置，用于将预测图像块和重建的残差块相加，得到重建的图像块。
[0039]本申请提供的视频编码、解码方法及其帧间预测方法和装置中，在进行帧间预测 时，不仅仅考虑当前图像块的运动矢量，还考虑当前像素的相关空间位置信息，可以适应不 同镜头畸变的特性以及当物体在画面中运动时产生的放大/缩小现象，从而提高计算像素 的运动矢量时的准确性，提升视频编解码过程中帧间预测的性能和压缩效率。
【附图说明】
[0040] 图1为柱面全景视频的传输方法示意图；
[0041] 图2为本申请一种实施例中全景视频编码方法的流程示意图；
[0042] 图3为本申请一种实施例中用于全景视频编解码的帧间预测的流程示意图；
[0043] 图4为本申请一种实施例中帧间预测的原理示意图；
[0044] 图5为本申请一种实施例中用于全景视频编解码的帧间预测装置的模块示意图；
[0045] 图6为本申请一种实施例中全景视频解码方法的流程示意图；
[0046] 图7为本申请一种实施例中全景视频编码系统的结构示意图；
[0047] 图8为本申请一种实施例中全景视频解码系统的结构示意图。
【具体实施方式】
[0048] 首先需要说明的是，本申请提供的视频编码、解码方法及其帧间预测方法和装置， 可以应用在全景视频编解码中，也可以应用在半全景或其他镜头畸变较大的序列的编解码 中，为了便于对本申请进行说明，本申请仅以全景视频编解码为例进行说明。
[0049] 本申请的发明构思在于:针对典型的全景视频编码，全景视屏通过柱面映射得到， 因此位于全景图像顶部和底部的画面会被横向拉伸。当物体从图像中部向顶部或底部运动 时，物体在图像中的宽度会增加;反之，物体在图像中的宽度会减小。同时，拉伸或缩小的幅 度同物体在图像中的纵向坐标和纵向运动矢量相关，因此可以跟据这些数据（相关空间位 置信息)更