基于gop片划分的支持空域随机访问的自适应多视点视频编码方法
【技术领域】
[0001]本发明涉及多视点视频压缩编码领域，尤其涉及一种基于G0P片划分的支持空域随机访问的自适应多视点视频编码方法。
【背景技术】
[0002]多视点视频从不同角度表现丰富的客观世界，提供给用户从任意视点和不同视角交互浏览的特色。基于这种独特的表现能力，多视点视频广泛应用于三维数字电视、自由视点视频通信等诸多领域。多视点视频压缩是解决多视点视频通信中带宽限制问题的有效手段，它不仅要去除每一路视频时间方向的统计信息冗余，而且还要压缩多路视频信号之间的相关信息冗余。
[0003]针对自然采集的视频，研究人员提出了大量的多视点视频压缩算法，其中基于
H.2641AVC的利用分层次B帧的多视点视频编码机制显著提高了压缩性能，被用作多视点视频编码标准的基本框架。虽然多视点视频编码利用视差预测来提高压缩性能，但限制了灵活的自由视点切换能力和快速介入压缩域数据的随机访问能力。
[0004]为了增强浏览的连续性，交互式多视点视频系统需要在原始采集的多个视点之间绘制新的视点。由于这种新视点的绘制通常只需要原始采集视点图像的部分数据，因此一种支持空域随机访问功能的编码方法对快速的虚拟视点绘制是十分必要的。
[0005]通过空域随机访问抽取局部图像的码流进行有选择的传输，可以避免传送一些不必要的信息，节省信道带宽。空域随机访问是指随机地介入到图像中某一局部区域，它是多视点视频编码中的一项基本需求。采用动态三维点采样的数据表示形式提供了较强的空域随机访问能力，但其表示形式仅适合于虚拟的合成视频，不适用于自然采集的多视点视频。
[0006]目前，基于H.2641AVC的多视点编码框架只能通过整幅图像完全解码之后来支持空域随机访问功能，这种方法访问速度很慢，无法满足交互式虚拟视点绘制时快速获取数据的需求。
【发明内容】
[0007]本发明基于H.264/AVC编码框架，提出基于G0P片划分的支持空域随机访问的自适应多视点视频编码方法，以满足快速虚拟视点绘制的需求。
[0008]—种基于G0P片划分的支持空域随机访问的自适应多视点视频编码方法，包括:
[0009](1)将多视点视频划分成多个GG0P(独立时空体，group of GOP)的集合，所述GGOP为具有视点间预测关系的多个视点在同一时间间隔内所对应的若干G0P(画面组，Group ofPictures)组成；
[0010](2)针对每一个GG0P进行编码时，将图像区划分成多个条带组，每个条带组再根据灵活的宏块排序技术(flexible macroblock ordering，FM0)进行编码，得到编码后的多视点视频；
[0011](3)对编码后的多视点视频进行空域随机访问时，将帧间预测范围限制在空域随机访问指向的GG0P进行解码。
[0012]本发明首先通过多视点视频序列相关性，采用灵活的自适应G0P时空划分来构建独立时空体，解码时在每个时空体内通过限制帧间预测范围来增强解码的独立性，从而可以实现压缩域内某一帧特定区域数据的快速定位，进而通过调整预测空间来改善空域随机访问和整帧编码性能之间的关系。
[0013]在MVC(multi_view video coding)中，通常将多视点视频序列按GOP先进行分段再进行编码。通过分析发现:在编码B帧时，通过分析序列的相关性可以去掉其中一些无用或作用很小的参考帧，以有效地降低计算复杂度。但是对于相关性变化丰富的多视点视频序列，假定整个G0P内部图像的相关性一致，则显得有些粗糙，编码效率难以进一步提高。考虑上述因素，本发明利用独立片的概念，把相关性分析细化到G0P内部，将G0P分割为独立片的组合体，可以有效地提高多视点视频编码效率。使用独立片作为相关性判断的实体，其内部图像的相关性一致。独立片可以以帧、视点等形式来划分，最小可用一帧代表一个独立片。反之，整个G0P也能作为一个独立片。以帧的形成来划分独立片是指以一帧作为一个独立片，每编码完一帧都要保存其中相关性判断信息，作为后续帧中选择参考帧的依据。以视点来划分是指将每个视点作为一个独立片，每编码完一个视点做一次分析，保存相关信息，作为后续视点编码时选择参考帧的依据。
[0014]本发明将视点间预测关系的多个视点在同一时间间隔内所对应的若干G0P构成独立时空体。
[0015]步骤(1)划分GG0P时，定义编码块范围预测准则如下:
[0016]Hormin=max{(-MbX < 4-(16+8)) < 2, ((L_A_X-MbX) <4) <2}
[0017]Vermin=mx{ ((-MbY < 4-( 16+8)) < 2，((L_A_y_MbY) <4) <2}
[0018]Hormax=min{ (((MblnFrameX-MbX) < 4)+8) < 2, ((R_D_X-MbX) <4) <2}
[0019]Vermax=min{ (((MblnFrameY-MbY) < 4)+8) < 2，((R_D_Y_MbY) <4) <2} (1)
[0020]其中，L_A_X，L_A_y，R_D_X和R_D_y分别表示当前编码图像区的左上角和右下角的水平和垂直坐标；
[0021 ] MbX和MbY分别表示当前编码宏块的以块索引度量的水平和垂直坐标；
[0022]MblnFrameX和MblnFrameY分别表示当前帧在水平和垂直方向上包含的宏块数；
[0023]设^_、￥65^、110^\、￥6^\分别表示水平方向和垂直方向的1/4像素精度预测范围的最小和最大值；
[0024]在块匹配搜索时，通过在编码配置时设置的搜索范围[-p，p-l]与式子(1)计算得到的最大最小值之间进行适当比较，最终确定每个编码块运动向量的范围。
[0025]独立时空体图像区在编码时由条带组来描述，每一图像区可以由一个或多个条带组组成，条带组再根据灵活的宏块排序技术(flexible macroblock ordering，FM0)进行编码。
[0026]图像区的划分尺寸由空域随机访问粒度的具体需求来决定.当采用FM0时，编码器需要传送宏块与条带组之间的映射关系数据，这增加了传输的码率。由于划分后图像区的数量对编码性能会有很大影响，因此规则图像区的划分首先要能够覆盖需要访问的最小区域面积，然后尽可能地减少由划分引起的传输代价。在空域随机访问尺度小于一帧大小的前提下，整帧编码性能随着空域随机访问尺度增大满足某种近似的单调递增关系。访问需求的粒度决定虚拟视点绘制时所需要的相邻视点部分图像面积的准确程度。面积越小，取得的部分图像的面积越精确。反之，则越不精确。
[0027]分图像区编码把每一图像区作为一个独立的编解码实体，需要为之设计相应的编码机制。在多视点编码框架中，同一时刻一个视点的图像将作为其相邻视点的参考图像进行视差预测。
[0028]为了支持帧内部分图像的快速访问，时间方向的运动向量预测和视点间的视差向量预测都必须限制在一定的范围之内。为此，将具有视间预测关系的多个视点在同一时间间隔内所对应的若干G0P定义为一个GGOP (group of GOP)。在解码过程中时间方向的帧间预测和空间方向的视间预测都必须局限在该GG0P所确定的有限时空体内进行，称为独立时空体编码。
[0029]作为优选，完成编码后，依次进行修改插值和环路滤波。
[0030]基于H.264/AVC的多视点编码器中，亚像素插值提高了运动和视差估计的精度。为了配合1/4亚像素的上采样插值操作，在每一帧的边界处采用扩展填充处理。独立时空体编码算法在分割的图像区边界处采用了类似的扩展填充处理。
[0031]进行修改插值时，编码的图像区在边界处放大2个整像素的宽度，然后利用重复的边界像素来进行填充。这种操作可以进一步提高图像区边界处的预测效率。
[0032]为了使每一个图像区都能够被独立访问，作为优选，进行环路滤波时，仅在图像区内部进行。仅在图像区内部，而不在图像区的边界处进行环路滤波，从而使不同的图像区相互之间割断联系。
[0033]本发明基于G0P片划分的支持空域随机访问的自适应多视点视频编码方法在保证高率失真性能的前提下，应用自适应算法有效地降低了多视点视频编码计算复杂度，将多种性能进行有机结合，可以根据用户外部设置的参数调整自适应模式。
[0034]本发明在保证高压缩效率的前提下，能有效地降低计算复杂度.并改善随机访问性能。本发明不仅在整帧压缩效率和快速空域随机访问灵活性方面达到了很好的平衡，而且能够通过传输部分码流的方式节省传输带宽。
【具体实施方式】
[0035]下面将结合具体实施例对本发明进行详细说明。
[0036]本实施例的基于G0P片划分的支持空域随机访问的自适应多视点视频编码方法，包括如下步骤:
[0037]1)独立时空体范围确定:
[0038]为了支持帧内部分图像的快速访问，时间方向的运动向量预测和视点间的视差向量预测都必须限制在一定的范围之内。为此，将具有视间预测关系的多个视点在同一时间间隔内所对应的若干G0P定义为一个GGOP (group of GOP)。在解码过程中时间方向的帧间预测和空间方向的视间预测都必须局限在该GG0P所确定的有限时空体内进行，称为独立时空体编码。时间方向的帧间预测和空间方向的视间预测都必须局限在该GG0P所确定的有限时空体内进行，称为独立时空体编码。
[0039]独立时空体编码的关键步骤是如何设置预测范围.由独立时空体的定义，本实施例给出编码块范围预测准则如下: