视频编码中运动信息管理的装置与方法
【专利说明】视频编码中运动信息管理的装置与方法
[0001]【与相关申请的交叉引用】
[0002]本发明主张序列号为61/744，890并申请于2012年10月3日，标题为“Mot1nInformat1n Management for Video Coding”的美国临时专利申请，以及序列号为61/714，359 并申请于 2012 年 10 月 16 日，标题为 “Mot1n Informat1n Management forVideo Coding”的美国临时专利申请的优先权。将这些美国临时专利申请的权利完全纳入参考中。
技术领域
[0003]本发明涉及三维视频编码(three-Dimens1nal Video Coding)以及可扩展视频编码(Scalable Video Coding，SVC)。特别地，本发明涉及与时域运动向量预测(Temporal Mot1n Vector Predict1n，TMVP)有关的运动信息管理(mot1n informat1nmanagement)，以便减少所需要的缓存的大小。
【背景技术】
[0004]于高级视频编码，例如:高效视频编码(High Efficiency Video Coding, HE VC),时域运动参数(例如运动向量(mot1n vector，MV)，参考索引(reference index)，预测模式)被用于MV预测。因此，用于先前图片(prev1us picture)的运动参数需要被储存在运动参数缓存(mot1n parameter buffer)中。然而，因为运动表示(mot1nrepresentat1n)的粒度(granularity)与4x4—样小，所以运动参数缓存的大小变得非常重要。每个预测单元(predict1n unit，PU)有两个运动向量需要被储存以用于B片(b1-predicted slice，双向预测片)。另一方面，因为图片的大小持续的增长，由于不仅需要储存更多的运动向量，而且每个向量需要更多的比特来表示运动向量，所以存储器问题变得更加糟糕。例如，对于图片大小为4k X 2k的视频，所估计的用于MV的存储大约为每张图片26M比特，且实际大小将取决于所提供的分辨率以及最大MV。
[0005]为了减少运动参数缓存的大小，对于运动参数的压缩技术被用于基于高效视频编码的系统中，其储存来自具有较低空间分辨率(lower spatial resolut1n)的先前图片(prev1us picture)的已编码运动信息。对于运动参数的压缩技术使用抽取(decimat1n)来减少需要储存的运动向量的数量。已抽取的运动向量与代替4x4的更大的粒度有关。在压缩过程中，用运动参数缓存替代已编码的运动向量缓存，运动参数缓存具有减小的缓存以储存对应于较低空间分辨率(即，更大的粒度)的运动向量。每个已压缩的向量按照按分量逐位抽取(component-wise decimat1n)来计算。
[0006]于高效视频编码中，运动信息压缩是使用如图1所示的抽取方法来实现，其中，每个小的方形块(square block)包含4x4像素。在此示例中，对每个包含16x16像素(正如一个厚箱子)的区域执行运动信息压缩。如阴影区域所示的代表块(representative block)被选择，且每个16x16区域中的所有的块共享(share)相同的运动向量、参考图片索引以及代表块的预测模式。于图1所示，整个16x16区域的上方左侧的4x4的块被作为代表块使用。换句话说，16个块共享相同的运动信息。因此，在此示例中实现了 16:1的运动信息压缩。
[0007]三维视频编码被用于编码/解码多个视图(view)的视频，其中，多个视图是同时由对应于不同视图的相机捕获(capture)。因为所有相机是从不同的视角(viewpoint)捕获相同的场景(scene)，所以多视图视频包含大量视图间冗余(inter-viewredundancy)。为了共享相邻视图的先前已编码的质地(texture)，视差补偿预测(Disparity-Compensated Predict1n，以下简称为DCP)被加入到备选的运动补偿预测(Mot1n-Compensated Predict1n，以下简称为MCP)中。MCP是关于使用相同视图的先前已编码图片的图片间预测(inter-picture predict1n)，而DCP是关于使用相同访问单元中其他视图的先前已编码图片的图片间预测。图2显示了结合MCP以及DCP的三维视频编码系统的示例。用于DCP的向量210被称为视差向量(disparity vector，DV)，其模拟用于MCP的运动向量。图2显示了与MCP相关的三个运动向量(220、230以及240)的示例。此外，DCP块的视差向量还可由视差向量预测(Disparity Vector Predictor，以下简称为DVP)候选来预测，DVP来源于相邻块(neighboring block)或也用于视图间(inter-view)参考图片的时域同位块(temporal collocated block)。于HTM3.1(即，用于三维视频编码的基于测试模型版本3.1的高效视频编码)，当推导出用于合并模式/省略模式的视图间合并候选(inter-view Merge candidate)时，如果对应块的运动信息是不可用的或无效的，视图间合并候选将由视差向量来替代。
[0008]为了共享相邻视图的先前已编码的剩余信息(residual informat1n)，当前块(PU)的剩余信号(residual signal)可由如图3所示的视图间图片中对应块的剩余信号来预测。对应块可由相应的视差向量DV来定位。对应于特定照相机位置的视频图片以及深度图(depth map)可用视图标识符(即，图3所示的V0、Vl以及V2)来表示。属于相同照相机位置的所有视频图片以及深度图与相同视图1D(即，视图标识符)是相关的。视图标识符被用于指定访问单元(access unit)内的编码顺序，并在易出错(error-prone)的环境中检测缺失的视图。一个访问单元包含所有视频图片以及对应于同一时刻(time instant)的深度图。于访问单元内，视图1D等于O的视频图片以及任何相关的深度图首先被编码，随后是视图1D等于I的视频图片以及深度图等。视图1D等于O的视图(即，图3所示的V0)也被称作基础视图(base view)或独立视图(independent view)。基础视图视频图片可以不依赖任何其它的视图并由传统的高效视频编码的视频编码器来编码。
[0009]如图3所示，用于当前块的运动向量预测(mot1n vector predictor，以下简称为MVP)/DVP可以来源于视图间图片的视图间块(inter-view block)。在下文中，视图间图片的视图间块可被缩写为视图间块。已推导出的候选(derived candidate)被称为视图间候选，其可以是视图间MVP或DVP。此外，邻近视图中的对应块被称为视图间块，且视图间块是使用来源于当前图片(current picture)中当前块的深度信息(depth informat1n)的视差向量来定位。
[0010]如以上所描述的，视差向量DV是用于视差向量预测、视图间运动预测、视图间剩余预测、DCP、或任何需要指示视图间图片之间联系(correspondence)的其它编码工具的三维视频编码的关键。
[0011]已压缩的数字视频被广泛地使用于各种应用，例如，于数字网络上的视频流以及于数字信道上的视频传送。单个视频内容经常会于具有不同特性的网络上传送。例如，直播体育赛事可由用于高级视频服务的宽带网络上的高带宽流格式来承载。于这样的应用中，已压缩的视频通常能保持高分辨率以及高质量，以使视频内容能够适合于高清晰度装置，例如:高清晰电视(HDTV)或高分辨率液晶显示器。相同的内容还可通过蜂窝数据网络来承载，以使其内容能够于便携式装置(例如:智能电话或连接于网络的便携式媒体装置)上被观看。于这样的应用中，因为网络带宽影响以及智能电话或便携式装置上典型的低分辨率显示，视频内容通常被压缩到低分辨率以及低比特率(1wer bitrates) ο因此，对于不同的网络环境以及不同的应用，视频分辨率以及视频质量的要求是相当不同的。甚至对于同类型的网络，由于不同的网络基础结构(network infrastructure)以及网络传输条件(network traffic condit1n)，用户也可能体验不同的可用带宽。因此，当可用带宽高时，用户可能期待接收更高质量的视频，但当网络拥塞发生时，用户可能期待接收低质量但流畅的视频。于另一场景，高端媒体播放器能够处理高分辨率以及高比特率的已压缩的视频，而由于有限的计算资源，低成本媒体播放器只能处理低分辨率以及低比特率的已压缩的视频。因此，理想的状况是以可扩展方式(scalable manner)来构造已压缩的视频，以便能够根据相同的压缩比特流(compressed bitstream)获得于不同的空间时域分辨率(spatial-temporal resolut1n)和 / 或质量的视频。
[0012]ISO/IEC MPEG 以及 ITU-T VCEG 的联合视频工作组(Joint Video Team，JVT)把H.264/AVC标准的可扩展视频编码(Scalable Video Coding，以下简称为SVC)扩展作为标准。H.264/AVC定义的SVC比特流可包