三维视频编码的视差向量推导的方法及装置的制造方法
【专利说明】H维视频编码的视差向量推导的方法及装置
[0001]【相关申请的交叉引用】 W02] 本发明主张申请于2013年4月9日，序列号为PCT/CN2013/073971，标题为"DefaultVectorforDisparityVectorDerivationfor3DVideoCoding"的PCT专利 申请的优先权。将此PCT专利申请W参考的方式并入本文中。 【技术领域】
[0003] 本发明设及S维（t虹ee-dimensional，3D)视频编码。特别地，本发明设及用于3D 视频编码中S维编码工具的视差向量推导（disparityvectorderivation)。 【【背景技术】】
[0004] =维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体 验（viewingexperience)。各种技术都被开发出来W使S维观看成为可能。其中，多 视图视频（multi-viewvideo)是=维电视应用中的一个关键技术。现有的视频是二维 (two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个 视图。然而，多视图视频可W提供动态场景的任意视角，并为观看者提供真实的感觉。 阳0化]通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照 相机都被合适地定位，W使每个照相机从一个视角捕捉场景。因此，多个相机将捕捉对应多 个视图的多个视频序列。为了提供更多的视图，需要使用更多的相机来产生具有与视图相 关联的大量视频序列的多视图视频。因此，多视图视频将需要大量的存储空间来存储和/ 或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来W减少所需要 的存储空间或传送带宽。
[0006] 一个直接方法可W简单地应用于现有的视频编码技术，使每个单个视图视频序列 独立且忽视不同视图中的任何关联。运样的编码系统将是非常低效的。为了提高多视图视 频编码效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码系统会考 虑与多个视图或深度图相关联的视频数据的相关性。标准发展主体，ITU-T视频编码专家组 (VideoCodingExpertsG;roup，VCEG)的联合视频组[^及150/16〔运动图片专家组（Moving PicUireExpertsGroup，MPEG)，将H. 264/MPEG-4AVC扩展到用于立体W及多视图视频的多 视图视频编码（multi-viewvideocoding,MVC)中。
[0007] MVC采用时间及空间预测来提高压缩效率。于MVC的发展过程中，提出了一些宏 区块等级的编码工具，包括亮度补偿，自适应参考滤波，运动跳过模式，W及视图合成预测 (viewsynthesisprediction)。运些编码工具被提出W利用多个视图之间的冗余。亮度 补偿是用于补偿不同视图之间的亮度变化。自适应参考滤波是用于减少由于相机之间的聚 焦不匹配而导致的变化。运动跳过模式允许从其他视图推导出当前视图中的运动向量。视 图合成预测用于从其他视图预测当前视图的图片。
[0008] 在基于3D视频编码的肥VC(肥VCbased3Dvideocoding, 3D-HTM)的参考软 件中，增加了视图间候选来作为运动向量（motionvector,MV)或视差向量（disparity vector,DV)候选W用于视图间、合并及跳过模式，W再使用相邻视图的先前已编码的运动 信息。于3D-HTM，用于压缩的基本单元被称为编码单元（codingunit,CU),其为2化2N的 方形块。每个CU可W被递归地分为四个更小的CU,直到达到预定义的最小尺寸。每个CU 包含一个或多个预测单元（predictionunit,PU)。 W09] 为了共享相邻视图的先前已编码的纹理信息，被称为视差补偿预测 (Dispa;rit5f-CompensatedPrediction,DCP)的技术已经被包含到 3D-HTMW作为运动补 偿预测（motion-compensatedprediction,MCP)的备选编码工具。MCP指的是使用相同 视图的先前已编码图片的图片间预测，而DCP指的是使用相同存取单元（accessunit)中 其他视图的先前已编码图片的图片间预测。图1为结合了MCPW及DCP的3D视频编码系 统的示例的示意图。用于DCP的向量110被称为DV，其模拟用于MCP的MV。图1示出了 与MCP相关联的S个MV120、MV130W及MV140。此外，DCP块的DV还可通过视差向量预测 (disparityvectorpredictor,DVP)候选来预测，DVP候选来源于也使用视图间参考图片 的相邻块（nei曲boringblock)或时间对应块（temporalcollocatedblock)。于 3D-HTM 版本3.I中，当推导用于合并/跳过模式的视图间合并候选时，如果对应块的运动信息是不 可用的或无效的，则视图间合并候选由DV来替代。
[0010] 视图间残差预测是用于3D-HTM的另一编码工具。如图2所示，为了共享相邻视 图的先前编码的残差信息，当前预测块（即，PU)的残差信号可W由视图间图片中对应块的 残差信号来预测。对应块可由相应DV来定位。对应于特定照相机位置的视频图片W及深 度图是由视图标识符（即，图2中的V0、VlW及V2)来指示。属于相同照相机位置的所有 视频图片W及深度图都与相同ViewId(即，视图标识符）相关联。视图标识符用于指定存 取单元中的编码顺序，并检测在易出错环境中丢失的视图。存取单元包括对应于相同时刻 (timeinstant)的所有视频图片W及深度图。于存取单元中，如果存在ViewId等于0的 视频图片及相关深度图，则ViewId等于0的视频图片及相关深度图首先被编码，接着编码 ViewId等于1的视频图片及深度图等。ViewId等于0(即，图2中的VO)的视图也被称作 基础视图或独立视图。基础视图视频图片可W使用不依赖于其他视图的现有的肥VC视频 编码器来编码。
[0011] 如图2所示，对于当前块，运动向量预测（MVP)/视差向量预测值V巧可W来源于 视图间图片中的视图间块。在下文中，视图间图片的视图间块可W简称为视图间块。推导 出的候选被称为视图间候选，视图间候选可W是视图间MVP或DVP。根据其它视图的先前已 编码运动信息来编码当前块（例如，当前预测单元，PU)的运动信息的编码工具被称为视图 间运动参数预测。此外，相邻视图的对应块被称为视图间块，且视图间块是使用来源于当前 图片中当前块的深度信息的视差向量来定位。
[0012] 视图合成预测（Viewsynthesisprediction,VSFO是一种移除来自不同视点的 视频信号之间的视图间冗余的技术，其中，合成信号作为参考W预测当前图片。于3D-肥VC 测试模型中，存在用于推导视差向量预测的过程。接着，已推导的视差向量被用于提取参考 视图的深度图像中的深度块。已提取的深度块将具有与当前预测单元（PU)相同的大小，接 着，其被用于对当前PU进行后向扭曲（wa巧ing)。此外，扭曲操作可执行于子PU(SUb-PU) 等级，类似8x4或4x8的块。最大深度值被选出W用于子PU块，且用于扭曲子PU块中的所 有像素。VSP技术被应用于纹理图片编码。于当前实现，VSP被增加W作为新的合并候选W 供VSP预测使用。W运样的方式，VSP块可W是没有任何残差的跳过块（skippedblock)， 或具有残差信息编码的合并块。 阳01引图2所示的示例对应于从VO(即，基础视图）到VI，然后V2的视图编码顺序。正 在被编码的当前图片的当前块位于V2中。根据HTM3. 1，即使视图间图片不在当前图片的参 考图片列表中，先前被编码视图中参考块的所有MV也可被认为是视图间候选。于图2中， 于时间tl，帖210、220W及230分别对应于来自视图V0、V1W及V2视频图片或深度图。块 232是当前视图的当前块，且块212W及222分别为视图VOW及Vl的当前块。对于视图 VO中的当前块212,视差向量216用于定位视图间对应块214。类似地，对于Vl中的当前块 222,视差向量226用于定位视图间对应块224。根据HTM-3. 1，与来自任何已编码视图的视 图间对应块相关联的运动向量或视差向量可W被包含于视图间候选中。因此，视图间候选 的数量可能会相当大，其需要更多的处理时间及更大的存储空间。希望能开发出一种方法 来减少处理时间及存储要求，而不会对BD-rate或其它性能测量方面的系统性能造成显著 的影响。
[0014] 于3DV-HTM版本3. 1，视差向量可用作视图间模式的DVP候选或用作合并/跳过 模式的合并候选。已推导的视