三维视频编码中的元素间运动预测的方法及装置的制造方法
【专利说明】H维视频编码中的元素间运动预测的方法及装置
[000。相关申请的香叉引用
[0002] 本申请的权利要求范围要求如下申请的优先权；2012年10月3日递交的申请号 为61/744, 855,标题为"Inter-Component Motion Prediction for Video Coding"的美国 临时案。在此合并参考上述美国临时申请案的全部内容。
技术领域
[0003] 本发明有关于=维视频编码。更具体地，本发明有关于在=维视频编码中使用相 应于纹理图像的运动信息。
【背景技术】
[0004] 近年来=维电视已成为技术趋势，其目标在于为观众带来更真实的观看体验。目 前已开发各种技术用W致能3D立体视图。且与其他技术相比，多视图（multi-view)视频 为3D电视应用的主要技术。传统视频为二维（two-dimensional, 2D)媒介，其从摄影机的角 度向观众提供场景的单一视图。然而，多视图视频可提供动态场景的任意视点（viewpoint) 且为观众提供真实的感官。可对深度图像（depthmap)进行编码W擅染（render)=维视 图或多视图。
[0005] 本领域已揭露各种技术W改进3D视频编码的编码效率。也具有发展活动W标 准化（standardize)编码技术。例如，国际标准组织（InternationalOrganizationfor Standardization,ISO)内的工作组ISO/IECJTC1/SC29/WG11正在开发基于3D视频编码标 准的高效视频编码（化曲EfficiencyVideoCoding,肥VC)。为减少视图间冗余，已采用 一种称为视差补偿预测（disparity-compensatedprediction,DCP)的技术作为运动补偿 预测（motion-compensatedprediction，MCP)的替代工具。MCP也称为图像间预测（Inter pic化reprediction),其使用不同存取单元（accessunit,AU)中相同视图的先前编码图 像，而DCP参照图像内预测，其使用相同存取单元中其他视图的已编码图像，如图1所示。 将用于DCP的矢量称为视差矢量（disparityvector,DV)，其对比于MCP中使用的运动矢 量（MV)。由视图标识符（viewidentifier,viewID)指示对应于特定摄像机位置的视频图 像（110A)和深度图像（110B)。例如，图1中显示了相应于S个视图（即V0，V1和V2)的 视频图像和深度图像。属于相同摄像机位置的所有视频图像和深度图像都相应于同一视图 ID。如图1中所示，对视频图像化及深度图像（如果存在的话）进行逐个存取单元的编码。 AU(120)包括对应于相同时刻的所有视频图像和深度图像。在对同一AU内部的所有图像 (纹理及深度）进行编码之后，对每个图像执行运动数据压缩。在此情形中，对于每个AU， 用于AU内部的图像的重建过程可依赖于相应于当前AU的全分辨率运动数据。运动数据压 缩将仅影响其他AU的重建过程，其中，其他AU参照相应于当前AU的压缩运动数据。
[0006] 3D-HEVC为肥VC的扩展，其发展用于编码/解码3D视频。将其中一个视图称为基 础视图化aseview)或独立视图（inckpendentview),其相对其他视图和深度数据独立编 码，使用传统肥VC视频编码器对基础视图中的纹理图像进行编码。
[0007]在3D-HEVC版本4. 0中，使用合并和跳过模式（MergeandSkipmode)W用 于深度编码。对于3D-HEVC中的深度编码，类似于用于纹理元素（tex化recomponent) 的机制，使用基于混合区块的运动补偿类DCT转换编码结构化ybridblock-based motion-compensatedDCT-liketransformcodingarchitecture) 〇 用于压缩的基本单 元，称为编码单元（codingunit,CU)，为2NX2N的正方块。每个CU可递归地分割为四个 更小的CU直至达到预定义最小尺寸。每个CU包含一或多个预测单元（predictionunit, PU)。PU大小可为2化2N, 2化N,化2N或化N。当支持不对称运动分区（asymmetricmotion partition,AM巧时，PU大小也可为2化nU, 2化址，nLx2N或nRx2N。
[000引对于3D-HEVC中的深度编码，也将应用基于MVC的机制W在给定的MVP/DVP候选 项集合中选择一个运动预测项/视差矢量预测项（motionvectorpredictor/disparity vectorpredictor,MVP/DVP)。MVP/DVP的候选项集合包括空间和时间MVP/DVP。HTM-4.0 中存在=种帖间预测模式，包括帖间、跳过及合并模式。帖间模式W传输的运动矢量/视 差矢量（MV/DV)执行运动补偿预测/视差补偿预测，而跳过和合并模式使用运动推断方法 (motioninferencemethod)W从位于当前图像中的空间区块或从位于时间共位图像中的 时间区块获取运动信息，其中，在片头部（sliceheader)中对上述信息进行发信。当在跳 过或合并模式中对PU进行编码时，除了所选择候选项的索引之外，不传输运动信息。在跳 过PU的情形中，也将忽略冗余信息。对于HTM-4. 0中的帖间模式，使用先进的运动矢量预 测（advancedmotionvectorprediction,AMVP)机制W从包括两个空间MVP/DVP和一个 时间MVP/DVP的AMVP候选项集合中选择运动矢量预测项。对于合并和跳过模式中，使用合 并机制W从包括四个空间合并候选项和一个时间合并候选项的合并候选项集合中选择运 动矢量预测项。基于率失真优化（rate-distortionoptimization,畑0)决定，编码器从用 于帖间、跳过或合并模式的MVP/DVP的给定候选项集合内部选择一个最终MVP/DVP，并传输 选择的MVP/DVP的索引至解码器。根据时间距离或视图距离对选择的MVP/DVP进行线性缩 放。
[0009] 对于深度编码的帖间模式，直接将参考图像索引传输至解码器。然后在用于既定 参考图像索引的候选项集合中选择MVP/DVP。如图2中所示，用于HTM-4.0中帖间模式的 MVP/DVP候选项集合包括两个空间MVP/DVP和一个时间MVP/DVP。MVP/DVP候选项集合的大 小设定为2 ;
[0010] 1.左空间预测项（来自A。，Ai的第一可用MV/DV)
[0011] 2.上空间预测项（来自B。，Bi，B2的第一可用MV/DV)
[001引 3.时间预测项（来自Tbk和T。的第一可用MV/DV)
[001引 4.零候选项（零MV/DV)。
[0014] 对于3D-HEVC中的深度编码，如果将特定区块编码为合并模式，对合并索引进行 索引W指示在合并候选项集合中的哪个MVP/DVP被用于此区块的合并。为遵守运动信息共 享或重用的本质，每个合并的PU重用所选候选项的MV、预测方向及参考图像索引。如图2 中所示，合并候选项集合包括四个空间合并候选项和一个时间合并候选项。合并候选项集 合（也称为候选项列表）的大小设定为5 ;
[0015] 1.左空间预测项（A1)