三维视频编码中用于高级时间残差预测的方法及装置的制造方法
【专利说明】三维视频编码中用于高级时间残差预测的方法及装置
[0001]【相关申请的交叉引用】
[0002] 本发明主张申请于2013年7月16日，序列号为PCT/CN2013/079468,标题为 "MethodsforResidualPrediction" 的PCT专利申请，以及申请于 2013 年 11 月 14 日， 序列号为PCT/CN2013/087117,标题为"MethodandApparatusforResidualPrediction inThree-DimensionalVideoCoding"的PCT专利申请的优先权。将所述PCT专利申请以 参考的方式并入本文中。 【技术领域】
[0003] 本发明涉及三维以及多维视频编码。特别地，本发明涉及使用时间残差预测的视 频编码。 【【背景技术】】
[0004] 三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体 验（viewingexperience)。各种技术都被开发出来以使三维观看成为可能。其中，多 视图视频（multi-viewvideo)是三维电视应用中的一个关键技术。现有的视频是二维 (two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个 视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。三维 视频格式还可包括与对应特征（texture)图片相关的深度图（depthmap)。深度图也必须 被编码以渲染三维视图或多维视图。
[0005] 在本领域中，已经揭露了各种用于提高三维视频编码的编码效率的技术。也有一 些活动对编码技术进行标准化。例如，国际标准化组织（InternationalOrganizationfor Standardization，ISO)中的IS0/IECJTC1/SC29/WG11工作组开发了基于三维视频编码标 准的高效视频编码（HighEfficiencyVideoCoding，HEVC)(命名为 3D-HEVC)。为了减少 视图间冗余，一种被称为视差补偿预测（Disparity-CompensatedPrediction，以下简称为 DCP)的技术被增加到运动补偿预测（Motion-CompensatedPrediction，以下简称为MCP) 中，以作为可选的编码工具。MCP是关于使用不同访问单元（accessunit)的相同视图的先 前已编码图片的图片间预测（interpictureprediction)，而DCP是关于使用相同访问单 元中其他视图的先前已编码图片的图片间预测。
[0006] 对于 3D-HEVC，揭露了 高级残差预测（advancedresidualprediction，ARP)方 法以提高视图间残差预测（inter-viewresidualprediction，IVRP)的效率，其中，当前 视图的运动被应用到参考视图的对应块（correspondingblock)。此外，附加权重因子 (additionalweightingfactor)被引入以补偿不同视图之间的质量差异。图1所示为 3D-HEVC中揭露的ARP的示范性结构，其中，当前块112的时间（S卩，跨时间）残差190是 使用参考时间残差170来预测的，以形成新的残差180。残差190对应于相同视图中当前 块110以及时间参考块150之间的时间残差信号。视图0是指基础视图，且视图1是指附 属视图。该过程描述如下。
[0007] 1.用于参考视图间参考的当前块110的已估计的DV120被推导出。由对应图 片（CorrespondingPicture，CP)表示的视图间参考位于基础视图中，且具有与视图1中 当前图片相同的P0C。根据已估计的DV120,用于当前图片的当前块110的CP中的对应 区域（CorrespondingRegion，CR) 130 被定位。对应区域 130 的重建像素（reconstructed pixel)被表示为S。
[0008] 2.具有与用于当前块110的参考图片相同的P0C的基础视图的参考对应图片被建 立。当前块的MV160被用在CR130上以定位参考对应图片中的参考对应区域140,其与当 前块的相对位移为DV+MV。参考对应图片中的重建图像（reconstructedimage)被表示为 Q〇
[0009] 3.参考残差170是由RR=S-Q来计算。此处的操作是以取样方式（sample-wised) 进行的，即，1?[^]=3[」，1]-〇[^]，其中，1^[^]是参考残差的取样，5[^]是对应 区域130的取样，Q[j，i]是参考对应区域140的取样，且[j，i]是区域中的相对位置。于 下文的描述中，区域中的操作都是取样方式操作。
[0010] 4.参考残差170将被用来作为当前块的残差预测以产生最终残差180。此外，权 重因子被应用到参考残差上以获得用于预测的权重残差（weightedresidual)。例如，三个 权重因子可被用于ARP，S卩，0、0. 5以及1，其中，0表示没有ARP被使用。
[0011] ARP过程仅应用于使用MCP的块。对于使用DCP的块，ARP不会被应用。希望开发 出也能应用于使用DCP编码的块的残差预测技术。 【
【发明内容】
】
[0012] 本发明揭露了一种用于使用高级时间残差预测的三维或多视图视频编码的方法 及装置。所述方法确定用于当前块的当前附属视图中时间参考图片的对应块。用于对应块 的参考残差是根据当前运动或视差参数被确定。接着，根据参考残差，预测编码或解码被应 用到当前块。于当前块使用视差补偿预测（disparitycompensatedprediction，DCP)来 编码时，参考残差被用作为当前残差的预测子，当前残差是将DCP应用到当前块产生的。当 前块可对应于预测单元（predictionunit，PU)或编码单元（codingunit，⑶）。
[0013] 时间参考图片中对应块可根据使用已导出运动向量（derivedmotionvector， DMV)的当前块被定位，且DMV对应于参考视图中已选择参考块的已选择运动向量（motion vector，MV)。使用当前块的MV、视差向量（disparityvector，DV)、或已导出视差向量 (derivedDV，DDV)从当前块定位出已选择参考块。DDV还可根据自适应视差向量导出 (adaptivedisparityvectorderivation，ADVD)被导出，且ADVD是基于一个或多个时 间相邻块以及两个空间相邻块被导出。两个空间相邻块被定位于当前块的右上方位置以 及左下方位置。时间相邻块可对应于当前块的一个已调整时间参考块（alignedtemporal referenceblock)以及一个对应时间参考块（collocatedtemporalreferenceblock)， 且已调整时间参考块位于时间参考图片中，且是由当前块的已缩放MV(scaledMV)指向的。 如果时间相邻块或空间相邻块是不可用的，则可使用默认DV。ADVD技术还可被应用到现有 ARP以确定用于当前块的参考视图中视图间参考图片的对应块。
[0014] DMV可以根据参考列表的参考索引或参考列表中已选择的参考图片被缩放至第一 时间参考图片。接着，第一时间参考图片或已选择的参考图片被用作为用于当前块的当前 附属视图中的时间参考图片。DMV可被设置为当前块的空间相邻块或时间相邻块的运动向 量。DMV可以在比特流中显式地被表示（signaled)。当DMV为零时，时间参考图片的对应 块对应于当前块的对应块。
[0015] 根据参考残差，旗标可被表示以用于每个块来控制与当前块的预测编码或解码有 关的开启、关闭、或权重因子。旗标可在序列等级、视图等级、图片等级或条带等级显式地被 表示。旗标还可于合并模式中被继承（inherited)。权重因子可对应于1/2。 【【附图说明】】
[0016] 图1所示为高级残差预测的示范性结构，其中，根据3D-HEV，当前跨时间残差是使 用参考跨时间残差在视图方向被预测。
[0017] 图2所示为根据本发明实施例的高级时间残差预测的简图，其中，当前视图间残 差是使用参考视图间残差在时间方向被预测。
[0018] 图3所示为根据本发明实施例的高级时间残差预测的示范性结构，其中，当前视 图间残差是使用参考视图间残差在时间方向被预测。
[0019] 图4所示为用于确定已导出的运动向量以定位当前块的时间参考块的示范性过 程。
[0020] 图5所示为用来导出用于自适应视差向量导出（adaptivedisparityvector derivation，ADVD)的视差向量候选或运动向量候选的两个空间相邻块。
[0021] 图6所不为用于已调整时间DV(alignedtemporalDV，ATDV)的已调整时间视差 向量以及时间视差向量。
[0022] 图7所示为根据本发明实施例的高级时间残差预测的示范性流程图。
[0023] 图8所示为根据本发明实施例的使用ADVD以确定参考视图中视图间参考图片的 对应块的高级残差预测的示范性流程图。 【【具体实施方式】】
[0024] 容易理解的是本发明的组件，通常被描述并显示于本发明的附图