在3d视频编码中约束视差向量推导的方法及装置的制造方法
【专利说明】
[0001] 夺叉引用
[0002] 本发明主张在2012年11月16日提出的申请号为61/727, 220、标题为 "Controlling of disparity vector constraint for video coding" 的美国临时专利申 请的优先权，以及在2013年01月24日提出的申请号为61/756, 043、标题为"Inter-view signal prediction conditional on disparity vector constraints for video"的美国 临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。
技术领域
[0003] 本发明是有关于三维视频编码，特别是有关于在三维视频编码中用于视点间 (inter-view)残差预测和视点间运动参数预测的视差向量的推导。
【背景技术】
[0004] 三维（Three-dimensional, 3D)电视为近年来的技术发展趋势，并且三维电视给 观众带来震撼的视觉体验。开发各种技术来应用三维显示方式。其中，相对于其他技术而 言，多视点视频为三维电视的关键技术。现有的视频为二维媒体，其仅自摄像机的视角提供 一个单一的场景给观众。然而，多视点视频能够提供动态场景的任意视点并给观众真实的 感官体验。
[0005] 多视点视频通常通过使用多个摄影机同时捕获场景来产生，其中适当放置多个摄 影机的位置，以使得每一个摄影机自一个视点捕获场景。相应地，多个相机将捕获对应于多 个视点的多视频序列。为提供更多视点，更多的摄影机用于产生多视点视频和与视点相关 的大量视频序列。相应地，多视点视频需要大量的存储空间来存储及/或较高的带宽来传 输。因此，开发多视点视频编码技术降低需要的存储空间或传输带宽。
[0006] -种直接的方法是对每一个单一视点视频序列简单地应用现有的视频编码技术， 而不顾不同视点之间的任何关联。这样的编码系统的效率十分低。为改善多视点视频编码 的效率，通常对多视点视频编码技术利用视点间冗余。因此，大多数三维视频编码系统会考 虑与多视点和深度图相关的视频数据的关联。标准制定机构，ITU-T VCEG和ISO/IEC MPEG 的联合视频工作组，将H. 264/MPEG-4AVC标准扩展到用于立体声和多视点视频的多视点视 频编码（multi-view video coding,以下简称为 MVC) 〇
[0007] MVC采用时间和空间预测来提高压缩效率。在MVC的发展过程中，提出了一些宏块 级的编码工具，包括亮度补偿（Illumination compensation)、自适应参考滤波、运动跳过 模式（motion skip mode)、视点合成预测（view synthesis prediction)。这些编码工具 利用多个视点之间的冗余。亮度补偿是为了补偿不同视点之间的亮度变化。自适应参考滤 波是为了降低摄影机之间聚焦失配的变化。运动跳过模式允许自其它视点推导当前视点中 的运动向量。视点合成预测用于自其他视点预测当前视点的图片。
[0008] 在基于三维视频编码HEVC(3D-HTM)的参考软件中，为了重新使用先前编码的相 邻视点的运动信息，加入视点间候选作为用于帧间（Inter)、合并和跳过模式的运动向量或 视差向量候选。在3D-HTM中，用于压缩的基本单元称为编码单元，该编码单元是一个2Nx2N 的方块。每一个编码单元可以递归地分割为四个更小的编码单元，直到达到预定的最小尺 寸。每一个编码单元包括一个或多个预测单元。
[0009] 为共享相邻视点的先前编码纹理信息，将称之为视差补偿预测 (Disparity-Compensated Prediction,以下简称为DCP)的技术列入3D-HTM中作为运动 补偿预测（motion-compensated prediction,以下简称为MCP)的替代编码工具。MCP为 使用相同视点的先前编码图片的图片间（inter-picture)预测，而DCP为使用在同一存取 单元中其他视点的先前编码图片的图片间预测。图1为包括MCP和DCP的3D视频编码系 统的示意图。用于DCP的向量110称为视差向量（disparity vector,以下简称为DV)，它 类似于MCP中使用的运动向量。图1描述了与MCP相关的三个运动向量（运动向量120、 运动向量130、运动向量140)。此外，自同样使用视点间参考图片的相邻区块或时间上同一 位置的区块得到视差向量预测候选，并通过该视差向量预测候选来预测DCP区块的DV。在 3D-HTM中，当得到用于合并/跳过模式的视点间合并候选时，若对应的区块的运动信息不 可用或无效，则用DV代替视点间合并候选。
[0010] 视点间残差预测（inter-view residual prediction)为用于 3D-HTM 的另一个编 码工具。如图2所示，为共享相邻视点的先前编码纹理信息，通过在视点间图片中对应的区 块的残差信息来预测当前预测区块的残差信号。通过各个DV来确定对应区块的位置。通 过视点标识符（即，图2中的V0、V1、和V2)指示对应于特定摄影机位置的视频图片和深度 图。属于相同摄影机位置的所有的视频图片和深度图均与相同的视点ID( 即，视点标识符） 相关。视点标识符用于指定在存取单元中的编码顺序和检测易于出错环境中失踪的视点。 存取单元包括对应于同一时刻的所有视频图片和深度图。在存取单元中，当具有视点ID为 〇的视频图片和相关的深度图存在时，首先编码具有视点ID为0的视频图片和相关的深度 图，然后编码具有视点ID为1的视频图片和相关的深度图。以此类推。视点ID为0的视点 (即，图2中的V0)也称为基本视点或独立视点。基本视点视频图片可以使用现有的HEVC 视频编码器来编码而不需要依赖其他视点。
[0011] 由图2所示，对于当前区块，可以自视点间图片中的视点间区块得到运动向 量预测子（motion vector predictor, MVP) / 视差向量预测子（disparity vector predictor，DVP)。接下来，视点间图片中的视点间区块可以简称为视点间区块。得到的候 选称为视点间候选，它们可以为视点间MVP或DVP。基于其他视点中的先前编码运动信息 来编码当前区块（例如，当前预测单元）的运动信息的编码工具，称为视点间运动参数预测 (inter-view motion parameter prediction)。此外，相邻视点中对应的区块称为视点间 区块，并且使用自当前图片中的当前区块的深度信息得到视差向量，使用该视差向量确定 视点间区块的位置。
[0012] 视点合成预测（View synthesis prediction,以下简称为VSP)为自不同视点移 除视频信号之间的视点间冗余的技术。在此技术中，合成信号用作预测当前图片的参考。 在3D-HEVC测试模型中，存在一个得到视差向量预测子的过程。然后，将得到的视差向量用 于提取参考视点中的深度图像的深度区块。提取的深度区块具有与当前预测单元相同的尺 寸。然后提取的深度区块用于当前预测单元的向后扭曲（backward warp)。此外，扭曲操 作能以一个子预测单元级精度来执行，例如，8x4或4x8区块。最大深度值用于子预测区块 和扭曲在子预测区块中的所有像素。VSP技术用于纹理图片编码。在当前实践中，加入VSP 技术作为新的合并候选，来用信号通知VSP的使用。在这种方式中，VSP区块可以是没有任 何残差的跳过区块（skipped block)，或具有残差信息编码的合并区块。
[0013] 在图2所示的示例对应于V0(即，基本视点）、V1和V2的视点编码顺序。在当前图 片中要编码的当前区块在V2中。根据HTM3. 1，即使视点间图片不在当前图片的参考图片清 单中，在先前编码的视点中的参考区块的所有运动向量被认为是视点间候选。在图2中，帧 210、帧220、帧230分别对应于来自视点V0、视点VI、视点V2的时刻tl的视频图片或深度 图。区块232为在当前视点中的当前区块，以及区块212和区块222分别为VO和Vl中的当 前区块。对于VO中的当前区块212,视差向量216用于确定视点间对应位置（collocated) 的区块214的位置。相似地，对于Vl中的当前区块222,视差向量226用于确定视点间对应 位置的区块224的位置。根据HTM3. 1，与自任意编码的视点的视点间对应位置区块相关的 运动向量或视差向量可以包括于视点间候选中。因此，视点间候选的数目相当大，这将需要 更多处理时间和更大的存储空间。需要开发一种方法，能够降低处理时间及或存储要求，而 不会在BD率或其他性能方面引起系统性能的显著冲击。
[0014] 在3DV-HTM中，视差向量也作为用于帧间模式的DVP候选，或作为用于合并模式/ 跳过模式的合并候选。得到的视差向量也可以作为用于视点间运动预测和视点间残差预测 的偏移向量。如图3所示，当作为偏移向量时，自空间或时间相邻区块得到DV。根据预定 顺序，确定多个空间和时间相邻区块以及检测该空间和时间相邻区块的DV的可用性。基于 (空间或时间上）相邻区块的用于DV推导的编码工具视为相邻区块视差向量（Neighboring Block DV，NBDV)。如图3A所示，空间相邻区块集包括对角穿过当前区块的左下角的位置 (即，区块A0)、相邻于当前区块的左下侧的位置（即，区块Al)、对角穿过当前区块的左上角 的位