多视图或3维视频译码中的高级视图间残差预测的制作方法
【技术领域】
[0001] 本发明设及视频译码及压缩，且具体来说，设及多视图及3D视频译码。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置及其类似者。数字视频 装置实施视频译码技术，例如由MPEG-2、MPEG-4、口U-TH. 263或口U-TH. 264/MPEG-4第 10部分高级视频译码（AVC)所界定的标准、目前正在开发的高效率视频译码（肥VC)标准及 该些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有 效率地传输、接收、编码、解码及/或存储数字视频信息。
[0003] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测W减少或移除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帖或视频帖的一 部分）可W分割成视频块，视频块还可被称作树块、译码单元（CU)及/或译码节点。使用 相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帖内译码（I)切片中的 视频块进行编码。图片的经帖间编码（P或B)切片中的视频块可使用相对于同一图片中的 相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可 被称为帖，且参考图片可设及参考帖。
[0004] 空间或时间预测导致对块的预测块进行译码。残差数据表示待译码的原始块与预 测块之间的像素差。经帖间译码块是根据指向形成预测块的参考样本块的运动向量及指示 经译码块与预测块之间的差的残差数据编码的。经帖内译码块是根据帖内译码模式及残差 数据来编码。为了实现进一步压缩，可W将残差数据从像素域变换到变换域，从而产生残差 变换系数，接着可W对残差变换系数进行量化。可扫描最初布置为二维阵列的经量化变换 系数，W便产生变换系数的一维向量，且可应用滴编码W实现更多压缩。
【发明内容】
[0005] 本发明的系统、方法和装置各自具有若干方面，其中没有单一方面单独负责其所 期望属性。在不限制如通过W下的权利要求书表达的本发明的范围的情况下，现在将简洁 地论述一些特征。在考虑此论述之后，并且尤其在阅读标题为"【具体实施方式】"的部分之后， 将理解本发明的特征如何提供在多视图视频译码中包含高级视图间残差预测的优点。
[0006] 在一个实施例中，提供一种用于译码数字视频的设备。所述设备包含经配置W存 储当前视图视频信息及参考视图视频信息的存储器。所述设备进一步包含与所述存储器通 信的处理器。所述处理器经配置W至少基于所述参考视图的运动补偿块而确定所述当前视 图的当前视频单元的值。至少部分基于与所述当前视频单元相关联的运动信息及视差向量 来确定所述运动补偿块。
[0007] 在另一实施例中，提供一种解码视频的方法。所述解码方法包含获得界定当前视 图视频信息及参考视图视频信息的视频位流。所述方法还包含至少基于所述参考视图的运 动补偿块而确定所述当前视图的当前视频单元的值。至少部分基于与所述当前视频单元相 关联的运动信息及视差向量来确定所述运动补偿块。
[000引在另一实施例中，提供一种编码视频的方法。所述编码方法包含产生界定当前视 图视频信息及参考视图视频信息的视频位流。所述编码方法还包含至少基于所述参考视图 的运动补偿块而确定所述当前视图的当前视频单元的值。至少部分基于与所述当前视频单 元相关联的运动信息及视差向量来确定所述运动补偿块。
[0009] 在另一实施例中，提供一种包括可执行指令的计算机可读存储媒体。所述指令致 使设备获得当前视图视频信息及参考视图视频信息。所述指令还致使设备至少基于所述参 考视图的运动补偿块而确定所述当前视图的当前视频单元的值。至少部分基于与所述当前 视频单元相关联的运动信息及视差向量来确定所述运动补偿块。
[0010] 在又其它实施例中，提供一种用于译码数字视频的设备。所述设备包含用于获得 当前视图视频信息及参考视图视频信息的装置。所述设备进一步包含用于至少基于所述参 考视图的运动补偿块而确定所述当前视图的当前视频单元的值的装置。至少部分基于与所 述当前视频单元相关联的运动信息及视差向量来确定所述运动补偿块。
[0011] 随附图式及W下描述中阐述一或多个实例的细节。其它特征、目标及优势将从所 述描述及所述图式W及从权利要求书显而易见。
【附图说明】
[0012] 图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。
[0013] 图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框 图。
[0014] 图2B是说明可实施根据本发明中描述的方面的技术的多视图视频编码器的实例 的框图。
[0015] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0016] 图3B是说明可实施根据本发明中描述的方面的技术的多视图视频编码器的实例 的框图。
[0017] 图4是说明多视图位流解码次序的实例的框图。
[001引图5是说明多视图预测结构的实例的框图。
[0019] 图6是说明在参考视图中使用来自当前视图的运动信息的实例的框图。
[0020] 图7是用于在参考视图中使用来自当前视图的运动信息而执行视图间残差预测 的说明性过程的流程图。
[0021] 图8是用于使用加权因子执行视图间残差预测的说明性过程的流程图。
【具体实施方式】
[0022] 一般来说，本发明设及多视图视频译码或3D视频译码。在视频译码过程期间，可 基于其它视频单元作出关于个别视频单元的组件（例如，像素或像素块）的预测。在编码 视频时，可将所述预测与视频单元的源信息进行比较，且可确定预测与源之间的差异（被 称作残差）。可W比源视频需要较少空间进行存储及/或较少带宽进行发射的方式译码残 差，进而节省计算资源。在解码视频时，可作出相同预测且添加到残差W便产生最终经解码 视频单元。在单视图视频译码中，预测通常是空间（例如，基于经译码的当前视频单元的相 同帖中的其它视频单元）或时间（例如，基于先前或后续帖的对应视频单元）的。在3D或 多视图译码中，可在单一位流中同时译码同一场景的不同视图（例如，立体视图）。在一些 实施例中，可一起呈现两个或更多个视图W产生=维效果。在多视图译码中，可基于空间或 时间作出对一个视图中的块的预测，如上文所描述，或基于视图间来作出（例如，基于相同 帖的参考视图的对应视频单元，即，位于相同存取单元内）。
[0023] 残差预测可用于通过预测特定视频单元的残差而进一步降低存储装置及/或带 宽要求。可编码表示当前残差与所预测的残差之间的差异的差异残差，其进一步通过比整 个当前残差促进更有效的译码、存储及/或发射而节省资源。在一些多视图译码实施方案 (例如，3D-HEVC)中，通过使用视差向量（例如，基于其中曾俘获场景的每一视图的不同角 度的向量）定位另一视图（例如，参考视图）中的对应块而实现对当前视图中的当前块的 视图间残差预测。对应块的残差用作当前视图中的当前块的残差的预测符。可由编码器用 信号发送视图间残差预测的使用，W使得解码器知道是否执行本文中描述视图间残差预测 过程。可有条件地（例如基于每一CU)用信号发送指示视图间残差预测的使用的旗标。例 如，编码器可遍历每一变换单元（TU)。如果发现TU经帖间译码（例如，使用视图内帖间预 巧。且含有非零经译码块旗标（CB巧值，那么可传输用于所述CU的视图间残差预测旗标。 否则的话，如果所有TU被译码为经帖内译码，或如果它们全部具有0残差（例如，所有CBF 单元是零），那么不用信号发送旗标。可遍历并分析由残差参考区覆盖或部分覆盖的所有 TU。如果残差参考区中的任何TU经帖间译码且含有非零CBF值（亮度CBF或色度CB巧，那 么相关的残差参考被标记为可用的且可应用残差预测。在此情况下，指示视图间残差预测 的使用的旗标可被传输为CU语法的部分。如果此旗标等于1，那么使用潜在内插的参考残 余信号来预测当前残余信号，且仅使用变换译码传输差异。否则的话，在常规上使用肥VC 变换译码来译码当前块的残差。虽然此类型的视图间残差预测可提高当前块的预测的总体 质量，但其具有至少=个缺点。首先，可不将相同的运动信息用作当前视图来译码参考视 图。在使用不同运动预测两个块时，它们之间的相关度相对低，并且因此预测性能将是次优 的。其次，来自参考视图的经重构残差用于预测。此可将量化误差引入到预测且进一步降 低性能。第=，参考视图的残差将被存储，其需要额外的存储器。
[0024] 本发明的方面设及针对当前视图中的当前块及参考视图中的对应块两者使用相 同运动信息的视图间残差预测。虽然本文中描述的实例集中于从基础视图产生对当前视图 (例如，非基础视图）中的块的预测，但在一些实施例中，可从另一非基础视图中的块作出 预测。一般来说，从其作出对当前视图中的块的视图间预测的任何视图可被称为参考视图。 在产生对当前块的残差预测时，使用与当前块相关联的运动信息（例如，运动向量）W从参 考视图中的对应块产生残差预测。例如，可将残差预测产生为参考视图中的先前经重构对 应块与使用来自当前视图中的当前块的运动向量所识别的参考块之间的差异。即使参考视 图中的对应块与不同运动向量相关联，也使用当前块的运动向量。此确保使用与当前块相 同的运动补偿而不是某一其它运动补偿来产生对当前块的残差预测。
[0025] 本发明的额外方面设及将加权因子引入到视图间残差预测。可使用加权因子将量 化规格化应用于残差预测，进而在W不同质量译码当前视图及参考视图时减少或防止量化 误差。在一些实施例中，可基于从应用加权因子的预定列表中的每一者而实现的最佳速率 失真来确定加权因子。例如，可分析从应用加权因子0. 〇、〇. 5及1. 0中的每一者而观测到 的速率失真，且可选择提供最合意的速率失真的加权因子。
[0026] 多视图视频译码（MVC)是H. 264/AVC的扩展。在一些实施例中，MVC也是指3维 或3D译码。本文中描述的方法及装置适用于MVC及其它多视图视频译码标准及实施方案。 视频译码标准包含口U-TH. 26UISO/IECMPEG-lVisual、ITU-T比 262 或ISO/IECMPEG-2 Visual、ITU-TH. 263、ISO/IECMPEG-4Visual及口U-TH. 264(也被称为ISO/IECMPEG-4 AVC)，包含其可缩放视频译码（SVC)及多视图视频译码（MVC)扩展。此外，存在一种新的 视频译码标准，即高效率视频译码（肥VC)，其正由ITU-T视频译码专家组（VCEG)及ISO/ IEC运动图片专家组（MPEG)的视频译码联合合作小组（JCT-VC)进行开发。截至