Mv-hevc中的视图间相依性类型的制作方法
【专利说明】
[0001] 本申请案主张 W下申请案的权益：
[0002] 2013年9月27日申请的第61/883,931号美国临时申请案，其W全文引用的方式并 入本文。
技术领域
[0003] 本发明设及视频译码，且更特定来说设及多层译码中的视图间相依性类型的信 令。
【背景技术】
[0004] 数字视频能力可W并入到多种多样的装置中，包含数字电视、数字直播系统、无线 广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数 码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无 线电电话(所谓的"智能电话"）、视频电话会议装置、视频流式传输装置及其类似者。数字视 频装置实施视频压缩技术，例如，在由M阳G-2、MPEG-4、ITU-TH. 263、mJ-T H. 264/MPEG-4第 10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码化EVC)标准及此 类标准的扩展中所描述的视频压缩技术。视频装置可W通过实施此类视频压缩技术来更有 效率地发射、接收、编码、解码及/或存储数字视频信息。
[000引视频压缩技术执行空间（图片内）预测及/或时间（图片间)预测来减少或去除视频 序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帖或视频帖的一部分） 可分割成视频块，视频块也可称作树块、译码单元(CU)及/或译码节点。使用关于同一图片 中的相邻块中的参考样本的空间预测编码图片的经帖内译码（I)切片中的视频块。图片的 经帖间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空 间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帖，且参考图片可 被称作参考帖。
[0006] 空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性 块的间的像素差。经帖间译码块是根据指向形成预测块的参考样本块的运动向量和指示经 译码块与预测块之间的差的残余数据编码的。根据帖内译码模式和残余数据来编码经帖内 译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数， 可接着量化所述残余变换系数。可扫描一开始按二维阵列排列的经量化变换系数，W便产 生变换系数的一维向量，且可应用赌译码W实现更多压缩。
【发明内容】
[0007] 根据本发明的技术，与用信号表示多层视频数据的层组合的层间相依性类型相关 联的信令开销可通过在视频数据的位流中包含表示用于每一层组合的相依性类型语法元 素是否用信号表示的语法元素而减少。响应于所述第一语法元素的值指示相依性类型语法 元素未用信号表示，视频解码器确定用于全部层组合的相依性的类型是预定类型且使用符 合所述预定类型的层间预测对当前层的块进行解码。
[0008] 在一个实例中，一种对多层视频数据进行解码的方法包含:接收表示用于当前层 的相依性类型语法元素是否用信号表示的第一语法元素的值，其中所述相依性类型语法元 素识别当前层相对于参考层的相依性的类型；W及响应于所述第一语法元素的所述值指示 所述相依性类型语法元素未用信号表示而确定所述当前层相对于所述参考层的相依性的 所述类型是预定类型且使用符合所述预定类型的层间预测对所述当前层的块进行解码。
[0009] 在另一实例中，一种对多层视频数据进行编码的方法包含:对于包括多个层的经 译码视频数据，确定是否使用用于所述多个层的全部层的相同相依性类型或多个相依性类 型对所述多个层进行编码，其中相依性类型识别当前层相对于参考层的相依性的类型；W 及基于确定是否使用所述相同相依性类型或多个相依性类型对所述多个层进行编码，确定 表示用于当前层的相依性类型语法元素是否用信号表示的第一语法元素的值。
[0010] 在另一实例中，一种执行视频译码的设备包含:存储器，其存储视频数据；W及视 频译码器，其包括一或多个处理器，所述一或多个处理器经配置W :接收表示用于当前层的 相依性类型语法元素是否用信号表示的第一语法元素的值，其中所述相依性类型语法元素 识别当前层相对于参考层的相依性的类型；W及响应于所述第一语法元素的所述值指示所 述相依性类型语法元素未用信号表示而确定所述当前层相对于所述参考层的相依性的所 述类型是预定类型且使用符合所述预定类型的层间预测对所述当前层的块进行解码。
[0011] 在另一实例中，一种存储指令的计算机可读存储媒体，所述指令在由一或多个处 理器执行时致使所述一或多个处理器:接收表示用于当前层的相依性类型语法元素是否用 信号表示的第一语法元素的值，其中所述相依性类型语法元素识别当前层相对于参考层的 相依性的类型；响应于所述第一语法元素的所述值指示所述相依性类型语法元素未用信号 表示而确定所述当前层相对于所述参考层的相依性的所述类型是预定类型且使用符合所 述预定类型的层间预测对所述当前层的块进行解码。
[0012] -种用于对多层视频数据进行解码的设备，其包含：用于接收表示用于当前层的 相依性类型语法元素是否用信号表示的第一语法元素的值的装置，其中所述相依性类型语 法元素识别当前层相对于参考层的相依性的类型；用于响应于所述第一语法元素的所述值 指示所述相依性类型语法元素未用信号表示而确定所述当前层相对于所述参考层的相依 性的所述类型是预定类型的装置；W及用于使用符合所述预定类型的层间预测对所述当前 层的块进行解码的装置。
[0013] -种用于对视频数据进行译码的设备包括:对于包括多个层的经译码视频数据， 用于确定是否使用用于所述多个层的全部层的相同相依性类型或多个相依性类型对所述 多个层进行编码的装置，其中相依性类型识别当前层相对于参考层的相依性的类型；W及 基于确定是否使用所述相同相依性类型或多个相依性类型对所述多个层进行编码，用于确 定表示用于当前层的相依性类型语法元素是否用信号表示的第一语法元素的值的装置。
[0014] 附图及W下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描 述和图式W及权利要求书而显而易见。
【附图说明】
[0015] 图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的实例的框 图。
[0016] 图2是说明根据本发明中所描述的一或多个实例的实例多视图编码或解码次序的 图形图。
[0017] 图3展示实例MVC时间和视图间预测结构。
[0018] 图4是说明可实施本发明中描述的技术的实例视频编码器的框图。
[0019] 图5是说明可实施本发明中描述的技术的实例视频解码器的框图。
[0020] 图6是说明形成网络的部分的一组实例装置的框图。
[0021] 图7是说明根据本发明的技术对视频数据进行编码的实例方法的流程图。
[0022] 图8是说明根据本发明的技术对视频数据进行解码的实例方法的流程图。
【具体实施方式】
[0023] 本发明介绍与多层视频译码中的层间相依性类型的信令相关的技术，例如字新兴 的多视图高效率视频译码(MV-肥VC)标准中。在高效率视频译码化EVC)标准中，层大体上指 代视频译码层（V化）的集合、全部具有（即，各自共享）特定层识别值（例如，在皿VC中的 "nuh_layer_id"值，其中"nuh"指代"NAL单元标头"）的网络抽象层(NAU单元W及与所述层 相关联的非VCL NAL单元。层可例如对应于当对多视图视频数据进行译码时的视图或用于 可缩放视频译码的各种可缩放尺寸（例如，空间分辨率、PSNR、颜色位深度或其它此些尺 寸）。视频流的每一层与层识别值相关联。因此，不同层与不同层识别值相关联。
[0024] 层间预测大体上指代取决于与和正预测的块相关联的层(例如，当前层)在不同层 中的参考图片的数据元素(例如样本值或运动信息）的预测（例如，从已经译码视频块预测 视频块）。当前层可具有相对于参考层的特定层间相依性类型。层间相依性类型界定当前层 可取决于参考层的方式。层间相依性类型的实例包含层间样本预测、层间运动预测W及层 间样本预测和层间运动预测的组合。当层间样本预测经启用时，视频译码器可基于不同层 (即，参考层）的参考图片中的块预测当前视频数据块。视频译码器可使用例如视差运动向 量识别不同层中的块。视差运动向量可例如基于当前块的空间或时间相邻块的运动信息而 针对当前块确定，所述空间或时间相邻块是与当前块在同一层中的块。
[0025] 当层间运动预测经启用时，视频译码器可基于不同层中的块的运动信息预测当前 块的运动信息。运动信息可例如包含运动向量(例如，视差运动向量或时间运动向量），且在 一些情况下，运动信息还可包含额外信息，例如参考图片索引。使用另一层（即，与当前块相 关联的层除外的层）中的块的运动信息，视频译码器可确定当前块的运动信息并且基于所 确定的运动信息可识别与当前块在同一层的参考图片中的预测性块。当层间样本预测和层 间运动预测的组合经启用时，视频译码器可执行层间样本预测和层间运动预测两者。
[0026] 根据用信号表示层间相依性类型的一些实施方案，视频译码器针对位流中的层的 每个组合对语法元素（例如，肥VC中的"direct_dependency_type"语法元素)进行译码W识 别所述组合的层间相依性类型。在所述语法元素的每一实例为两个或两个W上位的情况 下，层间相依性类型的信令可具体来说对于具有大量层的位流产生不合意的信令开销。根 据本发明的技术，可停用层间运动预测或层间样本预测中的一者，因此减少或消除其中视 频译码器需要用信号表示层间相依性类型的实例。视频编码器可向视频解码器用信号表示 层间预测的特定类型已停用。
[0027] 停用层间样本预测和层间运动预测中的一者可功能上等效于启用层间样本预测 和层间运动预测中的一者。举例来说，在=个层间相依性类型(例如，仅层间样本预测、仅层 间运动预测W及层间样本和层间运动预测的组合）的情况下，如果视频解码器停用层间样 本预测，那么视频解码器停用仅层间样本预测W及层间样本和层间运动预测的组合两者， 从而启用仅层间运动预测。类似地，如果视频解码器停用层间运动预测，那么视频译码器启 用层间样本预测。
[0028] 根据本发明的技术的一个实例，视频解码器可接收表示（即，指示）用于当前层的 第二语法元素（即相依性类型语法元素）是否用信号表示的第一语法元素（例如，下文详细 论述的"direct_(kp_type_len_minus2"语法元素）的值。所述相依性类型语法元素可识别 当前层相对于参考层的相依性的类型。响应于第一语法元素的值指示相依性类型语法元素 未用信号表示，视频解码器可确定当前层相对于参考层的相依性的类型是预定类型且使用 符合所述预定类型的层间预测对当前层的块进行解码。
[0029] 在一些实施方案中，所述预定类型可经配置入(例如，本地存储于存储器中）视频 编码器和解码器，例如作为视频编解码器的部分。在此配置中，第一语法元素可为单个位， 其中第一语法元素的第一值(例如，"0"的值或T'的值)指示全部层的层间相依性类型是预 定类型。因此，响应于接收到第一语法元素的第一值，视频解码器可在无需接收第二语法元 素的实例的情况下确定视频位流的全部层组合的层间相依性类型是由视频编解码器界定 (或本地存储于视频编解码器处）的预定层间相依性类型。第一语法元素的第二值（例如， "r的值或"0"的值何指示将单独地针对每一层组合用信号表示层间相依性类型。因此，响 应于接收到第一语法元素的第二值，视频解码器可通过接收（即，基于接收到)每一层组合 的第二语法元素的实例而确定层的组合的层间相依性类型。
[0030] 在其它实施方案中，所述预定类型可从视频编码器向视频解码器用信号表示，例 如作为第一语法元素的部分。在此配置中，第一语法元素可为多位语法元素，其中第一语法 元素的第一值指示全部层组合的层间相依性类型是层间样本预测且第一语法元素的第二 值指示全部层组合的层间相依性类型是层间运动预测。因此，响应于接收到第一语法元素 的第一值或第二值，视频解码器可在无需接收第二语法元素的实例的情况下确定视频位流 的全部层组合的层间相依性类型是由第一语法元素指示的预定层间相依性。第一语法元素 的第=值可指示将单独地针对每一层组合用信号表示层间相依性类型。因此，响应于接收 到第一语法元素的第=值，视频解码器可通过接收(基于接收到)每一层组合的第二语法元 素的实例而确定层的组合的层间相依性类型。
[0031] 根据本发明的技术，当层间运动预测或层间样本预测停用时，视频解码器可经配 置W在无需任何额外信令(例如，无需接收上述第二语法元素的实例）的情况下确定层的组 合的层间相依性类型。举例来说，如果层间运动预测停用，那么视频解码器可经配置W在无 需层组合的额外信令的情况下确定层组合的层间相依性类型是层间样本预测。鉴于现存技 术可始终对第二语法元素（即相依性类型语法元素）的多个实例进行译码，本发明的技术可 在一些译码情形中仅对第一语法元素的一个（即，单个)实例进行译码且避免（即，制止和/ 或不需要)对第二语法元素的多个实例进行译码。通过减少或消除用信号表示一些层组合 的层间相依性类型（例如，上述第二语法元素）的需要，本发明的技术可在一些译码情形中 减少与用信号表示层间相依性类型相关联的信令开销。
[0032] 如在本发明中所使用，术语当前块大体上意思是指代当前正译码的块，而不是已 经译码块或尚待译码块。如在本发明中所使用，术语译码可一般用于指代视频编码或视频 解码。
[0033] 图1是说明可利用本发明中描述的层间相依性类型信令技术的实例视频编码和解 码系统10的框图。如图1中所示，系统10包含源装置12,其产生包含多层视频数据的经编码 视频数据，W在稍后时间由目的地装置14解码。源装置12及目的地装置14可包括多种多样 的装置中的任一者，包含桌上型计算机、笔记型（即，膝上型)计算机、平板计算机、机顶盒、 电话手持机(例如所谓的"智能"电话）、所谓的"智能"平板计算机、电视机、相机、显示装置、 数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，可装备源 装置12和目的地装置14W用于无线通信。
[0034] 目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将 经编码视频数据从源装置12移动到目的地装置14的任何类型媒体或装置。在一个实例中， 链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通 信媒体。可根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其发射到目的 地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理 传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网）的部分。 通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14 的通信的设备。
[0035] 替代地，可W将经编码数据从输出接口 22输出到存储装置17。类似地，可W通过输 入接口从存储装置17存取经编码数据。存储装置17可W包含多种分布式或本地存取的数据 存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易 失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中， 存储装置17可W与文件服务器或可固持由源装置12产生的经编码视频的另一中间存储装 置相对应。目的地装置14可经由流式传输或下载从存储装置17存取所存储的视频数据。文 件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地装置14的任何 类型的服务器。实例文件服务器包含网络服