在vps中用信号通知位速率信息及图片速率信息的制作方法
【技术领域】
[0001] 本发明与视频译码和压缩的领域有关。明确地说，其与可缩放视频译码（SVC)有 关，包含用于高级视频译码（AVC)的SVC以及用于高效率视频译码（HEVC)的SVC，其还被称 作可缩放HEVC(SHVC)。其还涉及3D视频译码，例如HEVC的多视图扩展（被称作MV-HEVC 和3D-HEVC)。各种实施例涉及用于在视频参数集（VPS)中用信号通知视图识别符（ID)位 深度、用信号通知位速率信息及/或图片速率信息的系统和方法及相关过程。
【背景技术】
[0002] 数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线 广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话（所谓的"智能电话"）、视频电话会议装置、视频串流装置及其类似者。数字视频装 置实施视频译码技术，例如由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4 第 10 部 分高级视频译码（AVC)定义的标准、目前正在开发的高效率视频译码（HEVC)标准及此类标 准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发 射、接收、编码、解码和/或存储数字视频信息。
[0003] 视频译码技术包含空间（图片内）预测和/或时间（图片间）预测以减少或去除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（即，视频帧或视频帧的一 部分）可以分割成视频块，视频块还可被称作树块、译码单元（CU)及/或译码节点。使用关 于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码（I)切片中的视 频块。图片的经帧间编码（P或B)切片中的视频块可使用相对于同一图片中的相邻块中的 参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧， 且参考图片可被称作参考帧。
[0004] 空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测块 之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译 码块与预测块之间的差的残差数据编码的。经帧内译码块是根据帧内译码模式和残差数据 而编码。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数， 接着可以对残差变换系数进行量化。可扫描一开始按二维阵列排列的经量化变换系数，以 便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
【发明内容】
[0005] -般来说，本发明描述与可缩放视频译码（SVC)相关的技术。下文描述的各种技 术提供用于在VPS中用信号通知视图ID位深度且用信号通知位速率信息及/或图片速率 信息的方法及装置。
[0006] 根据某些方面的用于编码视频信息的设备包含存储器及计算硬件。存储器经配置 以存储视频信息。所述计算硬件经配置以确定用信号通知的一或多个视图识别符的位深 度，其中所述一或多个视图识别符中的每一者与待编码的层相关联。所述计算硬件进一步 经配置以在位流中用信号通知所述一或多个视图识别符的位深度。
[0007] 根据某些方面的用于解码视频信息的设备包含存储器及计算硬件。存储器经配置 以存储视频信息。所述计算硬件经配置以接收用于用信号通知指示一或多个视图识别符值 的位的数目的位深度指示符，其中所述一或多个视图识别符值中的每一者与待解码的一或 多个层中的一者相关联。所述计算硬件进一步经配置以接收所述一或多个视图识别符值中 的每一者以作为具有所指示的位数目的值。
[0008] 根据某些方面的用于译码视频信息的设备包含存储器及计算硬件。存储器经配置 以存储视频信息。所述计算硬件经配置以处理以下各者中的至少一者：指示一或多个层集 合的至少一个子层是否具有用信号通知的位速率信息的第一信号，或指示所述一或多个层 集合的至少一个子层是否具有用信号通知的图片速率信息的第二信号。
[0009] 在附图及以下描述中阐述一或多个实例的细节，其并不希望限制本文所述的发明 性概念的完整范围。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易 见。
【附图说明】
[0010] 在整个图式中，参考数字可再使用以指示参考元件之间的对应关系。提供图式以 说明本文中描述的实例实施例，并且不希望限制本发明的范围。
[0011]图1是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。
[0012] 图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框 图。
[0013] 图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框 图。
[0014] 图3A为说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0015] 图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框 图。
[0016] 图4是说明根据本发明的方面的用于用信号通知视图ID位深度的方法的流程图。
[0017] 图5是说明根据本发明的方面的用于解码视图ID位深度的方法的流程图。
[0018] 图6是说明根据本发明的方面的用于在VPS中用信号通知位速率信息及/或图片 速率信息的方法的流程图。
【具体实施方式】
[0019] 本发明中描述的技术一般涉及可缩放视频译码（SHVC，SVC)和多视图/3D视频译 码（例如，多视图译码加上深度，MVC+D)。举例来说，所述技术可与高效率视频译码（HEVC) 可缩放视频译码（SVC，有时称为SHVC)扩展相关，且与其一起或在其内使用。在SHVC、SVC 扩展中，可存在多个视频信息层。视频信息的最低层级处的层可充当基础层（BL)或参考层 (RL)，且视频信息的最顶部（或最高层）处的层可充当增强型层（EL)。"增强型层"有时被 称作"增强层"，且这些术语可互换地使用。"基础层"有时被称作"参考层"（RL)，且这些术 语也可互换地使用。基础层与顶层之间的所有层可充当额外EL和/或参考层。举例来说， 给定层可为用于所述给定层下方（例如，在前面）的层（例如基础层或任何介入增强层）的 EL。另外，给定层还可充当用于给定层上方（例如，在后面）的一或多个增强层的RL。基础 层（例如，具有例如设定为或等于"1"的层识别（ID)的最低层）与顶层（或最高层）之间 的任何层可由比给定层高的层用作用于层间预测的参考，且可使用比给定层低的层作为用 于层间预测的参考。举例来说，可使用比给定层低的层作为用于层间预测的参考来确定给 定层。
[0020] 为简单起见，根据仅两个层来呈现实例：BL及EL ;然而，应很好地理解，下文描述 的构想和实施例也适用于具有多个层的情况。此外，为了易于解释，常常使用术语"帧"或 "块"。然而，这些术语不打算具有限制性。举例来说，下文描述的技术可与多种视频单元中 的任一者一起使用，所述视频单元包含但不限于像素、块（例如，〇]、？1]、11]、宏块等）、切片、 帧、图片等。
[0021] 视频译码
[0022] 视频译码标准包含 ITU-T H. 261、IS0/ffiC MPEG-lVisual、ITU-T H. 262 或 IS0/IEC MPEG-2Visual、ITU-T Η· 263、IS0/IEC MPEG-4Visual 及 ITU-T Η· 264(也被称作 IS0/IEC MPEG-4AVC)，包含其可缩放视频译码（SVC)及多视图视频译码（MVC)及多视图译码加上深 度（MVC+D)扩展。可从 http://phenix.int-evry.fr/jct/doc_end_user/documents/13_ Incheon/wgll/JCTVC-M0432-v3. zip获得最新的HEVC草案规范（且下文中被称作HEVC WD10)。HEVC的多视图扩展（即MV-HEVC)也正由JCT-3V开发。可从11?口:/如1161111· it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wgll/JCT3V-D1004_v4· zip获得下文中的MV-HEVC WD4的最近工作草案（WD)。被称为SHVC的对HEVC的可缩 放扩展也正由 JCT-VC 开发。可从 http://phenix. it-sudparis. eu/jct/doc_end_user/ documents/13_Incheon/wgll/JCTVC-M1008-v3. zip 获得 SHVC 的最近工作草案（WD)，且在 下文被称作工作草案 2。根据一个方面，JCT3V-D0196 (http://phenix. it-sudparis. eu/ jct2/doc_end_user/documents/4_Incheon/wgll/JCT3V-D0196_vl· zip)包含用于在视频 参数集（VPS)中用信号通知视图ID的方法。根据一个方面，兀17(：-1(0125〇1??://?1^11^· int-evry. fr/jct/doc_end_user/documents/ll_Shanghai/wgll/JCTVC-K0125-vl. zip)包 含用于在VPS中用信号通知位速率及图片速率信息的方法。
[0023] 可缩放视频译码（SVC)可用于提供质量（也称为信噪比（SNR))可缩放性、空间 可缩放性和/或时间可缩放性。举例来说，在一个实施例中，参考层（例如，基础层）包含 足以在第一质量水平下显示视频的视频信息，且增强层包含相对于所述参考层的额外视频 信息，以使得所述参考层和所述增强层一起包含足以在高于所述第一水平的第二质量水平 (例如，更少的噪声、更大的分辨率、更好的帧速率等）下显示视频的视频信息。增强型层可 具有与基础层不同的空间分辨率。例如，EL与BL之间的空间纵横比可为1. 0、1. 5、2. 0或 垂直及水平方向上的其它不同比率。换句话说，EL的空间纵横尺寸可等于BL的空间纵横 尺寸的1.0、1.5或2.0倍。在一些实例中，EL的缩放因子可大于BL。举例来说，EL中的图 片的大小可大于BL中的图片的大小。以此方式，可有可能（但不限于）EL的空间分辨率大 于BL的空间分辨率。
[0024] 在涉及用于H. 264的SVC扩展或用于H. 265的SHVC扩展（如上文所论述）的SVC 中，当前块的预测可使用为SVC提供的不同层来执行。此预测可称作层间预测。在SVC中 可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间 运动预测和层间残差预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测 增强层中的当前块。层间运动预测使用基础层的运动信息（包含运动向量）来预测增强层 中的运动。层间残差预测使用基础层的残差来预测增强层的残差。
[0025] 歷
[0026] 在MV-HEVC及SHVC的早期版本（例如，工作草案2)中，使用固定数目的位用信号 通知层的视图ID。例如，SHVC的早期版本使用10个位用信号通知视图ID，而不管多少视 图可用于一层。然而，使用固定位深度（例如，固定数目的位）用信号通知视图ID可导致 低效，尤其当可用的视图的数目与可使用10个位用信号通知的视图的数目相比相对小（例 如，1到4个视图）时。使用10个位的固定位深度可允许用于一层的至多1024(21°)视图 的信令，但在大多数情况下，用于一层的总视图的数目远小于1024个视图。
[0027] 此外，在MV-HEVC及SHVC的早期版本中，针对每一层集合及每一层集合的每一子 层而用信号通知位速率信息及图片速率信息。对于每一层集合，用信号通知包含位速率信 息及图片速率信息的语法结构（例如，bit_rate_pic_rate())。对于层集合的每一子层， 用信号通知指示是否存在位速率信息的旗标，且用信号通知指示是否存在图片速率信息的 旗标。即使可能不存在任何层集合或子层的任何位速率信息及图片速率信息也执行此过 程。例如，用信号通知〇以作为每一层集合及每一子层的旗标的值，以便指示全部层集合及 子层不存在位速率信息及/或图片速率信息。此可例如导致低效及不必要的信令及/或处 理，这是因为可存在许多层集合及所述层集合的许多子层。
[0028] 为了解决这些及其它挑战，本发明的技术可用信号通知视图ID的位深度，且使用 经由所述位深度用信号通知的位的数目来用信号通知视图ID的值。例如，如果仅使用2个 视图，那么视图ID的位深度可为1位，且可使用1位用信号通知视图ID的值。如果使用3 个视图，那么视图ID的位深度可为2位，且可使用2位用信号通知视图ID的值。用于用信 号通知视图ID的位深度可为变量（例如，在1位与16位之间）。以此方式，可在大多数情 况下通过减少用于用信号通知视图ID的值的位数目而更有效地用信号通知视图ID ;更可 能的是，用信号通知的视图的数目小于可使用当前固定数目的位（例如，10位）用信号通知 的最大数目。
[0029] 所述技术也可在VPS中用信号通知位速率信息及/或图片速率信息。例如，所述技 术可指示任何层集合及/或层集合的任何子层是否具有位速率信息及/或图片速率信息。 在一个实施例中，所述技术可在VPS中用信号通知指示任何层集合及/或子层是否存在位 速率信息的全局旗标，且在VPS中用信号通知指示任何层集合及/或子层是否存在图片速 率信息的全局旗标。通过在VPS中包含所述全局旗标，可仅当所述全局旗标指示至少一个 层集合或层集合的子层存在位速率信息及/或图片速率信息时才用信号通知及/或存取位 速率图片速率语法结构。如果全局旗标指示任何层集合不存在位速率信息及/或图片速率 信息，那么不需要用信号通知及/或存取位速率图片速率语法结构，且不需要发送（例如， 用信号通知）用于位速率图片速率语法结构内的个别层集合的个别子层的旗标。另外，全 局旗标可允许以有效方式对位速率信息及图片速率信息的单独的处理。如果用于位速率信 息的全局旗标指示至少一个层集合中不存在位速率信息，那么不需要用信号通知及/或处 理用于任何子层的位速率信息的相应的旗标。类似地，如果用于图片速率信息的全局旗标 指示至少一个层集合不存在图片速率信息，那么不需要用信号通知及/或处理用于任何子 层的图片速率信息的相应的旗标。虽然先前还可能用信号通知位速率信息或图片速率信息 中的仅一者，但需要用信号通知及处理多个个别旗标：用于每一层集合的每一子层的位速 率信息的一个旗标，及用于每一层集合的每一子层的图片速率信息的一个旗标。
[0030] 下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分 传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵 盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新 颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施 设备或实践方法。此外，本发明的范围既定涵盖使用作为本文中所陈述的本发明的各种方 面的补充或替代的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通 过权利要求的一或多个要素来体现本文中所揭示的任何方面。
[0031] 尽管本文描述了特定方面，但这些方面的许多变化及排列属于本发明的范围内。 尽管提及了优选方面的一些益处及优点，但本发明的范围不欲限于特定益处、用途或目标。 而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的 一些是借助于实例而在图中以及在优选方面的以下描述中说明。【具体实施方式】和图式仅说 明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
[0032] 视频译码系统
[0033] 图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的 框图。如本文中所描述地使用，术语"视频译码器"一般指代视频编码器和视频解码器两者。 在本发明中，术语"视频译码"或"译码"可一般指代视频编码和视频解码。
[0034] 如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生 经编码视频数据。目的地装置14可解码由源装置12产生的经编码视频数据。源装置12 可经由通信信道16将视频数据提供到目的地装置14,通信信道16可包含计算机可读存储 媒体或其它通信信道。源装置12及目的地装置14可包含广泛范围的装置，包含桌上型计 算机、笔记本（例如，膝上型计算机）、计算机、平板计算机、机顶盒、电话手持机（例如所谓 的"智能"电话、所谓的"智能"垫）、电视、相机、显示装置、数字媒体播放器、视频游戏控制 台、车载计算机、视频流式传输装置或类似者。源装置12及目的地装置14可经装备以用于 无线通信。
[0035] 目的地装置14可通路通信信道16接收待解码的经编码视频数据。通信信道16 可包括能够将经编码视频数据从源装置12移动到目的地装置14的媒体或装置类型。举例 来说，通信信道16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输 到目的地装置14。可根据通信标准（例如，无线通信协议）调制经编码视频数据，并将其发 射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频（RF)频谱或一 或多个物理传输线。通信媒体可形成基于包的网络（例如，局域网、广域网或全球网络，例 如因特网）的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置 12到目的地装置14的通信的设备。
[0036] 在一些实施例中，经编码数据可从输出接口 22输出到存储装置。在这些实例中， 信道16可对应于存储由源装置12产生的经编码视频数据的存储装置或计算机可读存储媒 体。举例来说，目的地装置14可经由磁盘存取或卡存取来存取计算机可读存储媒体。类似 地，可由输入接口 28从计算机可读存储媒体存取经编码数据。计算机可读存储媒体可包 含多种分布式或本地存取的数据储存媒体中的任一者，例如，硬盘驱动器、蓝光光盘、DVD、 CD-ROM、闪存、易失性或非易失性存储器，或用于存储视频数据的其它数字存储媒体。计算 机可读存储媒体可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间 存储装置。目的地装置14可经由流式传输或下载从计算机可读存储媒体存取所存储的视 频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据发射到目的地装 置14的一类型的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务 器、网络连接存储（NAS)装置或本地磁盘驱动器。目的地装置1