务器(例如，用于网站）、FTP服务器、网络附接存 储(NAS)装置或本地磁盘驱动器。目的地装置14可W通过任何标准数据连接(包含因特网连 接)来存取经编码视频数据。运可包含无线信道(例如，无线局域网(WLAN)连接）、有线连接 (例如，D化、电缆调制解调器等），或适合于存取存储在文件服务器上的经编码视频数据的 两者的组合。经编码视频数据从存储装置17的传输可为流式传输发射、下载发射或两者的 组合。
[0036] 本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码W支持多种 多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由 因特网）、编码视频数据W存储于数据存储媒体上、解码存储于数据存储媒体上的视频数 据，或其它应用。在一些实例中，系统10可经配置W支持单向或双向视频传输，W支持例如 视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0037] 在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。在一些状 况下，输出接口 22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源 18可W包含例如视频俘获装置(例如，摄像机）、包含先前所俘获的视频的视频存档、用于从 视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据W作为源视频的 计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18为摄像机，那么源装 置12及目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一 般来说可适用于视频译码，且可应用于无线和/或有线应用。
[0038] 可由视频编码器20来编码所俘获视频、经预先俘获的视频或计算机产生的视频。 经编码视频数据可经由源装置20的输出接口 22直接发射到目的地装置14。还可W(或替代 地)将经编码视频数据存储到存储装置17上W供稍后由目的地装置14或其它装置存取W用 于解码及/或回放。
[0039] 目的地装置14包含输入接口 28、视频解码器30及显示装置32。在一些情况下，输入 接口 28可包含接收器及/或调制解调器。目的地装置14的输入接口 28经由链路16接收经编 码视频数据。经由链路16传送或在存储装置17上提供的经编码视频数据可W包含由视频编 码器20产生的多种语法元素 W用于由例如视频解码器30等视频解码器用于对视频数据解 码。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码 视频数据包含在一起。
[0040] 显示器装置32可与目的地装置14集成或在所述目的地装置外部。在一些实例中， 目的地装置14可包含集成式显示装置，且还经配置W与外部显示装置介接。在其它实例中， 目的地装置14可为显示装置。一般来说，显示器装置32将经解码视频数据显示给用户，且可 包括多种显示器装置中的任一者，例如液晶显示器化CD)、等离子显示器、有机发光二极管 (OLED)显示器或另一类型的显示器装置。
[0041] 在一些实例中，视频编码器20及视频解码器30根据视频压缩标准而操作，例如 IS0/IEC MPEG-4 Visual及mJ-T H.264(也称为IS0/IEC M阳G-4 AVC)，包含其可缩放视频 译码（SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的3DV扩展。在一些情况下，符合 H.264/AVC的基于MVC的3DV扩展的任何位流始终含有顺应H.264/AVC的MVC扩展的子位流。 此外，正在致力于产生H.264/AVC的S维视频(3DV)译码扩展，即基于AVC的3DV。在其它实例 中，视频编码器20和视频解码器30可根据口U-T H.26UIS0/IEC MPEG-I视觉、ITU-T H.262 或IS0/IEC MPEG-2视觉W及mJ-T H.264、IS(VIEC视觉来操作。
[0042] 近来，新的视频译码标准（即高效率视频译码化EVC))的设计已由ITU-T视频译码 专家组(VCEG)和IS0/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案。视频 编码器20及视频解码器30可根据肥VC标准操作。
[0043] 此外，正在致力于产生可缩放视频译码、多视图译码及皿VC的3DV扩展。支持3D服 务的肥VC的两个扩展已经由口U-T VCEG和IS0/IEC MPEG的3D视频译码联合合作小组(JCT-3V)开发且分别称为MV-HEVC和3D-HEVCd3D-皿VC对多视图视频加深度格式进行译码，且除 了皿VC译码模块外还包含新译码工具。新引入的译码工具适用于纹理译码和深度译码两 者。MV-肥V巧旨代肥VC的多视图译码扩展，其支持多个(纹理)视图的译码而无需改变肥VC的 块层级设计。下文的MV-HEVC WD4的最近工作草案(WD)W引用的方式特此并入且从2014年9 月25 日起在http: //phenix. it-sudparis. eu/ jct2/doc_end_user/documents/4_Incheon/ Wgl 1/JCT3V-D1004-V1. zip 可用。
[0044] 肥VC的可缩放视频译码扩展可被称为甜EVC。下文的甜EVC的最近工作草案(WD)且 称为SHEVC WD2 W引用的方式特此并入且从2014年9月25日起在http ://phenix. int- evry.打/jct/doc_end_use;r/documents/13_Incheon/wgl l/JCTVC-M1008-vl. zip可用。视 频编码器20和视频解码器30可根据S肥VC、MV-HEVC及/或3D-HEVC中的任一者操作。
[004引尽管图1中未图示，但在一些方面中，视频编码器20和视频解码器30可各自与音频 编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件和软件W处 置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那 么MUX-DEMUX单元可W符合口U H. 223多路复用器协议，或例如用户数据报协议化DP)等其 它协议。
[0046] 视频编码器20和视频解码器30各自可实施为多种合适的编码器和解码器电路中 的任一者，例如一或多个W上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场 可编程口阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述 技术时，装置可将用于所述软件的指令存储于合适的非暂时计算机可读媒体中且使用一或 多个处理器用硬件执行所述指令W执行本发明的技术。视频编码器20和视频解码器30中的 每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相 应装置中的组合编码器/解码器(CODEC)的部分。
[0047] 如上文所介绍，JCT-VC最近已定案皿VC标准的开发。皿VC标准化努力是基于被称 作皿VC测试模型化M)的视频译码装置的演进模型。丽假设视频译码装置根据例如ITU-T H.264/AV讨目对于现存装置的几个额外能力。举例来说，虽然H. 264提供了九种帖内预测编 码模式，但是HM可提供多达=十=种帖内预测编码模式。
[0048] -般来说，HM的工作模型描述视频帖或图片可W分成包含明度及色度样本两者的 一连串树块或最大译码单元化CU)。树块具有与H. 264标准的宏块类似的目的。切片包含按 译码次序的若干连续树块。视频帖或图片可W被分割成一或多个切片。每一树块可W根据 四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点， 且每一子节点又可为父代节点且可分裂成另外四个子节点。作为四叉树的叶节点的最后的 未经分裂的子节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可界 定树块可分裂的最大次数，且还可界定译码节点的最小大小。
[0049] CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)XU的 大小对应于译码节点的大小并且形状必须是正方形。CU的大小可介于8x8个像素至多达具 有最大64x64个像素或更大的树块大小的范围内。每一CU可W含有一或多个PU和一或多个 TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过 或经直接模式编码、经帖内预测模式编码或经帖间预测模式编码之间有所不同。PU可W分 割成非正方形形状。举例来说，与CU相关联的语法数据还可描述OJ根据四叉树到一或多个 TU的分割。TU可为正方形或非正方形形状。
[0050] 皿VC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针 对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU 大小相同或小于PU。在一些实例中，可W使用被称为"残余四叉树"（RQT)的四叉树结构将对 应于CU的残余样本细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可W变换与TU相 关联的像素差值W产生变换系数，所述变换系数可经量化。
[0051] -般来说，PU包含与预测程序有关的数据。例如，当PU经帖内模式编码时，PU可W 包含描述PU的帖内预测模式的数据。作为另一实例，当PU经帖间模式编码时，PU可包含界定 PU的运动向量的数据。举例来说，定义PU的运动向量的数据可W描述运动向量的水平分量、 运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度）、 运动向量指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
[0052] 如将在下文更详细地描述，作为帖间模式译码的部分，视频编码器20可确定是否 针对多层视频数据的全部层使用同一相依性类型或使用多个相依性类型。视频编码器20可 随后基于使用的相依性类型相应地用信号表示或省略信令。视频解码器30经配置有或潜在 地经由信令接收预定类型，W使得如果相依性类型未用信号表示，那么视频解码器30可简 单地应用预定类型。
[0053] -般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可W包含一或多 个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差 值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描W产生串行化变换系数W 用于赌译码。本发明通常使用术语"视频块"来指代CU的译码节点。在一些特定情况下，本发 明还可使用术语"视频块"来指包含译码节点W及PU及TU的树块，即，LCU或CU。
[0054] 视频序列通常包含一系列视频帖或图片。图片群组(GOP) -般包括一系列一或多 个视频图片。GOP可包含在GOP的标头、图片中的一或多者的标头或其它地方中的语法数据， 所述语法数据描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应的切 片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作W 便对视频数据进行编码。视频块可与CU内的译码节点相对应。视频块可具有固定或变化的 大小，并且根据指定译码标准可在大小上有所不同。
[0055] 作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2NX2N，那么歷支持2N X 2N或N X N的PU大小的帖内预巧U，及2N X 2N、2N X N、N X 2N或N X N的对称PU大小的帖间预 。HM还支持用于在2N X nU、2N X nD、nL X 2N及nR X 2N的PU大小下的帖间预测的不对称分 害d。在不对称分割中，不分割CU的一个方向，但是将另一方向分割成25%和75%。〇]的对应 于25%分区的部分通过V'继之W "向上"、"向下"、"左"或"右"的指示来指示。因此，举例来 说/'2化nir是指经水平分割的2化2N CU,其中顶部为2化0.5N PU,而底部为2化1.5N PU。
[0056] 在本发明中，"NxN"与"N乘N"可互换使用来指在垂直和水平尺寸方面的视频块的 像素尺寸，例如，16x16像素或16乘16像素。大体来说，16x16块将在垂直方向上具有16个像 素(y=16)，且在水平方向上具有16个像素(x=16)。同样，化N块总体上在垂直方向上具有N 个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和 列。此外，块未必需要在水平方向上与在竖直方向上具有相同数目个像素。举例来说，块可 包括NxM个像素，其中M未必等于N。
[0057] 在使用CU的PU进行帖内预测性或帖间预测性译码之后，视频编码器20可W计算用 于CU的TU的残余数据。PU可包括空间域(还被称作像素域）中的像素数据，且在将变换应用 到残余视频数据之后，TU可包括变换域中的系数，所述变换例如离散余弦变换(DCT)、整数 变换、小波变换或概念上类似的变换。残余数据可对应于未经编码图片的像素与对应于PU 的预测值之间的像素差。视频编码器20可W形成包含用于CU的残余数据的TU，并且接着变 换TUW产生用于CU的变换系数。
[0058] 在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量 化。量化大体上指代对变换系数进行量化W可能减少用W表示变换系数的数据的量从而提 供进一步压缩的过程。量化过程可W减少与系数中的一些或全部相关联的位深度。例如，n 位值可在量化期间被下舍入到m位值，其中n大于m。
[0059] 在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数W 产生可被赌编码的串行化向量。在其它实例中，视频编码器20可W执行自适应扫描。在扫描 经量化的变换系数W形成一维向量之后，视频编码器20可W例如根据上下文自适应可变长 度译码(CA化C)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制 算术译码(SBAC)、概率区间分割赌(PIPE)译码或另一赌编码方法对一维向量进行赌编码。 视频编码器还20也可赌编码与经编码视频数据相关联的语法元素 W供视频解码器30在解 码视频数据时使用。
[0060] 为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上 下文可设及(例如)符号的相邻值是否为非零。为了执行CA化C，视频编码器20可选择用于待 发射的符号的可变长度码。VLC中的码字可经构造使得相对较短码对应于更有可能符号，而 较长码对应于不太可能符号。W此方式，使用化C可例如实现优于针对待发射的每一符号使 用等长度码字的位节省。概率确定可基于指派到符号的上下文。
[0061] 如上文所介绍，本发明论述与包含MV-皿VC的多层视频译码中的层间相依性类型 的信令相关的技术。本发明中描述的技术还可潜在地应用于皿VC的其它多层扩展，例如 S肥VC或其它编解码器。如上文所介绍，MVC为H.264/AVC的扩展。现将简要地论述MVC规范的 方面W便提供未来论述的上下文和背景。
[0062] 图2是说明根据本发明中所描述的一或多个实例的实例MVC编码或解码次序的图 形图。举例来说，图2中所说明的解码次序布置被称为时间优先译码。在图2中，SO到S7各自 是指多视图视频的不同视图。TO到T8各自表示一个输出时间实例。存取单元可包含针对一 个输出时间实例的所有视图的经译码图片。举例来说，第一存取单元包含用于时间实例TO 的所有视图SO到S7(即，图片0到7)，第二存取单元包含用于时间实例Tl的所有视图SO到S7 (即，图片8到15)，等等。在此实例中，图片0到7是在相同时间实例（即，时间实例TO)，且图片 8到15是在相同时间实例（即，时间实例Tl)。通常同时显示具有相同时间实例的图片，且相 同时间实例的图片内的对象之间的水平视差及可能一些垂直视差使观看者感知到涵盖3D 体积的图像。
[0063] 图2中展示了典型MVC解码次序（即，