操作。通过对⑶的每一 TU执行重构操作，视频解码器30可重构与⑶相关联的残余视频块。
[0125]作为对TU执行重构操作的一部分，逆量化单元154可逆量化，例如，去量化与TU相关联的变换系数块。逆量化单元154可以与针对HEVC所提出或由H.264解码标准所界定的逆量化过程类似的方式来逆量化变换系数块。逆量化单元154可使用视频编码器20针对变换系数块的CU所计算的量化参数QP，来确定量化程度，且同样地，用于逆量化单元154的逆量化程度适用。
[0126]在逆量化单元154逆量化变换系数块之后，逆变换单元156可针对与变换系数块相关联的TU产生残余视频块。逆变换单元156可将逆变换应用于变换系数块，以便针对TU产生残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡-洛变换(Karhunen-Loeve transform, KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。在一些实例中，逆变换单元156可基于来自视频编码器20的信令来确定逆变换以应用于变换系数块。在此类实例中，逆变换单元156可基于与变换系数块相关联的树块的四叉树的根节点处的所信令变换来确定逆变换。在其它实例中，逆变换单元156可从一个或一个以上译码特性(例如块大小、译码模式等)推断逆变换。在一些实例中，逆变换单元156可应用级联逆变换。
[0127]在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插来细化PU的经预测视频块。将用于具有子样本精度的运动补偿的内插滤波器的识别符可包含在语法元素中。在产生HJ的经预测视频块期间，运动补偿单元162可使用视频编码器20所使用的相同内插滤波器，以为参考块的子整数样本计算经内插值。运动补偿单元162可根据接收到的语法信息来确定视频编码器20所使用的内插滤波器，且使用内插滤波器来产生经预测视频块。
[0128]如下文参考图8和图9进一步论述，预测处理单元152可通过执行图8和图9中所说明的方法来译码(例如，编码或解码)PU(或任何其它增强层块或视频单元)。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开执行图8和图9中所说明的方法。
[0129]如果使用帧内预测来编码HJ，帧内预测单元164可执行帧内预测以产生PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定HJ的帧内预测模式。位流可包含帧内预测单元164可用来确定HJ的帧内预测模式的语法元素。
[0130]在一些例子中，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前HJ的帧内预测模式。举例来说，有可能当前PU的帧内预测模式与相邻HJ的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为当前HJ的最可能模式。因此，在此实例中，所述位流可包含小语法元素，其指示PU的帧内预测模式与相邻HJ的帧内预测模式相同。帧内预测单元164可接着使用帧内预测模式来基于空间相邻HJ的视频块产生HJ的预测数据(例如，经预测的样本)。
[0131]如上文所论述，视频解码器30还可包含层间预测单元。层间预测单元166经配置以使用SVC中可用的一个或一个以上不同层(例如，基础或参考层)来预测当前块(例如，EL中的当前块)。此预测可称为层间预测。层间预测单元166利用预测方法来减少层间冗余，从而改进译码效率并降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残差预测。层间帧内预测使用基础层中的位于同一位置的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。下文更详细地论述层间预测方案中的每一者。
[0132]重构单元158可使用与⑶的TU相关联的残余视频块以及⑶的HJ的经预测视频块(例如，帧内预测数据或帧间预测数据，如适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素产生经预测视频块和残余视频块，且可基于经预测视频块和残余视频块产生视频块。
[0133]在重构单元158重构⑶的视频块之后，滤波器单元159可执行去块操作，以减少与CU相关联的成块假影。在滤波器单元159执行去块操作以减少与CU相关联的成块假影之后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片，以用于后续运动补偿、帧内预测，以及在显示装置(例如图1的显示装置32)上呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块，对其它CU的PU执行帧内预测或帧间预测操作。
[0134]多层解码器
[0135]图3B是说明可实施根据本发明中所描述的方面的技术的多层视频解码器31的实例的框图。视频解码器31可经配置以处理多层视频帧，例如用于SHVC和多视图译码。另夕卜，视频解码器31可经配置以执行本发明的技术中的任一者或全部。
[0136]视频解码器31包括视频解码器30A和视频解码器30B，其中的每一者可配置为视频解码器30，且可执行上文相对于视频解码器30所述的功能。另外，如参考编号的再用所指示，视频解码器30A和30B可包含所述系统和子系统中的至少一些作为视频解码器30。尽管将视频解码器31说明为包含两个视频解码器30A和30B，但视频解码器31不限于此，且可包含任何数目的视频解码器30层。在一些实施方案中，视频解码器31可针对存取单元中的每一图片或帧包含一视频解码器30。举例来说，包括五个解码器层的视频解码器可处理或解码包括五个图片的存取单元。在一些实施方案中，视频解码器31可包含比存取单元中的帧多的解码器。在一些此类情况下，当处理一些存取单元时，视频解码器层中的一些可为不活动的。
[0137]除视频解码器30A和30B之外，视频解码器31可包含上取样单元92。在一些实施方案中，上取样单元92可对接收到的视频帧的基础层进行上取样，以创建待添加到帧或存取单元的参考图片列表的增强层。此增强层可存储在经解码图片缓冲器160中。在一些实施方案中，上取样单元92可包含相对于图2A的再取样单元90所描述的实施例中的一些或全部。在一些实施方案中，上取样单元92经配置以对层进行上取样，并重组、重新定义、修改或调整一个或一个以上切片，以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可为经配置以对接收到的视频帧的层进行上取样和/或下取样的再取样单元。
[0138]上取样单元92可经配置以从下层解码器(例如，视频解码器30A)的经解码图片缓冲器160接收图片或帧(或与所述图片相关联的图片信息)，且对所述图片(或接收到的图片信息)进行上取样。接着可将此经上取样的图片提供给高层解码器(例如，视频解码器30B)的预测处理单元152，所述高层解码器经配置以解码与下层解码器相同的存取单元中的图片。在一些情况下，高层解码器为从下层解码器移除的一个层。在其它情况下，图3B的层O解码器与层I解码器之间可存在一个或一个以上高层解码器。
[0139]在一些情况下，上取样单元92可省略或旁路。在此类情况下，来自视频解码器30A的经解码图片缓冲器160的图片可直接提供给视频解码器30B的预测处理单元152，或至少不提供给上取样单元92。举例来说，如果提供给视频解码器30B的视频数据以及来自视频解码器30A的经解码图片缓冲器160的参考图片具有相同大小或分辨率，那么可在无上取样的情况下，将参考图片提供给视频解码器30B。另外，在一些实施方案中，上取样单元92可为经配置以对从视频解码器30A的经解码图片缓冲器160接收到的参考图片进行上取样或下取样的再取样单元90。
[0140]如图3B中所说明，视频解码器31可进一步包含解多路器99或多路分用器。多路分用器99可将经编码的视频位流分裂成多个位流，其中多路分用器99所输出的每一位流正被提供给不同的视频解码器30A和30B。可通过接收一位流来创建多个位流，且视频解码器30A和30B中的每一者在给定时间接收所述位流的一部分。虽然在一些情况下，来自多路分用器99处所接收到的位流的位可在视频解码器(例如，图3B的实例中的视频解码器30A和30B)的每一者之间一次交替一个位，但在许多情况下，位流经不同划分。举例来说，可通过交替哪一视频解码器一次一个块地接收位流来划分位流。在另一实例中，位流可通过块与视频解码器30A和30B中的每一者的非1:1比率来划分。举例来说，对于提供给视频解码器30A的每一块，可将两个块提供给视频解码器30B。在一些实施方案中，可对多路分用器99对位流的划分进行预编程。在其它实施方案中，多路分用器99可基于从视频解码器31外部的系统，例如从目的地装置14上的处理器接收到的控制信号来划分位流。可基于来自输入接口 28的视频的分辨率或位速率，基于信道16的带宽，基于与用户相关联的预订(例如，付费预订对比免费预订)，或基于用于确定视频解码器31可获得的分辨率的任何其它因素，产生控制信号。
[0141]可缩放视频译码(SVC)的结构
[0142]图4是展示不同维度中的实例可缩放性的概念图。如上文所论述，SVC的一个实例实施方式指代HEVC的可缩放视频译码扩展。HEVC的可缩放视频译码扩展允许视频信息以层提供。每一层可提供对应于不同可缩放性的视频信息。在HEVC中，在三个维度中实现可缩放性:时间(temporal)(或时间(time))可缩放性、空间可缩放性以及品质可缩放性(有时称为信噪比或SNR可缩放性)。举例来说，在时间维度中，时间可缩放性(T)可支持具有
7.5ΗΖ、15Ηζ、30Ηζ等帧速率。当支持空间可缩放性⑶时，可实现不同的分辨率，例如QCIF、CIF、4CIF等。对于每一特定空间分辨率和帧速率，可添加SNR(Q)层来改进图片品质。
[0143]一旦已经以此可缩放方式编码了视频内容，就可使用提取器工具来根据应用要求改编实际所递送内容，所述应用要求可例如取决于客户端或传输信道。在图4中所示的实例中，每一立方体含有具有相同帧速率(时间等级)、空间分辨率和SNR层的图片。举例来说，立方体402和404含有具有相同分辨率和SNR但不同帧速率的图片。立方体402和406表示具有相同分辨率(例如，在同一空间层中)但具有不同SNR和帧速率的图片。立方体402和408表示具有相同SNR (例如，在同一品质层中)但具有不同分辨率和帧速率的图片。立方体402和410表示具有不同分辨率、帧速率和SNR的图片。可通过在任何维度中添加那些立方体(图片)来实现较好的表示。当存在两个、三个或甚至更多个所实现可缩放性时，支持组合可缩放性。举例来说，通过将立方体402中的图片与立方体404中的那些图片进行组合，可实现较高的帧速率。通过将立方体404中的图片与立方体406中的那些图片进行组合，可实现较好的SNR。
[0144]根据HEVC的SVC扩展，具有最低空间和品质层的图片与HEVC兼容，且处于最低时间等级的图片形成时间基础层，其可用处于较高时间等级的图片来增强。除HEVC兼容层之夕卜，可添加若干空间和/或SNR增强层，以提供空间和/或品质可缩放性。SNR可缩放性也称为品质可缩放性。每一空间或SNR增强层本身可为时间可缩放的，具有与HEVC兼容层相同的时间可缩放性结构。对于一个空间或SNR增强层，其所依赖的下层也称为特定空间或SNR增强层的基础层。
[0145]图5是展示实例可缩放视频经译码位流的概念图。在图5中所示的实例SVC译码结构中，具有最低空间和品质层的图片(层502和层504中的图片，其提供QCIF分辨率)与HEVC兼容。其中，最低时间等级的那些图片形式时间基础层502，如图5中所示。此时间基础层(例如，层502)可用较高时间等级(例如层504)的图片来增强。除HEVC兼容层之夕卜，可添加若干空间和/或SNR增强层，以提供空间和/或品质可缩放性。举例来说，增强层可为具有与层506相同的分辨率的CIF表示。在图5中所示的实例中，层508为SNR增强层。如所述实例中所示，每一空间或SNR增强层本身可为时间可缩放的，具有与HEVC兼容层相同的时间可缩放性结构。并且，增强层可增强空间分辨率和帧速率两者。举例来说，层510提供4CIF增强层，其使帧速率从15Hz进一步增加到30Hz。
[0146]图6是展示可缩放视频经译码位流600中的实例存取单元(例如，由一个或一个以上切片组成的经译码的图片)的概念图。如图6中所示，在一些实施方案中，同一时间例子中的经译码切片是以位流次序连续的，且在SVC的上下文中形成一个存取单元。那些SVC存取单元接着遵循解码次序，解码次序可不同于显示次序。解码次序可例如由时间预测关系确定。举例来说，由帧O (例如，如图5中所说明的帧O)的全部四个层612、614、616和618组成的存取单元610可后接由帧4 (例如，图5中的帧4)的全部四个层622、624、626和628组成的存取单元620。帧2的存取单元630可次序颠倒，至少从视频重放角度来看。然而，当编码或解码帧2时，可使用来自帧O和4的信息，且因此可在帧2之前编码或解码帧4。用于帧O与帧4之间的其余帧的存取单元640和650可跟随，如图6中所示。
[0147]可缩放视频译码(SVC)的特征
[0148]层间预测
[0149]如上文所论述，在SVC中，可基于从参考层得出的信息来预测增强层。此预测方法称为层间预测。层间预测利用存在于不同层之间的冗余。层间预测方案中的一个为层间帧内预测。使用层间帧内预测的译码模式可称为“帧内BL”模式。下文参考图7说明此预测模式。
[0150]图7说明帧内BL预测的实例700的示意图。明确地说，基础层710中的基础层块712与增强层720中的增强层块722位于同一位置。中帧内BL模式中，可使用位于同一位置的基础层块712的纹理来预测块722的纹理。举例来说，有可能位于同一位置的基础层块712的像素值与增强层块722的像素值彼此非常相似，因为位于同一位置的基础层块712本质上将同一视频对象描绘为增强层块722。因此，位于同一位置的基础层块712的像素值可充当用于预测增强层块722的像素值的预测符。如果增强层720和基础层710具有不同的分辨率，那么基础层块712在用于预测增强层块722之前可经上取样。举例来说，基础层图片可为1280X720，且增强层可为1920X1080，在此情况下，基础层块或基础层图片在用于预测增强层块或图片之前，可在每一方向(例如，水平和垂直)以因子1.5来上取样。可变换、量化和熵编码预测误差(例如，残差)。术语“位于同一位置”在本文中可用来描述将同一视频对象描绘为增强层块的基础层块的位置。或者，所述术语可意味着位于同一位置的基础层块可具有与增强层块相同的坐标值(在考虑基础层与增强层之间的分辨率比率之后)。尽管本发明中使用术语“位于同一位置”，但可类似技术可应用于当前块的相邻(例如，邻近)块、当前块的位于同一位置的块的相邻(例如，邻近)块，或任何其它有关块。
[0151]用于层间纹理预测的另一方法可涉及使用层间参考图片(ILRP)。在此实例中，将经重构的基础层图片插入(在必要的上取样之后)到对应的增强层图片的参考图片列表中。当使用层间参考图片来预测增强层时，实现层间纹理预测。
[0152]可缩放件
[0153]可缩放视频译码方案可提供各种可缩放性，例如空间可缩放性和位深度可缩放性。如上文所论述，可缩放视频译码提供一个或一个以上可缩放增强层，其可结合基础层一起解码，以实现较高的空间、时间和/或信噪(SNR)等级。
[0154]空间可缩放性指代其中基础层图片和增强层图片具有不同大小的情况。举例来说，基础层中的图片可具有1280个像素乘720个像素的大小，而增强层中的图片可具有1920个像素乘1080个像素的大小。
[0155]位深度可缩放性指代其中基础层图片和增强层图片具有不同位深度的情况。举例来说，基础层中的图片可具有8个位的位深度(例如，色彩分量用8个位表示，得出总共2s=256个可能值)，而增强层中的图片可具有10个位的位深度(例如，色彩分量用10个位表示，得出总共21°= 1024个可能值)。也有可能使用一个位深度来表示一个色彩分量(例如，亮度)，且使用另一位深度来表示另一色彩分量(例如，色度)。
[0156]通过使用SVC产生含有可由遗留解码器(例如，720p和/或8位)解码以产生具有较低位深度(例如，720p和/或8位)的视频内容的基础层，以及可由可缩放解码器解码以产生更加增强的视频内容(例如，1080p和/或10位)的一个或一个以上增强层的可缩放位流，可提供与遗留解码器的向后兼容性，且可降低与同播单独位流相比的带宽要求，从而改进译码效率和性能。
[0157]空间可缩放性和层间预测
[0158]如上文所论述，可使用基础层中的像素值来预测增强层中的像素值。在空间可缩放性的情况下，基础层中的图片和增强层中的图片具有不同大小，因此基础层图片在用来预测增强层图片之前，可能需要修改(例如，使得其具有与增强层图片相同的分辨率)。举例来说，可通过基础层与增强层之间的分辨率比率来对基础层图片进行上取样(例如，如果增强层的大小大于基础层的大小)。
[0159]下文说明空间可缩放性情况下的此修改的实例。在此实例中，使用利用2分接头上取样滤波器的实施方式来基于基础层像素的色彩分量值Pbw和Pbll，估计增强层像素的色彩分量值Pd。此处，可使用与基础层像素值(或其色彩分量值)相关联的权重来实现层间预测。一种此类关系在以下等式中表达，其中P’el表示Pel的预测值:
[0160]P' el = (w oPb1+WiPbii+0) ?T (I)
[0161]在此实例中，W。和w:表示权重，且O表示上取样滤波器的偏移。举例来说，权重可为权重因子。在此实例中，色彩分量值(例如，亮度分量)PblO和Pbll分别乘以权重W。和W1O在一个实施方案中，上取样滤波器的所有权重(例如，权重W1)的总和等于(1〈〈Τ)，其表示向左移位了 T个位的二进制I。可基于需要多少准确度来选择或确定T的值。在一个实施方案中，如果需要较多准确度，那么可增加T的值。T的增加的值意味着左侧完成较多的位移，从而产生较多的位来执行计算。在一个实施方案中，偏移O的值为(1〈〈(τ-1))。在另一实施方案中，偏移O的值可为所有权重(例如，Wl)的总和的值的一半。举例来说，如果T的值等于4，那么所有系数的总和将为1〈〈4，其为(1000)2= 16。在同一实例中，偏移O将为1〈〈3，其为(100)2= 8。偏移O可为舍入偏移，使得等式(I)的计算被向上舍入而不是向下舍入。在一些实施方案中，偏移可为零。
_2] 位深度可缩放性和层间预测
[0163]类似地，在位深度可缩放性的情况下，以不同数目的位(